BANGBARA.COM - OrcaRouter, nan dikembangkan oleh Continuum AI Pte. Ltd. di Singapura, menghadirkan Routing DSL, sebuah framework perutean nan dapat diprogram, sebagai solusi pengganti bagi developer nan terdampak pembatasan akses Claude Fable 5 akibat kontrol ekspor terbaru. Alih-alih mengganti satu model dengan nan lain, Routing DSL memungkinkan pengelolaan lebih dari 200 model secara elastis melalui ekspresi YAML dan CEL. Framework ini dapat memilih model berasas kompleksitas permintaan, jenis tugas, biaya, latensi, dan kebijakan keamanan, serta mendukung eksekusi paralel untuk menggabungkan hasil terbaik. Integrasi langsung dengan AI Gateway OrcaRouter membikin penggunaan model lebih efisien, dengan biaya sekitar 40% lebih rendah, overhead routing di bawah 1 ms, dan tanpa markup token, sembari mempertahankan performa setara Fable 5.
Seiring banyak tim kehilangan akses ke Fable 5, kebutuhan bakal pengganti nan dapat menyamai kapabilitas model frontier menjadi mendesak. Routing DSL menjawab masalah ini dengan memberi developer kontrol penuh atas gimana permintaan AI dijalankan. Alih-alih mengandalkan satu model mahal, framework ini memungkinkan orkestrasi pandai dari beragam model nan tersedia, termasuk strategi paralel untuk meningkatkan hasil prompt nan kompleks. OrcaRouter menekankan bahwa pendekatan ini bukan sekadar pengganti model, tetapi strategi untuk membangun performa setara Fable 5 dengan biaya nan jauh lebih hemat.
Salah satu kelebihan utama Routing DSL adalah konsep “perutean sebagai kode,” bukan konfigurasi statis. Developer dapat mendefinisikan logika perutean menggunakan beberapa baris YAML dan CEL, mengarahkan prompt sederhana ke model efisien open source, sementara prompt nan kompleks bisa otomatis diarahkan ke model frontier. Selain itu, framework ini mendukung fallback, kebijakan keandalan, guardrail tata kelola, dan optimisasi berasas biaya, kualitas, alias latensi. Dengan keahlian untuk menggabungkan hasil dari beberapa model sekaligus, Routing DSL memberikan elastisitas nan sebelumnya hanya dimiliki oleh model-model unggulan seperti Fable 5.
Lebih dari sekadar perutean model, Routing DSL memperkenalkan control plane nan dapat diprogram untuk mengelola beban kerja AI secara holistik. Bersama dengan AI Gateway OrcaRouter, sistem observability, guardrail, dan Agent Firewall, framework ini memungkinkan organisasi membangun sistem AI nan andal, irit biaya, dan scalable. Dengan strategi orkestrasi nan tepat, pertimbangan internal menunjukkan performa setara Fable 5 dapat dicapai tanpa berjuntai pada satu model tertentu. Routing DSL sekarang tersedia untuk semua pengguna OrcaRouter, menyediakan pengarsipan komplit dan integrasi nan siap digunakan untuk tim nan mencari pengganti Fable 5 nan tangguh.
Sumber: VRITIMES
Dilarang mengambil dan/atau menayangkan ulang sebagian alias keseluruhan tulisan
di atas untuk konten akun media sosial komersil tanpa seizin redaksi.
Editor: Abdul Kholilulloh
4 jam yang lalu
English (US) ·
Indonesian (ID) ·