論文の概要: TRACER: Trace-Based Adaptive Cost-Efficient Routing for LLM Classification
- arxiv url: http://arxiv.org/abs/2604.14531v1
- Date: Thu, 16 Apr 2026 01:49:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-17 21:29:31.676019
- Title: TRACER: Trace-Based Adaptive Cost-Efficient Routing for LLM Classification
- Title(参考訳): TRACER:LLM分類のためのトレースベースの適応的コスト効率なルーティング
- Authors: Adam Rida,
- Abstract要約: 我々は,MLサロゲートをLLM自身の生産トレース上でトレーニングし,パリティゲートを介してデプロイメントを管理するオープンソースシステムTRACERを紹介する。
Sonnet 4.6の教師による77クラスのインテントベンチマークでは、TRACERは品質目標に応じて83-100%のサロゲートカバレッジを達成する。
自然言語推論タスクでは、組込み表現が信頼性の高い分離をサポートできないため、パリティゲートは配置を正しく拒否する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Every call to an LLM classification endpoint produces a labeled input-output pair already retained in production logs. These pairs constitute a free, growing training set: a lightweight surrogate trained on them can absorb a significant portion of future traffic at near-zero marginal inference cost. The open questions are when the surrogate is reliable enough to deploy, what it handles versus defers, and how that boundary evolves as data accumulates. We introduce TRACER (Trace-based Adaptive Cost-Efficient Routing), an open-source system that trains ML surrogates on an LLM's own production traces and governs deployment through a parity gate: the surrogate is activated only when its agreement with the LLM exceeds a user-specified threshold α. To make the routing boundary transparent, TRACER generates interpretability artifacts describing which input regions the surrogate handles, where it plateaus, and why it defers. On a 77-class intent benchmark with a Sonnet 4.6 teacher, TRACER achieves 83-100% surrogate coverage depending on the quality target α; on a 150-class benchmark, the surrogate fully replaces the teacher. On a natural language inference task, the parity gate correctly refuses deployment because the embedding representation cannot support reliable separation. The system is available as open-source software.
- Abstract(参考訳): LLM分類エンドポイントへの呼び出しはすべて、すでにプロダクションログに保持されているラベル付き入出力ペアを生成する。
これらのペアは、自由で成長するトレーニングセットを構成し、訓練された軽量サロゲートは、ほぼゼロの限界推論コストで将来のトラフィックの大部分を吸収することができる。
オープンな疑問は、サロゲートがデプロイするのに十分な信頼性、処理対象とデフェンダの扱い、そしてデータが蓄積されるにつれて境界がどう進化するかである。
TRACER (Trace-based Adaptive Cost-Efficient Routing) は、MLサロゲートをLLM自身の生産トレース上で訓練し、パリティゲートを介して配置を管理するオープンソースシステムである。
ルーティング境界を透過的にするために、TRACERは、サロゲートがどの入力領域をハンドルするか、どこがプラトーか、なぜフェールするかを記述した解釈可能なアーティファクトを生成する。
Sonnet 4.6の教師による77クラスのインテントベンチマークでは、TRACERは品質目標のαに応じて83-100%のサロゲートカバレッジを実現しており、150クラスのベンチマークではサロゲートが教師を完全に置き換えている。
自然言語推論タスクでは、組込み表現が信頼性の高い分離をサポートできないため、パリティゲートは配置を正しく拒否する。
このシステムはオープンソースソフトウェアとして利用可能である。
関連論文リスト
- $k$NNProxy: Efficient Training-Free Proxy Alignment for Black-Box Zero-Shot LLM-Generated Text Detection [19.213077720525696]
既存のLGT検出器は、学習ベースのアプローチとゼロショットメソッドの2つの幅広いクラスに分類される。
ゼロショット法の信頼性は、オフザシェルフプロキシLDMがしばしば未知のソースとよく一致しているという仮定に依存している。
トレーニング不要でクエリ効率のよいプロキシアライメントフレームワークである$k$-nearest neighbor proxy(k$NN Proxy)を提案する。
論文 参考訳(メタデータ) (2026-04-02T13:11:06Z) - PEFA-AI: Advancing Open-source LLMs for RTL generation using Progressive Error Feedback Agentic-AI [5.455262834289454]
本稿では,人的介入を伴わずにレジスタ転送レベル(RTL)生成のタスクを協調的に完了する複数のエージェントからなるエージェントフローを提案する。
提案するフローの重要な特徴は,自己修正機構であるエージェントのプログレッシブエラーフィードバックシステム(PEFA)である。
コード生成に対するこの適応的アプローチを検証するために、ベンチマークは2つのオープンソース自然言語-RTLデータセットを使用して実行される。
論文 参考訳(メタデータ) (2025-11-06T00:19:47Z) - From Insight to Exploit: Leveraging LLM Collaboration for Adaptive Adversarial Text Generation [3.75886080255807]
動的かつ適応的な敵の例を生成するために設計された2つの革新的な攻撃フレームワークを導入する。
我々は、原文と意味的類似性を保持する微妙で自然な逆入力を生成する。
我々の攻撃はLSMの進歩とともに進化し、攻撃者には未知の強い伝達性を示す。
論文 参考訳(メタデータ) (2025-11-05T02:27:56Z) - MI-Fuse: Label Fusion for Unsupervised Domain Adaptation with Closed-Source Large-Audio Language Model [49.59690207400984]
大規模音声言語モデル(LALM)は、音声タスクに強いゼロショット能力を示し、音声感情認識(SER)の可能性を示唆している。
私たちは、未ラベルのターゲットドメインオーディオとAPIのみのLALMだけを考えると、学生モデルがターゲットドメインのLALMを上回るように適応できるだろうか?
LALMを補助教師としてソースドメイン訓練されたSERで補足する識別ラベル融合フレームワークであるMI-Fuseを提案する。
論文 参考訳(メタデータ) (2025-09-25T03:16:32Z) - Federated Learning-Enabled Hybrid Language Models for Communication-Efficient Token Transmission [87.68447072141402]
ハイブリッド言語モデル(HLM)は、エッジデバイス上でのSLM(Small Language Model)の低レイテンシ効率と、集中型サーバ上でのLLM(Large Language Model)の高精度を組み合わせたものである。
我々は、不確実性を考慮した推論とフェデレートラーニング(FL)を統合する通信効率の高いHLMフレームワークであるFedHLMを提案する。
論文 参考訳(メタデータ) (2025-06-30T02:56:11Z) - LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。
LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。
LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
論文 参考訳(メタデータ) (2025-02-15T02:55:22Z) - Get my drift? Catching LLM Task Drift with Activation Deltas [55.75645403965326]
タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。
そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。
このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
論文 参考訳(メタデータ) (2024-06-02T16:53:21Z) - $\forall$uto$\exists$val: Autonomous Assessment of LLMs in Formal Synthesis and Interpretation Tasks [21.12437562185667]
本稿では,形式構文を自然言語に翻訳する際のLLM評価のスケールアップ手法を提案する。
我々は、文脈自由文法(CFG)を用いて、その場で配布外のデータセットを生成する。
我々はまた、このパラダイムの実現可能性と拡張性を示すために、複数のSOTAクローズドおよびオープンソースLCMの評価を行う。
論文 参考訳(メタデータ) (2024-03-27T08:08:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。