論文の概要: CopRoute: Dependence-Aware Conformal Routing for Language Models
- arxiv url: http://arxiv.org/abs/2610.13276v1
- Date: Fri, 09 Oct 2026 09:27:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.505241
- Title: CopRoute: Dependence-Aware Conformal Routing for Language Models
- Title（参考訳）: CopRoute: 言語モデルのための依存型コンフォーマルルーティング
- Abstract要約: セットベースの言語モデルルーティングは、少なくとも1つのモデルがクエリを正しく答えるイベントのカバレッジを高めることを目的としている。
提案するCopRouteは,すでに選択されたクエリよりも,各クエリが正確に答える数でモデルを注文する。
RouterBench と RouterEval では、CopRoute がターゲットリスク 0.05 で10のデータセットのうち9つの認証済みコールを達成している。
- 参考スコア（独自算出の注目度）: 3.332928368768418
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Set-based language model routing aims to increase the coverage of the event where at least one model answers a query correctly while controlling the number of inference calls made. Existing risk-controlled routing policies bound the all-miss risk (the probability that every model in the selected set fails) by calibrating a single conformal threshold and applying it to a nested family of model sets. Because each model is scored in isolation, these policies ignore the dependence structure of model failures. Models that share training data or architecture tend to fail on the same queries, so two individually strong models can be jointly redundant while a weaker but complementary model covers the queries that the others miss. To account for this dependence, which existing risk-controlled policies ignore, we propose CopRoute, which orders models by how many new queries each one answers correctly beyond those already selected, decides per query how far down that order to go, and then picks the smallest cutoff that still meets the target risk. We show that CopRoute's ordering attains, on the design data, the best guarantee any efficient fixed-ordering algorithm can give for the average number of calls to the first correct model, and that a separate calibration step certifies the all-miss risk of the deployed sets. On RouterBench and RouterEval, CopRoute attains the fewest certified calls on nine of ten datasets at a target risk of 0.05 and on eight of ten at 0.10, making up to 79 percent fewer calls (median 24 percent) than the state-of-the-art risk-controlled policy at the same certified all-miss risk.
- Abstract（参考訳）: セットベースの言語モデルルーティングは、少なくとも1つのモデルがクエリに正しく答えるイベントのカバレッジを高めることを目的としている。
既存のリスク制御ルーティングポリシーは、単一の整合しきい値を調整し、ネストしたモデルセットのファミリーに適用することで、全ミスリスク(選択されたセットのすべてのモデルが失敗する確率)を制限している。
各モデルは独立してスコアされるので、これらのポリシーはモデル失敗の依存構造を無視します。
トレーニングデータやアーキテクチャを共有するモデルは、同じクエリでフェールする傾向があるため、2つの強いモデルは共同で冗長になり、弱いが補完的なモデルは、他のモデルが見逃すクエリをカバーする。
既存のリスク管理ポリシーが無視するこの依存を考慮するために、我々は、CopRouteを提案する。これは、すでに選択されたクエリよりも正確に答える新しいクエリ数でモデルを注文し、その順序がどれくらい下がったかをクエリ毎に決定し、ターゲットのリスクを満たす最小のカットオフを選択する。
CopRouteの順序付けは、設計データに基づいて、任意の効率的な固定順序付けアルゴリズムが第一の正しいモデルへの平均呼び出し数を保証できることを示し、別個のキャリブレーションステップが配置された集合の全ミスリスクを証明している。
RouterBench と RouterEval では、CopRoute がターゲットリスク 0.05 で、ターゲットリスク 0.10 で 10 の 8 つのデータセットのうち 9 つの認証済みのコールを達成し、認定された全ミスリスクにおいて、最先端のリスク管理ポリシよりも、最大で 7 9% のコール(中間 2 4%)削減を実現している。
関連論文リスト
- MARS: Malware Analysis with Rule-Based Scoring of LLM Claims [0.08460698440162889]
大規模な言語モデルでは、外部ポリシーによる直接的な判断や行動的クレームを通じてマルウェアをトリアージすることができる。
マルウェアトリアージフレームワークであるMARSについて,直接分類とシングルパスクレームスコアを比較した。
我々は、アーカイブされた評定を正確に再現し、修正されたポリシーを同じレコードに適用し、提供者によって取り下げられた2つの追加モデルの出力を含む。
論文 参考訳（メタデータ） (2026-10-07T06:55:35Z) - FlexRouter: Learning Complementary Model Sets for Flexible LLM Routing [71.04470934007537]
既存のルーティングメソッドはLLMを独立してスコア付けし、上位$kのモデルを選択する。
これはモデル相関を無視し、厳格な計算予算を強制する。
モデリングを明示的にモデル化するルーティングフレームワークであるFlexを提案します。
論文 参考訳（メタデータ） (2026-09-29T21:44:05Z) - OneBid: A Unified Auto-Bidding Foundation Model for Diverse oCPX Advertising Scenarios [19.168433674819752]
OneBidは、ヘテロジニアスなoCPXログから再利用可能なバックボーンを学ぶ、統合された自動入札基盤モデルである。
OneBidは、oCPX Adsで合計+2.2%ADVVゲインを提供し、ROASシナリオでは+13.1%に達した。
論文 参考訳（メタデータ） (2026-09-18T09:43:09Z) - Agentic Routing: The Harness-Native Data Flywheel [35.444792826526]
DRACOやPinchBenchなどのエージェントベンチマークにおけるシングルトンおよびマルチモデルルーティングに関する研究
エージェントルーティングは単なるコストコントロールではなく、エージェントネイティブなトレーニングのためのデータエンジンである、と氏は主張する。
論文 参考訳（メタデータ） (2026-07-13T11:05:55Z) - CIAware-Bench: Benchmarking Control Intervention Awareness Across Frontier LLMs [100.38986535324284]
我々は、フロンティアモデル全体でのtextbfcontrol textbfintervention (CI) の認識を測定するベンチマークである textbfCIAware-Bench を紹介する。
CIAware-Benchは、モデルが自身の軌跡を制御介入によって修正されたものと区別できるかどうかをテストする。
論文 参考訳（メタデータ） (2026-06-09T16:24:16Z) - LEC: Linear Expectation Constraints for False-Discovery Control in Selective Prediction and Routing Systems [95.35293543918762]
大規模言語モデル(LLM)はしばしば信頼できない答えを生成するが、不確実性のある手法は誤った予測と完全に区別することができない。
我々は、この問題を、偽発見率(FDR)制御のレンズを通して解決し、全ての許容された予測のうち、エラーの割合が目標のリスクレベルを超えないことを保証する。
本稿では,線形期待制約を強制することで,選択予測を制約付き決定問題として再解釈するLECを提案する。
論文 参考訳（メタデータ） (2025-12-01T11:27:09Z) - Learning to Route LLMs from Bandit Feedback: One Policy, Many Trade-offs [69.2486294522259]
BaRPはBandit Routing-feedback with Preferencesアプローチであり、デプロイと同じ部分フィードバック制限の下でトレーニングされる。
提案手法は,学習中のオンラインフィードバック設定をシミュレートし,新たなプロンプトに適応する。
論文 参考訳（メタデータ） (2025-10-08T18:24:59Z) - How Robust Are Router-LLMs? Analysis of the Fragility of LLM Routing Capabilities [62.474732677086855]
大規模言語モデル(LLM)ルーティングは,計算コストと性能のバランスをとる上で重要な戦略である。
DSCベンチマークを提案する: Diverse, Simple, and Categorizedは、幅広いクエリタイプでルータのパフォーマンスを分類する評価フレームワークである。
論文 参考訳（メタデータ） (2025-03-20T19:52:30Z) - Deep Model Reassembly [60.6531819328247]
我々はDeep Model Reassembly(DeRy)と呼ばれる新しい知識伝達タスクを探索する。
DeRyの目標は、まず各モデルを固有のビルディングブロックに分割し、それから派生したブロックを選択的に再組み立てて、カスタマイズされたネットワークを生成することである。
ImageNetでは、最高の再組み立てモデルは微調整なしで78.6%のトップ1の精度を実現している。
論文 参考訳（メタデータ） (2022-10-24T10:16:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。