論文の概要: Cost-Aware Best-LLM Identification using Dueling Feedback

• arxiv url: http://arxiv.org/abs/2609.30360v1
• Date: Thu, 24 Sep 2026 17:57:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.077026
• Title: Cost-Aware Best-LLM Identification using Dueling Feedback
• Title（参考訳）: デューリングフィードバックを用いたコストアウェアベストLLM同定
• Abstract要約: デュエルフィードバックを用いてマルチアームバンディット(MAB)の変種を定式化し解析する。 所定の信頼度を持つベストアーム識別のためのトラック・アンド・ストップ方式のアルゴリズムを提案する。 合成および実世界の両方のインスタンスに対して,我々のアプローチを広範囲に評価した。
• 参考スコア（独自算出の注目度）: 6.7490834025180275
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inspired by the problem of identifying the best model from a collection of large language models (LLMs) with heterogeneous querying costs, we formulate and analyse a variant of the multi-armed bandit (MAB) with (i) dueling feedback, where pairwise comparisons between model responses provide robust preference signals, and (ii) heterogeneous sampling costs, reflecting the differing costs of querying different LLMs. Assuming the existence of a Condorcet winner, a condition we empirically validate across multiple real-world datasets, we propose a Track-and-Stop style algorithm for best-arm identification with prescribed confidence. We prove that the algorithm almost surely achieves the asymptotically optimal cost as the error tends to zero. Finally, we extensively evaluate our approach on both synthetic and real-world instances, demonstrating consistent improvements over classical cost-unaware algorithms and their cost-aware extensions.
• Abstract（参考訳）: ヘテロジニアスなクエリコストを持つ大規模言語モデル(LLM)の集合から最良のモデルを特定する問題に着想を得て、マルチアームバンディット(MAB)の変種を定式化し分析する。 一 モデル応答のペア比較が堅牢な選好信号を与えるデュエルフィードバック (II)異なるLLMを問合せするコストの相違を反映した異種サンプリングコスト。 複数の実世界のデータセットに対して実証的に検証した条件であるCondorcetの勝者の存在を仮定し、所定の信頼度を持つベストアーム識別のためのトラック・アンド・ストップ方式のアルゴリズムを提案する。 誤差がゼロになる傾向にあるため,アルゴリズムは漸近的最適コストをほぼ確実に達成する。 最後に,従来のコスト認識アルゴリズムとそのコスト認識拡張に対する一貫した改善を実証し,合成および実世界の両方のインスタンスに対する我々のアプローチを広範囲に評価する。

関連論文リスト

• Dynamically Allocating Evaluation Effort for Model Ranking [60.00410111594536]
  相関アームを用いたマルチアームバンディット構成において,マルチモデル人体評価をベストアーム識別問題として定式化する。 トップパフォーマンスモデル間の差別を改善することを示します。 これにより、評価はより速く、より安価で、より大規模な競争評価目標に適合する。
  論文  参考訳（メタデータ） (2026-08-04T10:33:04Z)
• Cutting LLM Evaluation Costs with SySRs: A Bandit Algorithm that Provably Exploits Model Similarity [14.830460628644715]
  大規模言語モデルは通常、テストクエリ毎にすべてのモデルを評価することでベンチマークされる。 本稿では,従来の逐次リジェクトアルゴリズムをペア比較で拡張したSySR(Sychronized Successive Rejects)を提案する。
  論文  参考訳（メタデータ） (2026-06-05T17:03:19Z)
• Beyond Majority Voting: LLM Aggregation by Leveraging Higher-Order Information [57.397381631496906]
  最適重み(OW)と逆サプライシング人気度(ISP)という2つの新しいアグリゲーションアルゴリズムを開発した。 我々の理論的分析は、これらの手法が軽微な仮定の下での多数決の本質的な制限を確実に緩和することを示している。 我々は,我々のアルゴリズムを人工データセット,UltraFeedbackやMMLUなどのLLMファインチューニングベンチマーク,実世界の医療環境ARMMAN上で実証的に検証した。
  論文  参考訳（メタデータ） (2025-10-01T22:21:50Z)
• LLM Routing with Dueling Feedback [49.67815163970033]
  ユーザの満足度,モデルの専門性,推論コストのバランスを保ちながら,クエリ毎に最適なモデルを選択するという課題について検討する。 絶対的なスコアではなく、ペアの選好フィードバックから学習することで、ルーティングをコンテキストデュエルの帯域として定式化する。 分類的重み付けを用いた対照的な微調整を用いて,オフラインデータからモデル埋め込みを導出する表現学習手法であるカテゴリーキャリブレーション・ファインタニング(CCFT)を導入する。
  論文  参考訳（メタデータ） (2025-10-01T12:52:25Z)
• Balancing Performance and Costs in Best Arm Identification [5.558508644689221]
  本研究は、推奨アームの性能と、このアームを学習することで得られるコストとを明示的にバランスさせるリスク関数を最小化する新しいフォーマリズムを提案する。 この枠組みでは、サンプリングフェーズの各観察にコストがかかり、アームを推奨すると、最適下腕を特定するためにパフォーマンスペナルティが生じる。 性能ペナルティの2つの選択のリスク、誤識別の確率、単純な後悔のリスクについて理論的に下位境界を導出し、DBCAREと呼ばれるアルゴリズムを提案し、これらの下位境界をほぼ全ての問題インスタンス上のポリログ因子に一致させる。
  論文  参考訳（メタデータ） (2025-05-26T23:33:43Z)
• Multi-Level Aware Preference Learning: Enhancing RLHF for Complex Multi-Instruction Tasks [81.44256822500257]
  RLHFは、人工知能システムと人間の好みを結びつける主要なアプローチとして登場した。 RLHFは、複雑なマルチインストラクションタスクに直面すると、不十分なコンプライアンス機能を示す。 本稿では,マルチインストラクション能力を向上させる新しいMAPL(Multi-level Aware Preference Learning)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-19T08:33:11Z)
• Optimal Multi-Fidelity Best-Arm Identification [65.23078799972188]
  バンディットのベストアーム識別において、アルゴリズムは、できるだけ早く特定の精度で、最高平均報酬の腕を見つけることを任務とする。 マルチフィデリティのベストアーム識別について検討し、低コストで低いフィデリティ(正確な平均推定値を持たない)で腕をサンプリングすることを選択できる。 この問題に対処するためのいくつかの方法が提案されているが、その最適性は、特に最適な腕を特定するのに必要な総コストのゆるやかな下限のため、未解決のままである。
  論文  参考訳（メタデータ） (2024-06-05T08:02:40Z)
• Cost Aware Best Arm Identification [13.380383930882784]
  emphCost Aware Best Arm Identification (CABAI)と呼ぶ。 平方根規則に基づくemphChernoff Overlap (CO)と呼ばれる単純なアルゴリズムを提案する。 この結果から,不均一な動作コストを無視すると,実行時の準最適性が得られ,また,簡単なアルゴリズムにより,幅広い問題に対してほぼ最適性能が得られることがわかった。
  論文  参考訳（メタデータ） (2024-02-26T16:27:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。