論文の概要: Who Thinks Best Depends on How Long You Let Them: Budget-Dependent Rankings in LLM Evaluation

• arxiv url: http://arxiv.org/abs/2608.12150v1
• Date: Wed, 12 Aug 2026 15:11:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.623821
• Title: Who Thinks Best Depends on How Long You Let Them: Budget-Dependent Rankings in LLM Evaluation
• Title（参考訳）: LLM評価における予算依存ランク付けの有効期間に最も依存する人
• Abstract要約: Oracleの分析によると、モデルの相補性は最大$+27.8$ppで、最も顕著なのは制約付き予算である。 予算対応ルータは、オラクルギャップの14.1%のクロスドメインをキャプチャする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Standard evaluation of large language models assumes stable model rankings across inference conditions. We challenge this assumption by varying the token generation budget, i.e., the maximum tokens a model may produce, across seven levels (64--4,096), evaluating four models on three reasoning benchmarks (56,476 inferences). We report four findings: (i) 3--19% of items exhibit non-monotone behavior (accuracy decreasing with more budget), even after controlling for truncation, and this phenomenon is model-specific (cross-model overlap: 6--14%). (ii) Model rankings reverse across budgets on all benchmarks ($p {<} 0.01$, McNemar). (iii) Oracle analysis reveals model complementarity up to $+27.8$pp, most pronounced at constrained budgets. (iv) A budget-aware router captures 14.1% of the oracle gap cross-domain; budget features help within-domain ($+1.6$ to $+5.7$pp) but are domain-specific and hurt transfer ($-1.2$pp). These results argue for budget-conditioned evaluation protocols.
• Abstract（参考訳）: 大規模言語モデルの標準評価は、推論条件を越えて安定したモデルランキングを仮定する。 我々は、トークン生成予算、すなわちモデルが生成できる最大トークンを7つのレベル(64--4,096)にわたって変更し、3つの推論ベンチマーク(56,476推論)で4つのモデルを評価することで、この仮定に挑戦する。 4つの発見を報告します。 (i)3～19%の項目が切り離し制御しても非単調性(予算の削減による精度低下)を示し,この現象はモデル特異的(モデルオーバーラップ6～14%)である。 (ii)モデルランキングはすべてのベンチマーク(p {<} 0.01$, McNemar)で予算を逆転する。 (iii)Oracleの分析によると、モデルの相補性は最大$+27.8$ppとなり、最も顕著なのは制約付き予算である。 (iv)予算対応ルータは、オラクルギャップの14.1%のクロスドメインをキャプチャする。予算機能は、ドメイン内のドメイン(+1.6$から+5.7$pp)に役立つが、ドメイン固有のもので、転送を損なう(-1.2$pp)。 これらの結果は、予算条件による評価プロトコルを論じている。

関連論文リスト

• Can a Lightweight Multimodal Model Estimate LLM Reasoning Performance? A Study for Compute-Optimal Document Inference [1.7194419006128259]
  BudgetDocは、モデル予算パフォーマンストレードオフの明確な監視を提供する最初のマルチモーダルベンチマークである。 DRB(Document-Reasoning Balancer)は、予算レベルでの順序モデルのパフォーマンスを予測し、0.753重み付きF1を達成する。 予備評価は、DRBがクロスモデル選択に一般化する可能性を示している。
  論文  参考訳（メタデータ） (2026-08-19T06:33:33Z)
• Scaffolding the Strategist: Architecture-Dependent Reasoning Interventions in Hotelling Spatial Markets [0.01269104766024433]
  構造化推論の介入が大規模言語モデルの戦略的経済的推論を改善するかどうかを検討する。 GPT-4.1-mini(標準命令追従モデル)とGPT-5-mini(推論最適化モデル)を5条件で評価した。 足場型とモデルアーキテクチャ間の統計的に有意な相互作用を見出した。
  論文  参考訳（メタデータ） (2026-07-03T10:23:31Z)
• How Small Can You Go? LoRA Fine-Tuning 270M-8B Models for Merchant Information Extraction in Financial Transactions [1.7133809948345597]
  4つのモデルファミリーにまたがる24種類のモデル変異について、デプロイに焦点を当てた研究を行う。 製造適性を評価するため,精度,スループット,トレーニングコスト,ハードウェア動作を評価する。 正確性とレイテンシの要件を越えたデプロイメントレコメンデーションを提供します。
  論文  参考訳（メタデータ） (2026-06-06T08:32:38Z)
• Knowledge Index of Noah's Ark [63.143852586221534]
  KINAは,261分野にわたる899項目のベンチマークである。 ボーナス・オン・バートーナメントがFOSDを弱く支配していることを示す。 トップモデルであるGemini-3.1-Pro-Previewは53.17%、Claude-Opus-4.6は49.92%、GPT-5.4は48.55%に達した。
  論文  参考訳（メタデータ） (2026-06-03T17:06:49Z)
• LLM Consortium for Software Design Refinement: A Controlled Experiment on Multi-Agent Collaboration Topologies [0.9692280299777165]
  ソフトウェアアーキテクチャ設計のための12のマルチエージェントLLM協調トポロジを評価する。 設計は3つの独立自動評価器により12次元ルーリック上で評価された。
  論文  参考訳（メタデータ） (2026-05-31T23:15:40Z)
• The Deterministic Horizon: When Extended Reasoning Fails and Tool Delegation Becomes Necessary [13.891522069967507]
  拡張連鎖推論は決定論的状態追跡タスクのパフォーマンスを低下させる。 ツール統合推論がニューラル・チェーン・オブ・シントを一貫して上回ることを示す。 本研究は, エージェントシステムにおいて, 純粋なニューラル推論がハイブリッドアプローチにいつ適用されるべきかについて, 基本的ガイダンスを提供する。
  論文  参考訳（メタデータ） (2026-05-29T21:35:23Z)
• The Coupling Tax: How Shared Token Budgets Undermine Visible Chain-of-Thought Under Fixed Output Limits [12.316478346055618]
  思考の連鎖推論はしばしば、モデルを長く考えることで言語モデル精度を改善するための単調な方法として扱われる。 トレースと最終回答の推論が1つのアウトプットの予算を共有している場合、長いトレースは彼らがサポートしようとしている回答をかき集めることができます。 GSM8K、MATH-500、および5つのBIG-Bench HardタスクをQwen3モデルで3つのスケールで実行し、GSM8KとMATH-500では最大2048トークンまでの予算で非思考モードマッチや優れた思考モードを実現した。
  論文  参考訳（メタデータ） (2026-05-08T12:54:53Z)
• $V_{0.5}$: Generalist Value Model as a Prior for Sparse RL Rollouts [81.48669089692189]
  一般値モデル(例えば$V_0.5$)は、コンテキスト内のモデル機能を明示的にエンコードすることで、事前訓練された値推定を実現する。 本稿では,このような値モデルにより予測されるベースラインと,スパースロールアウトから導出される経験的平均とを適応的に融合する$V_0.5$を提案する。 V_0.5$はGRPOとDAPOを大きく上回り、より高速な収束と約10%のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2026-03-11T14:57:41Z)
• Budget-Aware Anytime Reasoning with LLM-Synthesized Preference Data [57.996437077411315]
  計算予算に制限のある大規模言語モデル(LLM)の推論挙動について検討する。 我々は、任意の推論フレームワークとAnytime Indexを導入し、推論トークンが増加するにつれて、ソリューションの品質がいかに効果的に向上するかを定量化します。 NaturalPlan(Trip)、AIME、GPQAデータセットの実験では、Grok-3、GPT-oss、GPT-4.1/4o、LLaMAモデル間で一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-01-16T07:09:30Z)
• HuggingR$^{4}$: A Progressive Reasoning Framework for Discovering Optimal Model Companions [50.61510609116118]
  HuggingR$4$は、Reasoning、Retrieval、Refinement、Reflectionを組み合わせて効率的にモデルを選択する新しいフレームワークである。 作業性率は92.03%、理性率は82.46%に達し、それぞれ26.51%、33.25%を超える。
  論文  参考訳（メタデータ） (2025-11-24T03:13:45Z)
• One Model to Critique Them All: Rewarding Agentic Tool-Use via Efficient Reasoning [54.580646706013965]
  リワードモデル(RM)は、大きな言語モデルと人間の嗜好の整合において重要な役割を果たす。 一般的なツール使用シナリオに適した軽量な生成型RMのファミリーであるToolRMを紹介する。 これらのモデルを構築するために,ルールベースのスコアリングと多次元サンプリングを用いたペアワイズ選好データを構築するパイプラインを提案する。
  論文  参考訳（メタデータ） (2025-10-30T06:08:27Z)
• Think Smarter not Harder: Adaptive Reasoning with Inference Aware Optimization [48.5702580429946]
  本研究では,モデルが推論予算の制約に対して実用性として定式化することで,推論予算を認識できるようにする手法を提案する。 簡単に言えば、IBPOを通じて微調整されたモデルは、クエリの難しさを理解し、より難しいものに推論予算を割り当てる。 これらの改善は、同じ予算の下での自己整合性(self-consistency)の約2ドルである。
  論文  参考訳（メタデータ） (2025-01-29T20:20:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。