論文の概要: Spread and Scale: What Determines Whether Test-Time Budget Allocation Pays
- arxiv url: http://arxiv.org/abs/2609.27917v1
- Date: Fri, 21 Aug 2026 17:54:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:56.01248
- Title: Spread and Scale: What Determines Whether Test-Time Budget Allocation Pays
- Title（参考訳）: スプレッドとスケール: テストタイムの予算配分の支払いが決定されるか
- Abstract要約: 我々は,インスタンスの難易度に関する独自の情報を提供する予算対応政策が,その情報を無償と仮定した場合に利用可能な改善のほとんどを回復させることを示す。
本稿は、特定の経験的回答と、その回答がどのように測定されたかの人工物ではないことを検証するためのテンプレートを提供する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural combinatorial optimization solvers generate many candidate solutions per instance and report the best one found, using the same sample budget for every instance regardless of difficulty. A companion study showed that reallocating a fixed budget toward harder instances can improve solution quality, but that the standard way of measuring this improvement is biased: deciding an allocation and evaluating it on the same data can manufacture an apparent gain even when none exists. This left open what property of a workload determines whether reallocation is worth doing, and whether a policy that spends part of the budget to decide how to allocate the rest still pays once that cost is counted. This paper answers both questions through pre-registered confirmatory experiments -- analysis and verdict criteria fixed before data collection -- across three independently trained solvers and two ways of constructing harder workloads on the traveling salesman problem. Within the workloads we study, the deciding property is how varied the instances within a workload are in difficulty, not how difficult the workload is on average: a uniformly easy or uniformly hard workload offers little room for reallocation, while a mixed workload offers substantial room. A budget-aware policy that pays for its own information about instance difficulty recovers most, though not all, of the improvement available when that information is assumed free. Every experiment was independently recomputed from its written specification, and every correction to an earlier version -- including two that weakened the paper's own claims -- is reported with the direction it moved the conclusion. The paper offers a specific empirical answer and a template for verifying that answer is not an artifact of how it was measured.
- Abstract（参考訳）: ニューラル組合せ最適化ソルバはインスタンス毎に多くの候補解を生成し、最も良い解を報告し、困難によらず全てのインスタンスに対して同じサンプル予算を使用する。
コンパニオン研究では、厳格なインスタンスに固定された予算を割り当てることで、ソリューションの品質を向上させることができるが、この改善を測定する標準的な方法にはバイアスがあることが示されている。
これにより、ワークロードのどのプロパティが、実際の配置に価値があるかどうかを判断し、残りの割り当て方法を決定するために予算の一部を費やすポリシーが、そのコストを数えた後にまだ支払われるかどうかを判断する。
本稿では,3つの独立して訓練された解法と,走行中のセールスマン問題に対するより厳しいワークロードを構築する2つの方法について,事前登録された検証実験(データ収集前に固定された分析と検証基準)を通じて,両方の疑問に答える。
私たちが調査しているワークロードの中では、ワークロード内のインスタンスの多様性がどの程度難しいかが、ワークロードの平均的な困難さではない、という決定特性があります。
インスタンスの難易度に関する独自の情報に対して支払いを行う予算対応政策は、その情報が無償であると仮定された場合に利用できる改善の大部分を回復させるが、すべてではない。
すべての実験は、書かれた仕様から独立して再計算され、論文の主張を弱めた2つを含む、以前のバージョンへの修正はすべて、結論を移動した方向で報告されている。
本稿は、特定の経験的回答と、その回答がどのように測定されたかの人工物ではないことを検証するためのテンプレートを提供する。
関連論文リスト
- When does a scaling result justify a different allocation? A critical review of resource-allocation evidence for AI systems [0.0]
このレビューでは、レポートされたスケーリング結果がリソース割り当て決定をサポートするかどうかを問う。
事前トレーニング、テスト時間計算、検索、エージェント評価のエビデンスを比較する。
普遍的なスケーリング法則を提案したり、ベンチマークゲインから一般的なインテリジェンスを推測したりしない。
論文 参考訳（メタデータ） (2026-09-13T13:22:32Z) - Which LLM for Which Work? Budgeted Model Allocation under Uncertain Evaluation [13.385373310554327]
証拠と整合したすべての品質表で、1つの代入が最適かどうかを問う。
固定予算問題に対して、これは正確に2つの解決証明書を付与する: 推定テーブルで1回、最低テーブルで1回解決する。
論文 参考訳（メタデータ） (2026-08-30T05:00:43Z) - Resample or Reroute? Budget-Aware Test-Time Model Selection for Large Language Models [0.10152838128195468]
この研究は、大規模言語モデルに対する予算対応テストタイムモデル選択を定式化する。
単位コスト当たりの限界精度の推定によるオンライン再サンプリング・オー・リルート(RoR)割り当てポリシーを提案する。
11モデルのオープンウェイトプールから4つの異なる難易度ベンチマークで新たに生成した正しさテンソルの実験により、提案されたRoRポリシーは、単一ルート、一コミットルータ、予算対応のベスト・オブ・K、カスケード、ランダム・アロケーションベースラインに対して、良好なコスト品質のロバスト性を達成することが示された。
論文 参考訳（メタデータ） (2026-07-09T16:34:15Z) - Instance-Optimal Estimation with Multiple LLM Judges on a Budget [84.31744861038106]
我々は、この問題を*予算付きヘテロスケダティックなマルチジャッジ推定*として定式化する。
K$のプロンプト-レスポンスペア、J$の既知のコストと未知のクエリ-ジャッジ分散が与えられた場合、目標は、$ell_p$-errorを最小化しながら、有界スコアベクトルを推定することである。
EST-IVWEは,予算の低次項までのオラクルIVWEレートと一致していることを示す。
論文 参考訳（メタデータ） (2026-05-22T08:26:08Z) - When Independent Sampling Outperforms Agentic Reasoning [4.226475360842309]
固定予算下での競合プログラミングのための推論時間計算の割り当てについて検討する。
モデル呼び出しのコストと回数の両方の関数として,エージェントベースの推論と反復的な独立サンプリング(k-shot)を比較した。
論文 参考訳（メタデータ） (2026-05-08T20:53:51Z) - Learning Steerable Clarification Policies with Collaborative Self-play [67.67872810596839]
不明瞭なクエリを処理するために、AIアシスタントは不確実性を管理するためのポリシーが必要である。
我々は,この不確実性を管理するために,自己再生を用いて評価可能な政策を訓練することを提案する。
このことが、提供されたコストに応じて予測可能な振る舞いを変更する、評価可能なポリシーにつながることを示す。
論文 参考訳（メタデータ） (2025-12-03T18:49:54Z) - Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。
第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。
第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
論文 参考訳（メタデータ） (2025-02-11T19:24:09Z) - Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。
また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。
様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
論文 参考訳（メタデータ） (2023-02-22T14:50:24Z) - A Worker-Task Specialization Model for Crowdsourcing: Efficient
Inference and Fundamental Limits [20.955889997204693]
クラウドソーシングシステムは、専門家でない労働者を用いて比較的低コストでデータをラベル付けするための効果的なプラットフォームとして登場した。
本稿では、各タスクとワーカーが独自の(未知の)タイプを持つ、$d$-type Specialization modelという新しいモデルを検討する。
本稿では,タスクの種類や作業者のタイプが不明な場合でも,順序的に最適限を満たすラベル推論アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-11-19T05:32:59Z) - Optimal Off-Policy Evaluation from Multiple Logging Policies [77.62012545592233]
我々は,複数のロギングポリシからオフ政治評価を行い,それぞれが一定のサイズ,すなわち階層化サンプリングのデータセットを生成する。
複数ロガーのOPE推定器は,任意のインスタンス,すなわち効率のよいインスタンスに対して最小分散である。
論文 参考訳（メタデータ） (2020-10-21T13:43:48Z) - Improving Multi-Turn Response Selection Models with Complementary
Last-Utterance Selection by Instance Weighting [84.9716460244444]
我々は、データリソース自体の根底にある相関を利用して、異なる種類の監視信号を導出することを検討する。
2つの公開データセットで広範な実験を行い、両方のデータセットで大幅に改善した。
論文 参考訳（メタデータ） (2020-02-18T06:29:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。