論文の概要: Input-Blind Controls Produce Substantial Oracle Headroom for Layer Programs in Multiple-Choice Evaluation
- arxiv url: http://arxiv.org/abs/2610.10368v1
- Date: Wed, 07 Oct 2026 16:35:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:23.041601
- Title: Input-Blind Controls Produce Substantial Oracle Headroom for Layer Programs in Multiple-Choice Evaluation
- Title（参考訳）: 入力ブラインド制御による複数経路評価における階層プログラムのための実質的なOracleヘッドルームの生成
- Abstract要約: 本研究は,2つのモデルと4,413個のマルチチョイス項目において,32個のレイヤー・スキッピングと繰り返しプログラムを用いて区別を行った。
オプションの共有順序では、Qwen3-4BベースとLlama-3.1-8Bで10.2-11.8と15.6-19.4のヘッドルームが与えられる。
- 参考スコア（独自算出の注目度）: 2.7962583061246327
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Adaptive computation aims to improve language-model inference by tailoring execution to each input. For layer programs, oracle evaluations use known answers to estimate the potential gain from this flexibility, before a practical selector is available. However, a gain from selection does not by itself explain why the chosen programs help. This study examines this distinction using 32 layer-skipping and repetition programs on two models and 4,413 multiple-choice items. The analysis compares their gains over a fixed action selected without the evaluation prompt with those of input-blind perturbations at the same sites, re-evaluating selections on another prompt. With shared option order, the controls give 10.2-11.8 and 15.6-19.4 percentage points of headroom on Qwen3-4B-Base and Llama-3.1-8B, exceeding the real programs' 9.0 and 10.1 in all three random-direction draws per model. They match answer-change rate only, and the ordering depends on the menu: in post hoc comparisons, real programs lead on Llama's repeat-only menu in every draw. A smaller KL-calibrated comparison, including an input-dependent control, favours real programs in point estimate, with inconclusive corrected tests. Fixed letter offsets produce headroom of similar scale. Rotating options sharply reduces both families' headroom, while leaving positive real-minus-control differences of 1.4-2.3 and 3.7-4.5 points; their magnitudes and statistical support depend on further adjustments and the reference. A supplementary generated-answer test finds that search-selected programs keep a 26.0-point advantage over programs selected for other problems after rewording, without a placebo comparison. These results show that substantial headroom can persist across prompts with shared option order without establishing a benefit specific to the selected layer computation; neither ordering against these controls identifies that benefit.
- Abstract（参考訳）: 適応計算は、各入力に対して実行を調整することで言語モデル推論を改善することを目的としている。
レイヤプログラムにおいて、オラクル評価は、実用的なセレクタが利用可能になる前に、この柔軟性による潜在的な利益を推定するために既知の回答を使用する。
しかし、選択から得られる利益は、選択したプログラムがなぜ助けになるのかをそれ自体は説明しない。
本研究は,2つのモデルと4,413個のマルチチョイス項目において,32個のレイヤ・スキッピングと繰り返しプログラムを用いて,この区別について検討する。
解析は、評価プロンプトなしで選択された固定動作よりも、同じ地点における入力-ブラインド摂動の利得を比較し、他のプロンプトに対する選択の再評価を行う。
オプションの共有順序では、Qwen3-4BベースとLlama-3.1-8Bで10.2-11.8と15.6-19.4パーセンテージのヘッドルームが与えられ、実際のプログラムの9.0と10.1を超えている。
順番はメニューによって異なる: ポストホック比較では、実際のプログラムはすべてのドローにおいてラマのリピートオンリーメニューに導かれる。
入力依存制御を含むより小さなKL校正比較は、不確定な修正テストにより、点推定における実プログラムを好んでいる。
固定文字オフセットは、同様の規模でヘッドルームを生成する。
回転オプションは、両方の家族のヘッドルームを劇的に減らし、1.4-2.3点と3.7-4.5点の正のリアルタイム制御の違いを残している。
補足的に生成された回答テストでは、検索選択プログラムは、プラセボ比較なしで、リワード後の他の問題に対して選択されたプログラムに対して26.0ポイントの優位性を維持する。
これらの結果から、選択した層計算に特有のメリットを確立することなく、共有オプション順序でプロンプトをまたいで実質的なヘッドルームを維持できることが分かる。
関連論文リスト
- SIPO: Selective-Inference Policy Optimization for Tree-Structured Agentic RL [23.46401628317993]
本稿では、この区別をツリーベースの信用評価に組み込んだ選択推論ポリシー最適化(SIPO)を提案する。
そのスケールのない分岐基準は、一貫した相対的なスケールで生成スコアと兄弟のペナルティを保持する。
SIPOは比較手法の中で最も高いマルチホップとシングルホップの平均を達成している。
論文 参考訳（メタデータ） (2026-09-28T10:09:48Z) - Likelihood Ranking doesn't Scale Like Prompting in LLMs [91.56564968539271]
多重選択QAでは、質問セットと回答セットに標準確率ベースのスコアがまだ条件付けられている。
我々は,同じ質問対から構築された宣言文の確率ランキングに基づく補完的プロトコルについて検討する。
論文 参考訳（メタデータ） (2026-09-24T11:16:53Z) - Critical-State RL: Diagnosing Trainable States for Multi-Turn Tool Use [54.30773141960395]
マルチターンインタラクションにおけるトレーニング可能な状態を特定するために、Critical-State RLを導入する。
それぞれの報酬がタスク成功に対するアクションの効果を捉えているかどうか、参照ポリシーよりも改善できるかどうかを評価する。
Berkeley Function Calling Leaderboard (BFCL) v4の実験では、診断選択された州でのトレーニングと代替州でのトレーニングを比較している。
論文 参考訳（メタデータ） (2026-09-21T17:57:20Z) - Token Utility Is Selection-Conditioned: Coupled Selection of Prompt Context and Response Supervision for Efficient Instruction Tuning [11.796634827510323]
BRIDGEは、共有バリデーション指向のインタラクションサロゲートを通じて選択条件付きトークンユーティリティをキャプチャする。
構造認識プロジェクションは条件応答スコアをコヒーレントな監視スパンに変換する。
BRIDGEは、数学的推論、コード生成、命令フォローにおける全体的な選択方法の比較を導く。
論文 参考訳（メタデータ） (2026-09-19T10:46:58Z) - Sample-Conditioned Representation Selection for Audio Few-Shot Learning [14.872888820695666]
音声分類器は、前景と後景の共起に頼り、それらの相関が変化すると失敗することがある。
本稿では,各入力に対して独立に固定予算特徴マスクを予測するSAMPLESELECTを提案する。
一致した全表現制御を4.90-8.38ポイント改善する。
論文 参考訳（メタデータ） (2026-09-15T12:15:12Z) - Scored vs. Generated Readouts in Behavioral Language Models: An Empirical Study of Elicitation Format [0.0]
回答トークンのスコアリングによって得られる確率と、文章の合理化後に生成された予測とを比較した。
13個のモデルドメイン細胞が4つの小売業務を網羅し、13個の細胞のうち12個で結果がより正確にランク付けされた。
論文 参考訳（メタデータ） (2026-09-09T08:37:46Z) - Check The Scoreboard: An Analysis of Scoring Schemes on Multiple-Choice Evaluation [52.58737865652009]
NLPにおけるMultiple-choice Question answering (MCQA)ベンチマークは、数右スコアリング(精度)を用いる。
教育試験において、スコアリング方式は、応答モードモデルが従うこと、および応答のグレーディングルールの組み合わせであり、どの能力に報酬を与えるかを規定する重要な設計選択である。
我々は、MCQAが6つの教育にインスパイアされた6つのスキームで、正確性を超えた能力を評価することで、数字右の代替手段がどのように変化するかを検討する。
論文 参考訳（メタデータ） (2026-08-30T16:35:22Z) - Recursive Agentic Reasoning [4.7490116928645065]
反復精製、分解、繰り返しサンプリングといったテスト時間推論手法は、しばしば分離して評価される。
エージェントの推論トレース上の再帰演算子として,これらの手法の統一ビューを導入する。
同一のプロンプト、トークン予算、グレーディングコードを持つ共有ハーネスの下で、3つの演算子全てをシングルパスチェーン・オブ・ソートベースラインに対して評価する。
論文 参考訳（メタデータ） (2026-08-25T01:34:08Z) - Visual Credit Audit for Multimodal Spatial Reasoning [70.16915309526443]
Visual Credit Auditは、ベンチマーク画像がテキストのみとブランクコントロールよりもモデルの宣言された決定をもっとサポートするかどうか、モデルが関係性固有の視覚的エビデンスに反応するかどうかの2つの評価を分離する。
ラベルを適用すれば依存性認定正当性(D-CC)が得られる
4つのオープンMLLMと2つの空間ベンチマーク、12.73-26.25%の判定は正確であるが、証明されていない。
論文 参考訳（メタデータ） (2026-07-29T15:55:31Z) - Learning from Self-Sampled Correct and Partially-Correct Programs [96.66452896657991]
そこで本研究では,モデルが学習中にサンプリングを行い,自己サンプリングされた完全正当プログラムと部分正当プログラムの両方から学習することを提案する。
自己サンプリング型プログラムと部分修正型プログラムを併用することで,学習とサンプリングプロセスのガイドに役立てることができることを示す。
提案手法は,MLEを用いた単一の参照プログラムからの学習と比較して,パス@kの性能を3.1%から12.3%向上させる。
論文 参考訳（メタデータ） (2022-05-28T03:31:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。