論文の概要: Shorter Reasoning, Earlier Answers? An Evaluation of Reasoning Interfaces
- arxiv url: http://arxiv.org/abs/2608.03401v1
- Date: Tue, 04 Aug 2026 09:54:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-05 15:30:23.118635
- Title: Shorter Reasoning, Earlier Answers? An Evaluation of Reasoning Interfaces
- Title（参考訳）: より短い推論, 先行回答 : 推論インタフェースの評価
- Abstract要約: 大規模な言語モデルは、答えの前に長さを推論し、コストとレイテンシを増大させる。
GPQAダイヤモンド198問とMMLU-Pro500問を比較検討した。
- 参考スコア（独自算出の注目度）: 4.821442958610436
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large language models often reason at length before answering, increasing cost and latency. Prompts and trained settings can shorten this reasoning, but a shorter trace may only show that the model stopped sooner. Here, we evaluate paired runs of the same question at matched reasoning horizons across 198 GPQA Diamond and 500 MMLU-Pro questions. We test a numeric/concision prompt that announces a token limit for Qwen3-14B and the trained effort settings of gpt-oss-20b and -120b. The Qwen prompt shortens reasoning traces by 12-17%, while accuracy changes at matched token limits are small and mixed. A concise/early-answer instruction raises MMLU-Pro accuracy by 3.8 percentage points at 512 tokens, including +2.7 points when both runs are unfinished. Its gain at 2,048 tokens is uncertain. For gpt-oss, candidate-logit answers from completed low- and medium-effort reasoning are 14.5-26.3 points more accurate than matched-horizon high-effort answers. Most of the 512-token advantage comes from lower effort finishing earlier, while differences among unfinished runs are smaller and mixed. Wrong early answers often concentrate probability on the chosen option, so earlier stopping does not uniformly improve probability quality. In these tests, a tight deadline can favor lower effort or a concise instruction, whereas allowing high effort to finish can recover higher final accuracy. Evaluations should report correct completion before a deadline, the answer obtained when a run is stopped, differences among unfinished runs, and probability assigned to the correct answer separately.
- Abstract（参考訳）: 大規模な言語モデルは、答えの前に長さを推論し、コストとレイテンシを増大させる。
プロンプトとトレーニングされた設定は、この推論を短縮することができるが、短いトレースは、モデルがより早く停止したことを示すだけである。
ここでは,198GPQAダイアモンドと500MMLU-Proの質問に対して,一致した推論地平線で同じ質問のペア実行を評価した。
我々は、Qwen3-14Bのトークン制限とgpt-oss-20bと-120bのトレーニング作業設定をアナウンスする数値/精度プロンプトをテストする。
Qwenは推論トレースを12-17%短縮し、一致したトークン制限での精度の変化は小さく混合されている。
簡潔/早期回答命令はMMLU-Proの精度を512トークンで3.8ポイント向上させる。
2,048個のトークンでの利得は不確実である。
gpt-ossの場合、完成した低次および中度な推論からの候補-logitの解答は、一致したホリゾンの高次解答よりも14.5-26.3ポイント正確である。
512トーケンの利点のほとんどは、未完成のランの差が小さく混ざり合っているのに対して、早期に作業が終了することによるものである。
早期解答はしばしば選択された選択肢に確率を集中させるため、早期停止は確率品質を均一に改善しない。
これらのテストでは、厳密な期限は、より少ない労力または簡潔な指示を好むが、高い労力で完了させることで、より高い最終精度を回復することができる。
評価は、期限前に正しい完了を報告し、実行が停止されたときに得られた回答、未完了の実行の違い、そして正しい回答に別々に割り当てられた確率を報告すべきである。
関連論文リスト
- Length Penalties Make Chain-of-Thought Less Monitorable [0.0]
長いペナルティのトレーニングは、ステアリングモデルのヒントを誤解させるのを止めない。
ターゲット鎖長の異なるQwen3-4BとQwen3-14Bを訓練する。
MMLU-Pro-Rと4つの転送ベンチマークのバイアスヒント介入による評価を行った。
論文 参考訳（メタデータ） (2026-07-08T14:18:26Z) - Semantic Early-Stopping for Iterative LLM Agent Loops [0.0]
連続したドラフト埋め込みが意味を変えるのをやめたとき、ループは停止する。
各質問の完全な軌道を一度生成し、同じドラフトに対してすべての停止ポリシーを再生し、全てのLM-judgeコールをキャッシュします。
最良のラウンドを選択するオラクルは、すべての実用政策に対して+0.115インフォメーションスコアを得る。
論文 参考訳（メタデータ） (2026-06-25T13:24:21Z) - Extreme Low-Bit Inference in Reasoning Models: Failure Modes and Targeted Recovery [40.94400211806987]
生成プロセスの不安定性はトークン数を膨らませるため、2ビットのアグレッシブ推論がエンドツーエンドのスピードアップを達成できないことを示す。
Qwen3推論モデルの完全な推論トレースを数学的および常識的なベンチマークで分析する。
以上の結果から, 異常を制御可能な世代病理として扱うと, 極端に低ビット推論が現実的になることがわかった。
論文 参考訳（メタデータ） (2026-06-01T10:04:09Z) - Reliable Chain-of-Thought via Prefix Consistency [6.053609157192373]
正しい回答を持つトレースは、間違った回答を持つトレースよりも、元の回答を頻繁に再現する。
この違いを信頼性信号、プレフィックス一貫性として使用し、各候補の回答を再生の頻度によって重み付けします。
論文 参考訳（メタデータ） (2026-05-08T12:28:05Z) - Large Language Models Decide Early and Explain Later [47.20810161393936]
本研究では, 強制解の完成度を用いた推理段階における予測解の進化について検討する。
プローブベースの停止を含むシンプルさは、クエリ毎の推論トークン使用量を500トークン削減できることを示す。
論文 参考訳（メタデータ） (2026-04-24T06:26:24Z) - DTS: Enhancing Large Reasoning Models via Decoding Tree Sketching [54.98126916293868]
大規模推論モデル(LRMs)は、精度を低下させる、非常に長い連鎖のトレースを生成する。
本稿では,高エントロピートークンを分岐することで推論空間をスケッチするモデル非依存デコーディングフレームワークを提案する。
このアプローチは、追加のトレーニングや監督を必要とせず、効率と正確性を両立させる最適解を近似する。
論文 参考訳（メタデータ） (2025-11-01T17:41:28Z) - Beyond the Last Answer: Your Reasoning Trace Uncovers More than You Think [51.0691253204425]
我々は2つの質問に答えるために中間的推論ステップを解析する: 最終的な答えはモデルの最適結論を確実に表すか?
我々のアプローチは、推論トレースを言語的手がかりに基づくシーケンシャルなサブソートに分割することである。
これらの解答を最も頻繁な解(モード)を選択して集約すると、元の完全トレースから得られる解のみに依存するよりも、はるかに高い精度が得られることが判明した。
論文 参考訳（メタデータ） (2025-04-29T12:39:07Z) - O1-Pruner: Length-Harmonizing Fine-Tuning for O1-Like Reasoning Pruning [98.3430004984531]
精度を維持しながら推論オーバーヘッドを最小限に抑えるため,Longth-Harmonizing Fine-Tuning (O1-Pruner)を提案する。
私たちのコードはもうすぐhttps://github.com/StarDewXXX/O1-Pruner.comで公開されます。
論文 参考訳（メタデータ） (2025-01-22T01:35:11Z) - Measuring and Narrowing the Compositionality Gap in Language Models [116.5228850227024]
モデルがすべてのサブプロブレムに正しく答えられる頻度を計測するが、全体の解は生成しない。
我々は,思考の連鎖をさらに改善する新たな手法である自己認識法を提案する。
論文 参考訳（メタデータ） (2022-10-07T06:50:23Z) - Is Multihop QA in DiRe Condition? Measuring and Reducing Disconnected
Reasoning [50.114651561111245]
モデルは、しばしば、複数のサポート事実をまたいで情報を接続することなく、正しい回答を生成するためにデータセットアーティファクトを利用する。
我々は、支持事実のサブセットにまたがる不連結推論のような望ましくない振る舞いを定式化する。
実験によると、読書理解設定においてマルチホップQAがあまり進歩していないことが示唆されている。
論文 参考訳（メタデータ） (2020-05-02T11:01:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。