論文の概要: Think More or Read More? A Token-Budget Theory of Reasoning with Shared Context
- arxiv url: http://arxiv.org/abs/2610.23246v1
- Date: Fri, 16 Oct 2026 10:18:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.871337
- Title: Think More or Read More? A Token-Budget Theory of Reasoning with Shared Context
- Title（参考訳）: もっと考えるか、もっと読むか? 共用文脈による推論のトークン予算理論
- Abstract要約: トークンの読み取りと生成が1つの固定トークンウィンドウに描画される仕組みについて検討するので、読み取りに費やされたトークンはすべて、推論に費やせないトークンである。
我々は,このトレードオフを形式化し,読解後に残る推論予算の関数としての精度をモデル化する教科書予算理論を開発した。
我々は,我々の理論を実証的に検証し,予測されたグループサイズにおいて,最も厳密なキャリブレーション費用の下では,強いベースラインよりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 13.41454380481593
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reasoning systems increasingly improve answers by incorporating additional context into the model's input, from multi-agent debate, where agents read their peers' responses, to self-refinement, where a model revisits its own drafts. In these systems, communication consumes context as one agent's output becomes another's input. We study the regime where token reading and generation draw on one fixed token window, so every token spent reading is a token that cannot be spent reasoning. We develop a \textbf{token-budget theory} that formalizes this trade-off, modeling accuracy as a function of the reasoning budget remaining after reading and aggregating votes with a Condorcet jury model that permits correlated errors. For multi-agent debate, the theory gives a closed-form prediction for the optimal number of agents. This quantity is estimated from single-agent measurements, allowing the optimal group size to be determined without running debate, and the same accounting extends to a heterogeneous set of different models. We empirically verify our theory and show that, at the predicted group size, our method outperforms strong baselines under the tightest calibration spend, where debate-calibrated rules can afford only one or two questions. Self-refinement obeys the same accounting, with its own draft in place of a peer message. The theory further predicts that communication pays only when the gain in the accuracy ceiling exceeds the reasoning room spent on reading, with this condition tightening as the window shrinks. Across five open models and four reasoning tasks, self-consistency matches or beats deployed debate at $93$\% of $980$ matched window-and-group-size settings, with the gap being largest under tight windows and nearly disappearing at a loose one, consistent with the theory. Under a shared window, how much room a model has left to \textit{think matters more than what it reads}.
- Abstract（参考訳）: 推論システムは、エージェントが仲間の反応を読み取るマルチエージェントの議論から、モデルが自身のドラフトを再検討する自己修正まで、モデルの入力に追加のコンテキストを組み込むことで、回答を改善する。
これらのシステムでは、あるエージェントの出力が別のエージェントの入力となると、通信はコンテキストを消費する。
トークンの読み取りと生成が1つの固定トークンウィンドウに描画される仕組みについて検討するので、読み取りに費やされたトークンはすべて、推論に費やせないトークンである。
本稿では,このトレードオフを定式化した「textbf{token-budget theory」を開発し,読解後に残る推論予算の関数として精度をモデル化し,相関誤差を許容するコンドルチェット陪審モデルを用いて投票を集約する。
マルチエージェントの議論において、この理論は最適なエージェント数の閉形式予測を与える。
この量は単エージェント測定から推定され、最適なグループサイズを議論を行わずに決定でき、同じ会計は異なるモデルの異種集合にまで拡張される。
我々は、我々の理論を実証的に検証し、予測されたグループサイズにおいて、我々の手法は、最も厳密な校正費の下で強い基準線を上回り、議論を校正したルールが1つまたは2つの質問しかできないことを示す。
自己抑制は、ピアメッセージの代わりに独自のドラフトで、同じ会計に従う。
この理論は、精度天井の利得が読書に費やされた推論室を超える場合にのみ通信が支払うと予測し、窓が縮むにつれてこの条件を締め付ける。
5つのオープンモデルと4つの推論タスク、自己整合性マッチ、あるいはデプロイされた議論を980ドル(約9万3000円)の窓とグループサイズの設定で破る。
共有ウィンドウの下では、モデルがどれだけのスペースを \textit{think に残したかは、それが読むものよりも重要である。
関連論文リスト
- Understanding as No-Arbitrage: Bounded Dutch Books as a Definition and Training Objective for Language Models [0.0]
我々はこの疑問を、非アービタージュのレンズを通して「理解」を定義することで測定可能とする。
計算的に有界なトレーダーが保証された利益を抽出できない場合、モデルは語彙をある程度理解する。
Arbitrは、敵対的トレーダーが論理的不整合のモデルをペナルティ化するトレーニングフレームワークである。
論文 参考訳（メタデータ） (2026-09-30T09:07:44Z) - Beyond Symmetric Agents: Cognitive Diversity and Multi-Agent Debate in Small Language Models [0.0]
マルチエージェント論争(MAD)は、単一モデル推論よりも推論と事実性を改善すると伝えられている。
エージェント間の認知的多様性がドライバである、という仮説を、質問がまだ測定可能な場所で検証する。
論文 参考訳（メタデータ） (2026-09-26T19:38:16Z) - To Think or Not To Think, That is The Question for Large Reasoning Models in Theory of Mind Tasks [56.11584171938381]
心の理論 (ToM) は、モデルが信念、欲望、意図などの隠された精神状態を推測できるかどうかを評価する。
近年のLRM(Large Reasoning Models)の進歩により、数学やコーディングにおけるステップバイステップ推論が向上している。
本研究では,9つの大規模言語モデル(LLM)の体系的研究を行い,推論モデルと非推論モデルを比較した。
論文 参考訳（メタデータ） (2026-02-11T08:16:13Z) - Analyzing Reasoning Consistency in Large Multimodal Models under Cross-Modal Conflicts [74.47786985522762]
テキスト慣性(textual inertia)と呼ばれる重要な障害モードを特定し、矛盾する視覚的証拠を無視しながら、モデルは間違ったテキストに盲目的に固執する傾向がある。
本稿では,多種多様なLMMの推論連鎖に摂動を構造的に注入するLogicGraph摂動プロトコルを提案する。
その結果,10%未満の症例で自己修正が成功し,主に視覚的テキスト誤りの伝播に寄与することが判明した。
論文 参考訳（メタデータ） (2026-01-07T16:39:34Z) - In-Token Rationality Optimization: Towards Accurate and Concise LLM Reasoning via Self-Feedback [38.915062716409686]
InTROはトークンレベルの探索と,正確かつ簡潔な推論のための自己フィードバックを可能にする,新たなフレームワークである。
InTROは他のベースラインを一貫して上回り、ベースモデルと比較して解の精度を最大20%向上させる。
その思考の連鎖は明らかに簡潔であり、冗長性が低下している。
論文 参考訳（メタデータ） (2025-11-13T01:47:06Z) - Thought calibration: Efficient and confident test-time scaling [11.028893528095196]
大きな言語モデルを推論することで、長いこと考えることで、素晴らしいテスト時間のスケーリングを実現しますが、このパフォーマンス向上は、かなりの計算コストを伴います。
思考終了時の動的決定を動的に行うための思考校正を提案する。
このフレームワークは,言語モデルに隠された表現をベースとした軽量なプローブによって実現されている。
論文 参考訳（メタデータ） (2025-05-23T22:17:18Z) - Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching [64.74765550805024]
Chain-of-Thoughtはステップバイステップの問題解決を促すが、中間出力の過剰な冗長性を犠牲にすることが多い。
我々は,認知にインスパイアされた推論パラダイムを言語制約と統合する促進フレームワークであるSketch-of-Thought(SoT)を提案する。
SoTはトークンを最大84%削減し、18の推論データセットで最小限の精度ロスを達成している。
論文 参考訳（メタデータ） (2025-03-07T06:57:17Z) - DebUnc: Improving Large Language Model Agent Communication With Uncertainty Metrics [52.242449026151846]
大規模言語モデル(LLM)の精度向上のためのマルチエージェント論争が紹介されている。
エージェントの信頼性を評価するために不確実性指標を用いた議論フレームワークであるDebUncを提案する。
論文 参考訳（メタデータ） (2024-07-08T22:15:01Z) - HOP, UNION, GENERATE: Explainable Multi-hop Reasoning without Rationale
Supervision [118.0818807474809]
本研究は、合理的な監督なしに説明可能なマルチホップQAシステムを訓練するための原則的確率論的アプローチを提案する。
提案手法は,集合としての有理を明示的にモデル化し,文書と文間の相互作用を文書内で捉えることによって,マルチホップ推論を行う。
論文 参考訳（メタデータ） (2023-05-23T16:53:49Z) - On the Role of Memory in Robust Opinion Dynamics [3.4533036061671973]
我々は,n$同一エージェントと匿名エージェントからなる完全接続システムにおける意見力学について検討する。
あるソースエージェントは、最初は正しい意見を持ち、実行中は、この意見のままである。
ソースがなければ、エージェントは$ell$ランダムエージェントの意見を引き出し、あるルールに従ってその意見を更新する。
論文 参考訳（メタデータ） (2023-02-16T21:53:14Z) - When Hearst Is not Enough: Improving Hypernymy Detection from Corpus
with Distributional Models [59.46552488974247]
本稿では,大きなテキストコーパスの助けを借りて,単語 (x, y) 間のis-a関係が存在するかどうかを論じる。
近年の研究では、大規模なハーストペアを抽出して給餌し、目に見えない(x, y)ペアの親和性が緩和された場合、パターンベースのペアの方が優れていることが示唆されている。
本稿では,これらの特定の事例の非無視的存在を初めて定量化し,その場合の分布法がパターンベースの事例を補うのに最適であることを示す。
論文 参考訳（メタデータ） (2020-10-10T08:34:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。