論文の概要: Thinking Costs Tokens: When More Structure is Worth the Price
- arxiv url: http://arxiv.org/abs/2608.27506v1
- Date: Thu, 27 Aug 2026 05:24:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 17:16:04.089391
- Title: Thinking Costs Tokens: When More Structure is Worth the Price
- Title(参考訳): 考えるコスト - より多くの構造が価格よりも価値がある場合
- Abstract要約: 言語モデルに推論構造を追加することで、検索、検証、修正が可能になるが、これらのアクションはよく使われるはずの予算を消費する。
本稿では,トークン予算のしきい値が存在するかどうかを考察する。
- 参考スコア(独自算出の注目度): 2.8323951112651593
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adding inference structure to a language model lets it search, verify, and revise, but these actions consume the very budget they are supposed to use well. In this paper, we investigate whether there exists a token-budget threshold, below which the overhead of planning and verification hurts performance and above which it helps. We evaluate two systems on FinQA and TAT-QA financial reasoning tasks, using GPT-5.4 mini across 14 budget tiers ranging from 250 to 42,000 output-equivalent tokens. The first system is a monolith, which is a single LLM call. The second is a verified search architecture that adds planning, label-blind checking, and repair capabilities. We run 1,000 cases for a total of 28,000 completed cells. Both systems score 0% at the two lowest tiers, where neither can fit a complete prompt. At 1,000 tokens, the monolith reaches 18% accuracy while verified search scores near 0%, since the planning overhead leaves no room for an answer. From 1,500 tokens onward, verified search surpasses the monolith and maintains a consistent advantage, reaching approximately 44% at the highest tiers while the monolith reaches approximately 40%. The crossover occurs between 1,000 and 1,500 output-equivalent tokens, confirmed by a strict intersection-union test ($p \le 0.001$ at both endpoints).
- Abstract(参考訳): 言語モデルに推論構造を追加することで、検索、検証、修正が可能になるが、これらのアクションはよく使われるはずの予算を消費する。
本稿では,トークン予算のしきい値が存在するかどうかを考察する。
我々は,FinQAとTAT-QAの2つのファイナンシャル推論タスクを,250~42,000の出力等価トークンを含む14の予算層にわたるGPT-5.4 miniを用いて評価した。
最初のシステムはモノリスであり、単一のLSMコールである。
2つ目は、計画、ラベルの盲点チェック、修復機能を追加する検証済みの検索アーキテクチャである。
合計28,000の完成細胞に対して1,000のケースを実行します。
どちらのシステムも2つの下位階層で0%を獲得し、どちらも完全なプロンプトに適合しない。
1000のトークンでは、モノリスは精度が18%、探索スコアは0%近くに達する。
1500のトークンから、検証された検索はモノリスを超え、一貫した優位性を維持し、最高層で約44%、モノリスで約40%に達する。
交差は1000から1500の出力等価トークンの間で発生し、厳密な交叉結合テスト(p \le 0.001$)によって確認される。
関連論文リスト
- ECDSA.Fail: Open Autoresearch for Optimizing Elliptic-Curve Point Addition in Shor's Algorithm [26.031771597083708]
我々は、人間とAIエージェントが公衆のリーダーボードに評価器を検証した改善をパブリッシュするOpen Autoresearchを提案する。
我々は、楕円曲線暗号におけるショアのアルゴリズムのボトルネックである、可逆secp256k1点加算回路を最適化する。
ベンチマークは、時空にインスパイアされたスコア$S=Qtimes T$を最小にし、$Q$はピーク論理量子ビット幅、$T$は平均実行されたToffoli数である。
論文 参考訳(メタデータ) (2026-09-09T01:05:06Z) - HAP: Head-Adaptive Visual Token Pruning via Cross-Modal Alignment [76.68875424389057]
既存の手法では、すべての頭部に一様にテキストから視覚への注意を平均化することで、各視覚トークンをスコアリングする。
頭が不一致で 平均的に支配され 背景のトークンを増幅し きめ細かな手がかりを 吐き出す
本稿では,各頭部のプロンプトと画像領域の整合性を評価する指標であるPAQ(Prompt-Grounded Attention Quality)を提案する。
論文 参考訳(メタデータ) (2026-08-24T23:55:36Z) - An Interactive Agent for Requirement-Driven Candidate Sourcing [75.63902836826038]
最初の要件駆動型候補ソーシングエージェントであるsysを提示する。
それは、あいまいな人々の要求を正当化されたスレートに導き、検証し、回収し、検証する。
広さ (100%$カバレッジ 2.5times$ the yield) を支配し、フィールドに直交する。
論文 参考訳(メタデータ) (2026-08-24T17:04:16Z) - Flat Score, Amplified Failures: How the Error Budget Masks Damage in Quantized LLM Agents [19.600181756177303]
密度とMoEの2つのモデルファミリの2ドルベンチでは、量子化は標準メートル法では自由に見える。
量子化は、モデルが既に示す失敗を最大2.5$times$の完全精度で増幅する。
目標とするエラー修正プロンプトは、正確度毎に5つの通信モデルで実行される。
論文 参考訳(メタデータ) (2026-07-29T12:40:04Z) - The Cost of Knowing: A Resource-Aware Protocol for Benchmarking Hallucination Beyond Static Leaderboards [27.694287638709643]
MAS-HQ (Multi-Agent System Hallucination Quest) は、リソースを意識した評価プロトコルである。
事実検知器を包み、コストを正規化する。
Q-Scoreは、競合する試合において、現実性は正規化コストをマイナスにする。
論文 参考訳(メタデータ) (2026-07-27T07:05:11Z) - More Structure, Not More Capacity: Object-Centric Representations for Visuomotor Imitation Learning [54.65906330923846]
対象中心のスロット表現は、事前学習された視覚モデルに代わる構造化された代替物であることを示す。
トークンの16倍の高密度なパッチグリッドは、グローバル機能に匹敵するパフォーマンスはない。
明示的な2D空間目標とネイティブ解像度レンダリングにより、全システムは68.7$pm$4.2%まで上昇し、特権付き3Dオーラクルの上界の直ぐ下にある。
論文 参考訳(メタデータ) (2026-07-10T10:35:24Z) - InfluMatch: Frontier-Quality KOL Search at 4B-Model Cost [0.0]
私たちは、小さなオープンウェイトモデルで作られた安価な3段階のカスケード -- 検索$rightarrow$rerank$rightarrow$ reason -- を提示します。
このカスケードはコストのために設計されており、フィルターされたトップ10ハーフのトークンを、50点以上のトークンを推論するのに対して、14点以上のトークンを推論する。
その結果、フロンティアサービスコストのごく一部で、デプロイ可能で説明可能なKOLサーチシステムとなった。
論文 参考訳(メタデータ) (2026-07-07T08:04:05Z) - Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。
8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。
FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
論文 参考訳(メタデータ) (2026-06-02T07:01:33Z) - Which Defense Closes Which Threat? Attributing OWASP-LLM-Top-10 Coverage and Its Brittleness Under Paraphrasing [51.56484100374058]
プロダクションLLMアプリケーションは、いくつかの防衛ファミリを積み重ねる -- 拒絶フレーズフィルタ、トークンバッジコントロール、モデル許容度リスト、レート制限、ツール登録認証 -- が、BASベンチマークでは、単一の集計カバレッジ番号を報告している。
21エージェントベースラインスキャナに4つのLLM-Top-10対応エージェントを追加し、4つの合成LDMエンドポイントの格子をターゲットとした。
論文 参考訳(メタデータ) (2026-06-01T19:39:25Z) - What Do EEG Foundation Models Capture from Human Brain Signals? [64.48249643001402]
現代の脳波基礎モデルは、自己教師付き事前訓練を通じて生信号から直接学習する。
我々は3つのサブクエストに分解する: モデルが何を学習するか、モデルを何に使用するのか、そしてどのように説明できるのか。
3つの基礎モデル(CSBrain, CBraMod, LaBraM),5つの臨床タスク(MDD, Stress, ISRUC-Sleep, TUSL, Siena)と6ファミリー63機能レキシコンを含む。
論文 参考訳(メタデータ) (2026-05-12T01:57:53Z) - The Coupling Tax: How Shared Token Budgets Undermine Visible Chain-of-Thought Under Fixed Output Limits [12.316478346055618]
思考の連鎖推論はしばしば、モデルを長く考えることで言語モデル精度を改善するための単調な方法として扱われる。
トレースと最終回答の推論が1つのアウトプットの予算を共有している場合、長いトレースは彼らがサポートしようとしている回答をかき集めることができます。
GSM8K、MATH-500、および5つのBIG-Bench HardタスクをQwen3モデルで3つのスケールで実行し、GSM8KとMATH-500では最大2048トークンまでの予算で非思考モードマッチや優れた思考モードを実現した。
論文 参考訳(メタデータ) (2026-05-08T12:54:53Z) - Gavel: Agent Meets Checklist for Evaluating LLMs on Long-Context Legal Summarization [10.935436958494245]
大規模言語モデル(LLM)は、最大100万個のトークンのコンテキストをサポートするようになったが、複雑な長文タスクにおけるそれらの有効性はまだ不明である。
本研究は,100K-500Kトークンの多文書にまたがる多文書の判例要約について検討する。
本稿では,26項目以上の多値チェックリスト評価を行う参照ベース評価フレームワークであるGavel-Refを紹介する。
論文 参考訳(メタデータ) (2026-01-07T22:08:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。