論文の概要: Reason Wide, Not Deep: Amortizing the Reasoning Premium into Distilled Skills
- arxiv url: http://arxiv.org/abs/2608.07885v1
- Date: Sat, 08 Aug 2026 03:22:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.545945
- Title: Reason Wide, Not Deep: Amortizing the Reasoning Premium into Distilled Skills
- Title（参考訳）: Reason Wide, Not Deep:「Reasoning Premium」を「蒸留スキル」に変える
- Abstract要約: 言語モデルの推論モードは、多段階のエージェントタスクにおいて非推論モードよりも優れている。
推論モードは、各エピソードで出力トークンの3-6倍のプレミアムを支払う。
この繰り返しのコストは償却可能であることを示す。
- 参考スコア（独自算出の注目度）: 7.9205333979965635
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reasoning modes of language models outperform their non-reasoning counterparts on multi-step agentic tasks, but pay a 3-6x premium in output tokens on every episode -- much of it spent re-deriving procedures that are shared across episodes of the same domain. We show this recurring cost can be amortized: a coding agent analyses a small corpus of existing trajectories from a training split and compiles a compact natural-language skill that is injected into the non-reasoning model's system prompt. Across four agentic benchmarks (ALFWorld, tau$^2$-bench telecom and retail, and SpreadsheetBench-Verified), skills recover 55%-100%+ of the reasoning gap for GPT-5.4-mini on held-out tasks -- exceeding the reasoning mode outright on two of four -- while emitting 2.7-6x fewer output tokens and zero reasoning tokens. Notably, reasoning traces are not a prerequisite: skills distilled from non-reasoning trajectories alone remain competitive with skills distilled from paired reasoning/non-reasoning corpora, with domain-dependent differences between the two sources. We interpret these results through a search lens: test-time reasoning is deep search inside a single episode, re-paid at every deployment, while corpus distillation is wide search across episodes, paid once. The two recover overlapping procedural knowledge, and width over cheap trajectories is often the better buy -- with the residual gap on some domains (telecom, SpreadsheetBench) delineating where genuinely per-instance deep search remains necessary.
- Abstract（参考訳）: 言語モデルの推論モードは、マルチステップのエージェントタスクにおいて非推論モードよりも優れていますが、各エピソードで出力トークンの3～6倍のプレミアムを支払っています。
符号化エージェントは、トレーニングスプリットから既存のトラジェクトリの小さなコーパスを分析し、非推論モデルのシステムプロンプトに注入されるコンパクトな自然言語スキルをコンパイルする。
4つのエージェントベンチマーク (ALFWorld, tau$^2$-bench telecom and retail, and SpreadsheetBench-Verified) では、GPT-5.4-miniが持つ4つのうち2つで完全に推論モードを超え、出力トークンが2.7-6倍少なくなり、推論トークンがゼロになる。
特に、推論の痕跡は前提条件ではなく、非推論の軌跡のみから蒸留した技術は、2つのソース間のドメイン依存的な差異を伴うペアの推論/非推論のコーパスから蒸留した技術と競合するままである。
テストタイム推論は1回のエピソード内で深く検索され、デプロイ毎に再支払いされ、コーパス蒸留はエピソード全体で広範に検索され、一度は支払われる。
ドメイン(telecom、SpreadsheetBench)の残差は、真にインスタンスごとの深層検索が必要な場所を線引きしている。
関連論文リスト
- Test-Time Scaling in the Wild: Why Exploitation, Not Exploration, Is the Bottleneck [1.4991111518581999]
テストタイムスケーリング(TTS)は、追加の推論計算を使用することで、言語モデルの出力を改善する。
5世代ベンチマークで5つのTSファミリーの計算正規化比較を行った。
論文 参考訳（メタデータ） (2026-08-19T13:59:53Z) - From Reasoning Depth to Reasoning Breadth: Evaluating Multi-Point Associative Reasoning in Large Language Models [18.240441114446607]
MPAR-Benchは多点連想推論によって推論の幅を分離するベンチマークである。
マルチエージェントの手がかり生成パイプライン,埋め込み型多様性フィルタリング,人間による検証を用いて1000項目を構築。
我々は、精度、ANLS、埋め込み類似性、推論トレース検証、および4つの摂動(手がかりマスキング、オーダーシャッフル、インジェクション、マルチステップインジェクション)を用いてモデルを評価する。
論文 参考訳（メタデータ） (2026-08-11T03:58:23Z) - Same Task, Different Work: Prompt-Induced Waste in Coding Agents [0.0]
2つのプロンプトは、同じコード変更を要求して、同じ正しいパッチを生成することができるが、コーディングエージェントは、根本的に異なる種類の作業を実行する。
この効果を,4,644回の有効実行,24個の決定論的コーディングタスク,7つの推論モデル,および2つの実エージェントハーネスにまたがる事前登録されたベンチマークで検討した。
論文 参考訳（メタデータ） (2026-08-02T16:10:02Z) - Affordance Agent Harness: Verification-Gated Skill Orchestration [45.231685718099264]
Affordance groundingは、オープンワールドのシーンでエージェントがどこでどのように対話すべきかを特定する必要がある。
本稿では,エビデンスストアとコストコントロールを備えたクローズドループランタイムであるAffordance Agent Harnessを提案する。
論文 参考訳（メタデータ） (2026-05-01T13:45:16Z) - Rerank Before You Reason: Analyzing Reranking Tradeoffs through Effective Token Cost in Deep Search Agents [50.212640395029744]
深層探索パイプラインにおける推論予算の配分について検討する。
BrowseComp-Plusベンチマークを用いて、モデルスケール、推論の労力、深度の再検討、トークン総コストのトレードオフを分析する。
論文 参考訳（メタデータ） (2026-01-20T18:38:35Z) - Lateral Tree-of-Thoughts Surpasses ToT by Incorporating Logically-Consistent, Low-Utility Candidates [0.0]
Lateral Tree-of-Thoughts (LToT) は、ユーティリティを論理的一貫性から分離し、低ユーティリティだが一貫した候補を無駄ではなく資産として扱うドロップインコントローラである。
LToTは、横方向の小さなプローブを非常に広い横方向のセットに広げるキャップ付き連続半減レースである、横方向レーシングと短絡(LR--SC)を介して横方向を探索する。
論文 参考訳（メタデータ） (2025-10-01T22:23:58Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z) - Runaway is Ashamed, But Helpful: On the Early-Exit Behavior of Large Language Model-based Agents in Embodied Environments [54.67512489842682]
大規模言語モデル(LLM)は、複雑な実施環境において、強力な計画と意思決定能力を示す。
LLMをベースとしたエージェントの早期退避行動を探究する第一歩を踏み出す。
論文 参考訳（メタデータ） (2025-05-23T08:23:36Z) - Don't Get Lost in the Trees: Streamlining LLM Reasoning by Overcoming Tree Search Exploration Pitfalls [83.89771461061903]
検証者による木探索アルゴリズムの最近の進歩は、大規模言語モデル(LLM)の推論能力を大幅に向上させた。
検証者による木探索アルゴリズムの最近の進歩は、大規模言語モデル(LLM)の推論能力を大幅に向上させた。
意味論的に等価なコンテンツを持つ冗長な状態による$textitover-Exploration$と、検証器のスコアリングにおける高いばらつきに起因する$textitunder-Exploration$である。
各種木探索アルゴリズムに適合するフレキシブルなプラグアンドプレイシステムであるFETCHを提案する。
論文 参考訳（メタデータ） (2025-02-16T16:12:01Z) - FLARE: Faithful Logic-Aided Reasoning and Exploration [47.46564769245296]
タスク分解を用いて問題空間をトラバースする新しい手法を提案する。
我々はLarge Language Modelsを使ってソリューションを計画し、クエリを事実に軟式化し、論理プログラミングコードを使って述語する。
提案手法は,生成したコードに対する推論プロセスの忠実度を計算し,外部の解法に頼らずにマルチホップ探索のステップを解析する。
論文 参考訳（メタデータ） (2024-10-14T19:39:11Z) - Patch-level Routing in Mixture-of-Experts is Provably Sample-efficient
for Convolutional Neural Networks [74.68583356645276]
ディープラーニングでは、Mixix-of-experts(MoE)が、サンプル単位またはトーケン単位で専門家(サブネットワーク)を活性化する。
我々は,pMoEが適切な一般化を実現するために,必要なトレーニングサンプル数を確実に削減できることを初めて示す。
論文 参考訳（メタデータ） (2023-06-07T00:16:10Z) - USB: A Unified Summarization Benchmark Across Tasks and Domains [68.82726887802856]
ウィキペディア由来のベンチマークを導入し、クラウドソースアノテーションの豊富なセットを補完し、8ドルの相互関連タスクをサポートする。
このベンチマークで様々な手法を比較し、複数のタスクにおいて、中程度の大きさの微調整されたモデルが、より大きな数発の言語モデルよりも一貫して優れていることを発見した。
論文 参考訳（メタデータ） (2023-05-23T17:39:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。