論文の概要: InftyThink: Breaking the Length Limits of Long-Context Reasoning in Large Language Models
- arxiv url: http://arxiv.org/abs/2503.06692v2
- Date: Thu, 13 Mar 2025 16:00:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-14 14:52:25.595782
- Title: InftyThink: Breaking the Length Limits of Long-Context Reasoning in Large Language Models
- Title（参考訳）: InftyThink:大規模言語モデルにおけるLong-Context Reasoningの長さ制限を破る
- Authors: Yuchen Yan, Yongliang Shen, Yang Liu, Jin Jiang, Mengdi Zhang, Jian Shao, Yueting Zhuang,
- Abstract要約: InftyThinkは、モノリシック推論を中間的な要約を伴う反復的なプロセスに変換するパラダイムである。
本手法では, 計算コストを抑えながら, 推理深度を推定できる。
- 参考スコア（独自算出の注目度）: 44.86868676444545
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Advanced reasoning in large language models has achieved remarkable performance on challenging tasks, but the prevailing long-context reasoning paradigm faces critical limitations: quadratic computational scaling with sequence length, reasoning constrained by maximum context boundaries, and performance degradation beyond pre-training context windows. Existing approaches primarily compress reasoning chains without addressing the fundamental scaling problem. To overcome these challenges, we introduce InftyThink, a paradigm that transforms monolithic reasoning into an iterative process with intermediate summarization. By interleaving short reasoning segments with concise progress summaries, our approach enables unbounded reasoning depth while maintaining bounded computational costs. This creates a characteristic sawtooth memory pattern that significantly reduces computational complexity compared to traditional approaches. Furthermore, we develop a methodology for reconstructing long-context reasoning datasets into our iterative format, transforming OpenR1-Math into 333K training instances. Experiments across multiple model architectures demonstrate that our approach reduces computational costs while improving performance, with Qwen2.5-Math-7B showing 3-13% improvements across MATH500, AIME24, and GPQA_diamond benchmarks. Our work challenges the assumed trade-off between reasoning depth and computational efficiency, providing a more scalable approach to complex reasoning without architectural modifications.
- Abstract（参考訳）: 大規模言語モデルの高度な推論は、困難なタスクにおいて顕著なパフォーマンスを達成したが、一般的な長期コンテキスト推論パラダイムは、シーケンス長の2次計算スケーリング、最大コンテキスト境界で制約された推論、事前学習されたコンテキストウィンドウを超えたパフォーマンス劣化といった、重要な制限に直面している。
既存のアプローチは、基本的なスケーリング問題に対処することなく、主に推論チェーンを圧縮する。
これらの課題を克服するために、モノリシック推論を中間的な要約を伴う反復的なプロセスに変換するパラダイムであるInftyThinkを紹介します。
本手法は, 計算コストを抑えつつ, 短時間の推論セグメントを簡潔な進行サマリーとインターリーブすることにより, 非有界推論深度を実現する。
これにより、従来の手法に比べて計算の複雑さを著しく低減する特徴的なソートゥースメモリパターンが生成される。
さらに,長文推論データセットを反復形式に再構築し,OpenR1-Mathを333Kのトレーニングインスタンスに変換する手法を開発した。
Qwen2.5-Math-7BはMATH500, AIME24, GPQA_diamondベンチマークで3-13%改善した。
我々の研究は、推論深度と計算効率のトレードオフを仮定し、アーキテクチャの変更なしに複雑な推論によりスケーラブルなアプローチを提供する。
関連論文リスト
- PENCIL: Long Thoughts with Short Memory [34.880226179021996]
自己回帰生成プロセスに還元機構を組み込んだPENCILを提案する。
PENCILは生成に必要な最大コンテキスト長を著しく削減する。
我々は,難解なアインシュタインのパズルに対して,PENCILが97%の精度を達成したことを実証する。
論文 参考訳（メタデータ） (2025-03-18T15:14:14Z) - PromptCoT: Synthesizing Olympiad-level Problems for Mathematical Reasoning in Large Language Models [59.920971312822736]
本稿では,高品質なオリンピアードレベルの数学問題を自動生成する新しい手法であるPromptCoTを紹介する。
提案手法は,問題構築の背景にある数学的概念と理論的根拠に基づいて複雑な問題を合成する。
提案手法は, GSM8K, MATH-500, AIME2024などの標準ベンチマークで評価され, 既存の問題生成手法を一貫して上回っている。
論文 参考訳（メタデータ） (2025-03-04T06:32:30Z) - Meta-Reasoner: Dynamic Guidance for Optimized Inference-time Reasoning in Large Language Models [31.556646366268286]
大規模言語モデルは、複雑なタスクを解決するために、より長い推論チェーンに依存している。
この試行錯誤アプローチは、しばしば高い計算オーバーヘッドとエラーの伝播をもたらす。
推論時間推論を動的に最適化するフレームワークであるMeta-Reasonerを紹介する。
論文 参考訳（メタデータ） (2025-02-27T09:40:13Z) - Adaptive Graph of Thoughts: Test-Time Adaptive Reasoning Unifying Chain, Tree, and Graph Structures [0.0]
本稿では,動的グラフベースの推論フレームワークであるAdaptive Graph of Thoughts (AGoT)を紹介する。
AGoTはテスト時間のみでのLarge Language Models (LLM)推論を強化する。
マルチホップ検索,科学的推論,数学的問題解決にまたがる多様なベンチマークに対するアプローチを検証する。
論文 参考訳（メタデータ） (2025-02-07T16:54:19Z) - Coarse-to-Fine Process Reward Modeling for Mathematical Reasoning [11.15613673478208]
プロセス・リワード・モデル (Process Reward Model, PRM) は数学的推論において重要な役割を担い、高品質なプロセスデータを必要とする。
我々は,Large Language Models (LLM) が生成する推論ステップが,厳密なインクリメンタルな情報表示に失敗することが多く,冗長性が生じることを観察する。
本稿では,冗長なステップを検出するための簡易かつ効果的な粗大な戦略CFPRMを提案する。
論文 参考訳（メタデータ） (2025-01-23T12:44:45Z) - Do NOT Think That Much for 2+3=? On the Overthinking of o1-Like LLMs [76.43407125275202]
o1のようなモデルは、推論中に人間のような長時間の思考をエミュレートすることができる。
本論文は,これらのモデルにおける過度な考察の課題に関する,最初の包括的研究である。
精度を損なうことなく、過剰思考を緩和し、推論プロセスを合理化するための戦略を提案する。
論文 参考訳（メタデータ） (2024-12-30T18:55:12Z) - Enhancing Multi-Step Reasoning Abilities of Language Models through Direct Q-Function Optimization [49.362750475706235]
強化学習(Reinforcement Learning, RL)は、大規模言語モデルを人間の好みと整合させ、複雑なタスクを遂行する能力を向上させる上で重要な役割を担っている。
反応生成過程をマルコフ決定プロセス(MDP)として定式化し,ソフトアクター・クリティック(SAC)フレームワークを用いて,言語モデルによって直接パラメータ化されたQ関数を最適化する,直接Q関数最適化(DQO)を提案する。
GSM8KとMATHという2つの数学問題解決データセットの実験結果から、DQOは従来の手法よりも優れており、言語モデルを整合させるための有望なオフライン強化学習手法として確立されている。
論文 参考訳（メタデータ） (2024-10-11T23:29:20Z) - Think Beyond Size: Adaptive Prompting for More Effective Reasoning [0.0]
本稿では,動的かつ反復的なフレームワークであるAdaptive Promptingを紹介する。
その結果、Adaptive Promptingは、算術的推論(GSM8K、MultiArithm)、論理的推論、コモンセンスタスクなど、様々な推論ベンチマークのパフォーマンスを著しく向上させることを示した。
提案手法は,計算効率を維持しつつ,GPT-4などの大規模モデルと競合する性能を実現する。
論文 参考訳（メタデータ） (2024-10-10T17:14:36Z) - Rational Metareasoning for Large Language Models [5.5539136805232205]
大きな言語モデル(LLM)を使用するためのコアテクニックとして,推論への関与を促す声が上がっている。
本研究は,認知科学で用いられるメタレゾニングの計算モデルに基づく新しいアプローチを導入する。
我々は不必要な推論を罰することで計算の価値を組み込む報酬関数を開発する。
論文 参考訳（メタデータ） (2024-10-07T23:48:52Z) - Recursion of Thought: A Divide-and-Conquer Approach to Multi-Context
Reasoning with Language Models [58.41943058963672]
我々はRecursion of Thought (RoT)と呼ばれる新しい推論フレームワークを提案する。
RoTはいくつかの特別なトークンを導入し、モデルが出力してコンテキスト関連の操作をトリガーする。
GPT-3を含む複数のアーキテクチャの実験により、RoTは問題を解くためにLMの推論能力を劇的に改善した。
論文 参考訳（メタデータ） (2023-06-12T06:34:16Z) - Confident Adaptive Language Modeling [95.45272377648773]
CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。
ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
論文 参考訳（メタデータ） (2022-07-14T17:00:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。