論文の概要: Meta-Reasoner: Dynamic Guidance for Optimized Inference-time Reasoning in Large Language Models

• arxiv url: http://arxiv.org/abs/2502.19918v1
• Date: Thu, 27 Feb 2025 09:40:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:58:38.180355
• Title: Meta-Reasoner: Dynamic Guidance for Optimized Inference-time Reasoning in Large Language Models
• Title（参考訳）: メタ推論:大規模言語モデルにおける推論時間推論最適化のための動的ガイダンス
• Authors: Yuan Sui, Yufei He, Tri Cao, Simeng Han, Bryan Hooi,
• Abstract要約: 大規模言語モデルは、複雑なタスクを解決するために、より長い推論チェーンに依存している。 この試行錯誤アプローチは、しばしば高い計算オーバーヘッドとエラーの伝播をもたらす。 推論時間推論を動的に最適化するフレームワークであるMeta-Reasonerを紹介する。
• 参考スコア（独自算出の注目度）: 31.556646366268286
• License:
• Abstract: Large Language Models (LLMs) increasingly rely on prolonged reasoning chains to solve complex tasks. However, this trial-and-error approach often leads to high computational overhead and error propagation, where early mistakes can derail subsequent steps. To address these issues, we introduce Meta-Reasoner, a framework that dynamically optimizes inference-time reasoning by enabling LLMs to "think about how to think." Drawing inspiration from human meta-cognition and dual-process theory, Meta-Reasoner operates as a strategic advisor, decoupling high-level guidance from step-by-step generation. It employs "contextual multi-armed bandits" to iteratively evaluate reasoning progress, and select optimal strategies (e.g., backtrack, clarify ambiguity, restart from scratch, or propose alternative approaches), and reallocates computational resources toward the most promising paths. Our evaluations on mathematical reasoning and puzzles highlight the potential of dynamic reasoning chains to overcome inherent challenges in the LLM reasoning process and also show promise in broader applications, offering a scalable and adaptable solution for reasoning-intensive tasks.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、複雑なタスクを解決するために長い推論チェーンに依存している。 しかし、この試行錯誤アプローチは、しばしば高い計算オーバーヘッドとエラーの伝播をもたらす。 これらの問題に対処するために,LLMが"考え方を考える"ことを可能にし,推論時間推論を動的に最適化するフレームワークであるMeta-Reasonerを紹介した。 ヒトのメタ認知と二重プロセス理論からインスピレーションを得たMeta-Reasonerは、戦略的アドバイザーとして機能し、ステップバイステップ生成からハイレベルガイダンスを分離する。 推論の進捗を反復的に評価し、最適な戦略(例えば、バックトラック、曖昧さの明確化、スクラッチからの再スタート、代替アプローチの提案)を選択し、計算資源を最も有望な経路に向けて再配置する。 数学的推論とパズルに対する我々の評価は、LLM推論プロセスにおける固有の課題を克服する動的推論チェーンの可能性を強調し、推論集約的なタスクに対してスケーラブルで適応可能なソリューションを提供する、より広範なアプリケーションにおいて約束を示す。

関連論文リスト

• Advancing Reasoning in Large Language Models: Promising Methods and Approaches [0.0]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて著しく成功している。 複雑な推論スパンニング論理推論、数学的問題解決、コモンセンス推論、そして多段階推論を実行する能力は、人間の期待に届かない。 本調査は, LLMにおける推論向上技術に関する総合的なレビューを提供する。
  論文  参考訳（メタデータ） (2025-02-05T23:31:39Z)
• Forest-of-Thought: Scaling Test-Time Compute for Enhancing LLM Reasoning [40.069109287947875]
  我々はフォレスト・オブ・サート(FoT)と呼ばれる新しい推論フレームワークを提案する。 FoTは複数の推論木を統合し、複雑な論理問題を解くために集合的な意思決定を活用する。 本稿では,リアルタイムの誤り訂正を可能にする動的自己補正戦略と,コンセンサス誘導による意思決定戦略を導入する。
  論文  参考訳（メタデータ） (2024-12-12T09:01:18Z)
• Insight-V: Exploring Long-Chain Visual Reasoning with Multimodal Large Language Models [64.1799100754406]
  大きな言語モデル(LLM)は、さらなる推論によって拡張された能力と信頼性を示す。 LLM推論の改善へのさまざまな取り組みにもかかわらず、高品質な長鎖推論データと最適化されたトレーニングパイプラインは、まだビジョン言語タスクでは不十分である。 本稿では,1)複雑なマルチモーダルタスクに対する長大かつ堅牢な推論データを生成するための初期の取り組みであるInsight-Vと,2)MLLMの推論能力を高めるための効果的なトレーニングパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-11-21T18:59:55Z)
• Make LLMs better zero-shot reasoners: Structure-orientated autonomous reasoning [52.83539473110143]
  本稿では,Large Language Models (LLM) の質問をよりよく理解するための構造指向分析手法を提案する。 複雑な質問応答タスクの信頼性をさらに向上するために,多エージェント推論システム,構造指向自律推論エージェント(SARA)を提案する。 大規模な実験により,提案システムの有効性が検証された。
  論文  参考訳（メタデータ） (2024-10-18T05:30:33Z)
• Reversal of Thought: Enhancing Large Language Models with Preference-Guided Reverse Reasoning Warm-up [9.42385235462794]
  大規模言語モデル(LLM)は、推論タスクにおいて顕著な性能を示すが、数学的および複雑な論理的推論において制限に直面している。 バッチ推論前のウォームアップフェーズにおいて,LLMの論理的推論能力を高めるために,Reversal of Thought (RoT)を提案する。 RoT は Preference-Guided Reverse Reasoning warm-up 戦略を利用している。
  論文  参考訳（メタデータ） (2024-10-16T07:44:28Z)
• Enhancing Multi-Step Reasoning Abilities of Language Models through Direct Q-Function Optimization [49.362750475706235]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデルを人間の好みと整合させ、複雑なタスクを遂行する能力を向上させる上で重要な役割を担っている。 反応生成過程をマルコフ決定プロセス(MDP)として定式化し,ソフトアクター・クリティック(SAC)フレームワークを用いて,言語モデルによって直接パラメータ化されたQ関数を最適化する,直接Q関数最適化(DQO)を提案する。 GSM8KとMATHという2つの数学問題解決データセットの実験結果から、DQOは従来の手法よりも優れており、言語モデルを整合させるための有望なオフライン強化学習手法として確立されている。
  論文  参考訳（メタデータ） (2024-10-11T23:29:20Z)
• Can We Further Elicit Reasoning in LLMs? Critic-Guided Planning with Retrieval-Augmentation for Solving Challenging Tasks [68.49251303172674]
  最先端の大規模言語モデル(LLM)は、目覚ましい問題解決能力を示すが、複雑な推論と事実の正しさに苦慮する可能性がある。 既存の手法では、チェーン・オブ・ソートと検索強化生成(RAG)の強みを利用して、複雑な問題をより単純なステップに分解し、検索を適用して事実の正しさを向上させる。 CR-Planner(CR-Planner, CR-Planner, CR-Planner)は, 微調整された批判モデルを利用して, 推論と検索の両方のプロセスを計画を通してガイドする新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-10-02T11:26:02Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• Learning Planning-based Reasoning by Trajectories Collection and Process Reward Synthesizing [61.98556945939045]
  収集された軌道上でのDPO(Direct Preference Optimization)を通して計画に基づく推論を学習するフレームワークを提案する。 論理的推論ベンチマークの挑戦的な結果から,学習フレームワークの有効性が示された。
  論文  参考訳（メタデータ） (2024-02-01T15:18:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。