論文の概要: Deciphering Trajectory-Aided LLM Reasoning: An Optimization Perspective

• arxiv url: http://arxiv.org/abs/2505.19815v1
• Date: Mon, 26 May 2025 10:52:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.368382
• Title: Deciphering Trajectory-Aided LLM Reasoning: An Optimization Perspective
• Title（参考訳）: 軌道支援LLM推論の最適解法
• Authors: Junnan Liu, Hongwei Liu, Linchen Xiao, Shudong Liu, Taolin Zhang, Zihan Ma, Songyang Zhang, Kai Chen,
• Abstract要約: 本稿では,メタ学習の観点から,大規模言語モデル(LLM)の推論能力を理解するためのフレームワークを提案する。 我々は,個別のタスクとして扱われる質問に対して,メタラーニング・セットアップとして推論タスクのトレーニングプロセスを定式化する。 我々の研究は、確立したメタ学習技術によってこれらのモデルを改善するための実践的な洞察を提供する。
• 参考スコア（独自算出の注目度）: 35.898734823687576
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a novel framework for comprehending the reasoning capabilities of large language models (LLMs) through the perspective of meta-learning. By conceptualizing reasoning trajectories as pseudo-gradient descent updates to the LLM's parameters, we identify parallels between LLM reasoning and various meta-learning paradigms. We formalize the training process for reasoning tasks as a meta-learning setup, with each question treated as an individual task, and reasoning trajectories serving as the inner loop optimization for adapting model parameters. Once trained on a diverse set of questions, the LLM develops fundamental reasoning capabilities that can generalize to previously unseen questions. Extensive empirical evaluations substantiate the strong connection between LLM reasoning and meta-learning, exploring several issues of significant interest from a meta-learning standpoint. Our work not only enhances the understanding of LLM reasoning but also provides practical insights for improving these models through established meta-learning techniques.
• Abstract（参考訳）: 本稿では,メタ学習の観点から,大規模言語モデル(LLM)の推論能力を理解するための新しいフレームワークを提案する。 LLMのパラメータの擬段階的降下更新として推論軌跡を概念化し、LLM推論と様々なメタラーニングパラダイムの並列性を同定する。 モデルパラメータを適応するための内部ループ最適化として,各質問を個別のタスクとして扱うメタラーニング・セットアップとして,推論タスクの学習過程を定式化する。 様々な質問のセットで訓練された後、LLMは、これまで見つからなかった質問に一般化できる基本的な推論機能を開発した。 広範囲にわたる経験的評価は、LLM推論とメタラーニングの強い結びつきを裏付け、メタラーニングの観点から重要な関心事のいくつかを探求する。 我々の研究は、LLM推論の理解を深めるだけでなく、確立されたメタ学習技術を通じてこれらのモデルを改善するための実践的な洞察を提供する。

関連論文リスト

• Guiding Reasoning in Small Language Models with LLM Assistance [23.3038074903744]
  小さな言語モデルは、深く、多段階の論理的推論を必要とするタスクに適していると疑念を抱いた。 本稿では,Small Reasons, Large Hintsというフレームワークについて紹介する。 数学的推論データセットを用いた実験により, ターゲットとなる外部足場の性能が著しく向上することが示された。
  論文  参考訳（メタデータ） (2025-04-14T06:32:45Z)
• A Survey of Scaling in Large Language Model Reasoning [62.92861523305361]
  大規模言語モデル(LLM)推論におけるスケーリングの総合的な検討について述べる。 我々は、多段階推論と論理的整合性を改善する推論ステップにおけるスケーリングを分析する。 我々は、反復モデルの改善による最適化に焦点を当て、トレーニング可能な推論のスケーリングについて論じる。
  論文  参考訳（メタデータ） (2025-04-02T23:51:27Z)
• DOTS: Learning to Reason Dynamically in LLMs via Optimal Reasoning Trajectories Search [37.16633337724158]
  DOTS は LLM が最適推論軌道探索によって動的に推論できるアプローチである。 提案手法は静的推論手法とバニラ命令チューニング手法より一貫して優れている。
  論文  参考訳（メタデータ） (2024-10-04T18:58:09Z)
• Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making [51.737762570776006]
  LLM-ACTRは、ヒトに適応し、多目的な意思決定を提供する新しいニューロシンボリックアーキテクチャである。 我々のフレームワークは、ACT-Rの内部決定過程の知識を潜在神経表現として抽出し、組み込む。 デザイン・フォー・マニュファクチャリング・タスクに関する我々の実験は、タスク性能の向上と基礎的意思決定能力の向上を両立させたものである。
  論文  参考訳（メタデータ） (2024-08-17T11:49:53Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• From Understanding to Utilization: A Survey on Explainability for Large Language Models [27.295767173801426]
  この調査は、Large Language Models (LLMs) における説明可能性の向上を示唆している。 主に、トレーニング済みの Transformer ベースの LLM に重点を置いています。 説明可能性の活用を考える際に、モデル編集、制御生成、モデル拡張に集中するいくつかの魅力的な方法を検討する。
  論文  参考訳（メタデータ） (2024-01-23T16:09:53Z)
• Improving Large Language Models in Event Relation Logical Prediction [33.88499005859982]
  イベント関係抽出は、綿密な意味的理解と厳密な論理的推論を必要とする課題である。 本稿では,イベント関連論理の理解と適用におけるLLMの能力について,詳細な調査を行う。 本研究により,LLMは論理的に一貫した推論子ではないことが明らかとなった。
  論文  参考訳（メタデータ） (2023-10-13T14:53:06Z)
• Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
  大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。 LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。 モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
  論文  参考訳（メタデータ） (2023-10-02T01:00:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。