論文の概要: Integrating Large Language Models and Reinforcement Learning for Non-Linear Reasoning

• arxiv url: http://arxiv.org/abs/2410.13501v1
• Date: Thu, 17 Oct 2024 12:47:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:18:13.552477
• Title: Integrating Large Language Models and Reinforcement Learning for Non-Linear Reasoning
• Title（参考訳）: 大規模言語モデルの統合と非線形推論のための強化学習
• Authors: Yoav Alon, Cristina David,
• Abstract要約: LLM(Large Language Models)は長期計画に苦慮している。 本稿では,強化学習エージェントがLLMの空間探索を案内するアーキテクチャを提案する。 我々は、このアーキテクチャをプログラム等価タスクで評価し、思考のチェーン(CoT)と思考のツリー(ToT)と比較する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Large Language Models (LLMs) were shown to struggle with long-term planning, which may be caused by the limited way in which they explore the space of possible solutions. We propose an architecture where a Reinforcement Learning (RL) Agent guides an LLM's space exploration: (1) the Agent has access to domain-specific information, and can therefore make decisions about the quality of candidate solutions based on specific and relevant metrics, which were not explicitly considered by the LLM's training objective; (2) the LLM can focus on generating immediate next steps, without the need for long-term planning. We allow non-linear reasoning by exploring alternative paths and backtracking. We evaluate this architecture on the program equivalence task, and compare it against Chain of Thought (CoT) and Tree of Thoughts (ToT). We assess both the downstream task, denoting the binary classification, and the intermediate reasoning steps. Our approach compares positively against CoT and ToT.
• Abstract（参考訳）: LLM(Large Language Models)は長期計画に苦慮していることが示されている。 本稿では, 強化学習エージェントがLLMの空間探索を指導するアーキテクチャを提案する。(1) エージェントはドメイン固有の情報にアクセスでき, そして, LLMのトレーニング目標に明示的に考慮されていない,特定および関連する指標に基づいて, 候補ソリューションの品質を決定することができる。 代替経路やバックトラックを探索することで、非線形推論を可能にする。 我々は,このアーキテクチャをプログラム等価タスク上で評価し,思考の連鎖(CoT)と思考のツリー(ToT)と比較する。 ダウンストリームタスクとバイナリ分類,中間推論ステップの両方を評価した。 提案手法はCoTとToTとを正に比較する。

関連論文リスト

• Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。 しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。 人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:49:25Z)
• Satori: Reinforcement Learning with Chain-of-Action-Thought Enhances LLM Reasoning via Autoregressive Search [57.28671084993782]
  大規模言語モデル(LLM)は、様々な領域にまたがる顕著な推論能力を示している。 近年の研究では、テスト時間計算の増加はLLMの推論能力を高めることが示されている。 そこで我々は,1)COAT推論形式を内部化するための小規模な形式調整段階,2)強化学習を活用した大規模自己改善段階を提案する。
  論文  参考訳（メタデータ） (2025-02-04T17:26:58Z)
• Large Language Models as Common-Sense Heuristics [0.9093413254392775]
  大規模言語モデル(LLM)は、幅広いトピックにまたがるパラメトリドな知識を持ち、彼らのソリューションにおける計画タスクの自然言語記述を活用できる。 本研究では,LLMのパラメトリド知識をヒルクライミングサーチの出力として利用することにより,新たな計画手法を提案する。 提案手法は,共通住宅環境における類似システムのタスク成功率を22ポイント向上させ,一貫した計画を立てる。
  論文  参考訳（メタデータ） (2025-01-31T00:26:38Z)
• LLM-Generated Heuristics for AI Planning: Do We Even Need Domain-Independence Anymore? [87.71321254733384]
  大規模言語モデル(LLM)は、特定の計画問題に適した計画手法を生成することができる。 LLMは、いくつかの標準IPCドメインで最先端のパフォーマンスを達成することができる。 これらの結果がパラダイムシフトを意味するのか、既存の計画手法をどのように補完するかについて議論する。
  論文  参考訳（メタデータ） (2025-01-30T22:21:12Z)
• LLMs Can Plan Only If We Tell Them [16.593590353705697]
  大規模言語モデル (LLM) は自然言語処理や推論において重要な機能を示している。 本稿では,LLMが人間と競合する長期計画を独立に生成できるかどうかを考察する。
  論文  参考訳（メタデータ） (2025-01-23T10:46:14Z)
• Making Large Language Models Better Planners with Reasoning-Decision Alignment [70.5381163219608]
  マルチモーダリティ強化LLMに基づくエンドツーエンド意思決定モデルを提案する。 ペア化されたCoTと計画結果との推論・決定アライメントの制約を提案する。 提案する大規模言語プランナをRDA-Driverとして推論・決定アライメントする。
  論文  参考訳（メタデータ） (2024-08-25T16:43:47Z)
• Reasoning with Large Language Models, a Survey [2.831296564800826]
  本稿では,LSMによるプロンプトベース推論の急速に進展する分野について概説する。 我々の分類学は、多段階推論の生成、評価、制御の異なる方法を特定します。 我々は, 自己改善, 自己回帰, 推論過程のいくつかのメタ能力が, プロンプトの司法的利用によって可能であることを発見した。
  論文  参考訳（メタデータ） (2024-07-16T08:49:35Z)
• Exploring and Benchmarking the Planning Capabilities of Large Language Models [57.23454975238014]
  この研究は、大規模言語モデル(LLM)の計画能力を改善するための基礎を築いた。 我々は、古典的な計画ベンチマークと自然言語シナリオの両方を含む包括的なベンチマークスイートを構築した。 本研究は,LLM計画の強化を目的としたマルチショットインコンテキスト学習について検討し,文脈長の増大と計画性能の向上の関係について検討する。
  論文  参考訳（メタデータ） (2024-06-18T22:57:06Z)
• From Words to Actions: Unveiling the Theoretical Underpinnings of LLM-Driven Autonomous Systems [59.40480894948944]
  大規模言語モデル (LLM) は、物理世界の意思決定問題を解くことができる。 このモデルの下で、LLM Plannerは、プロンプトを介して言語ベースのサブゴールを反復的に生成することにより、部分的に観測可能なマルコフ決定プロセス(POMDP)をナビゲートする。 我々は,事前学習したLLMプランナーが,文脈内学習を通じてベイズ的集計模倣学習(BAIL)を効果的に行うことを証明した。
  論文  参考訳（メタデータ） (2024-05-30T09:42:54Z)
• Eliminating Reasoning via Inferring with Planning: A New Framework to Guide LLMs' Non-linear Thinking [40.22335733384235]
  CoT(Chain-of-Thought)のプロンプトとその変種は、高レベルの推論能力を持つ大規模言語モデルを装備することを模索している。 我々は,排除と推論の原理を組み合わせた新しいプロンプトである textbfInferential textbfExclusion textbfPrompting (IEP) を提案する。
  論文  参考訳（メタデータ） (2023-10-18T21:42:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。