論文の概要: Deliberate Reasoning for LLMs as Structure-aware Planning with Accurate World Model

• arxiv url: http://arxiv.org/abs/2410.03136v1
• Date: Fri, 4 Oct 2024 04:23:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-03 03:36:45.940477
• Title: Deliberate Reasoning for LLMs as Structure-aware Planning with Accurate World Model
• Title（参考訳）: 正確な世界モデルを用いた構造を考慮したLLMのリレーショナル推論
• Authors: Siheng Xiong, Ali Payani, Yuan Yang, Faramarz Fekri,
• Abstract要約: 大規模言語モデル(LLM)のためのSWAP(Structure-Aware Planning)を提案する。 SWAPは、世界モデルによる推論プロセスのガイドとして構造情報を導入し、ステップ上のソフト検証メカニズムを提供する。 SWAPは,数理推論,論理推論,コーディングタスクなど,多種多様な推論集約型ベンチマークで評価される。
• 参考スコア（独自算出の注目度）: 14.480267340831542
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Enhancing the reasoning capabilities of large language models (LLMs) remains a key challenge, especially for tasks that require complex, multi-step decision-making. Humans excel at these tasks by leveraging deliberate planning with an internal world model to simulate the potential outcomes of various actions. Inspired by this, we propose a novel multi-step reasoning framework for LLMs, referred to as Structure-aware Planning with Accurate World Model (SWAP). Unlike previous approaches that rely solely on Chain-of-Thought (CoT) reasoning in natural language, SWAP incorporates structural information to guide the reasoning process via a world model and provides a soft verification mechanism over the steps. Moreover, SWAP overcomes the challenge of accurate world state predictions in complex reasoning tasks by introducing a Generator-Discriminator architecture, which enables more reliable world modeling. Specifically, the generator predicts the next state, and the discriminator ensures alignment with the logical consistency required by the problem context. SWAP also encourages the policy model to explore a broad range of potential actions to prevent premature convergence. By resolving the bottlenecks of generation diversity for both actions and states using diversity-based modeling (DBM) and improving discrimination accuracy through contrastive ranking (CR), SWAP significantly enhances the reasoning performance of LLMs. We evaluate SWAP across diverse reasoning-intensive benchmarks including math reasoning, logical reasoning, and coding tasks. Extensive experiments demonstrate that SWAP achieves substantial improvements over the baselines and consistently outperforms existing LLMs of similar sizes.
• Abstract（参考訳）: 大規模言語モデル(LLM)の推論能力の強化は、特に複雑で多段階の意思決定を必要とするタスクにおいて、依然として重要な課題である。 人間は、様々な行動の潜在的な結果をシミュレートするために、内的世界モデルによる計画的計画を活用することで、これらのタスクを遂行する。 そこで我々は,LLMのための多段階推論フレームワークを提案し,これをSWAP(Structure-Aware Planning with Accurate World Model)と呼ぶ。 自然言語におけるChain-of-Thought(CoT)推論のみに依存する従来のアプローチとは異なり、SWAPは構造情報を取り入れ、世界モデルを通じて推論プロセスをガイドし、ステップ上のソフトな検証メカニズムを提供する。 さらに、SWAPは、より信頼性の高い世界モデリングを可能にするGenerator-Discriminatorアーキテクチャを導入することで、複雑な推論タスクにおける正確な世界状態予測の課題を克服する。 具体的には、ジェネレータが次の状態を予測し、判別器は問題コンテキストで要求される論理的一貫性と整合性を確保する。 SWAPはまた、早期収束を防ぐための幅広い潜在的な行動を探る政策モデルを奨励している。 多様性に基づくモデリング(DBM)を用いて行動と状態の両方の世代多様性のボトルネックを解消し、比較的ランキング(CR)による識別精度を向上させることにより、SWAPはLLMの推論性能を著しく向上させる。 SWAPは,数理推論,論理推論,コーディングタスクなど,多種多様な推論集約型ベンチマークで評価される。 大規模な実験により、SWAPはベースラインよりも大幅に改善され、同じ大きさの既存のLLMよりも一貫して優れていることが示された。

関連論文リスト

• Comparative Analysis of Pooling Mechanisms in LLMs: A Sentiment Analysis Perspective [2.2334256816037987]
  BERTやGPTのようなトランスフォーマーベースのモデルは、トークンレベルの埋め込みを文レベルの表現に集約するためにプール層に依存している。 Mean、Max、Weighted Sumといった一般的なプール機構は、この集約プロセスにおいて重要な役割を果たす。 本稿では,これらのプール機構が文レベル感情分析の文脈における2つの著名なLCMファミリー(BERTとGPT)に与える影響について検討する。
  論文  参考訳（メタデータ） (2024-11-22T00:59:25Z)
• Language Agents Meet Causality -- Bridging LLMs and Causal World Models [50.79984529172807]
  因果表現学習を大規模言語モデルと統合する枠組みを提案する。 このフレームワークは、自然言語表現に関連付けられた因果変数を持つ因果世界モデルを学ぶ。 本研究では,時間的スケールと環境の複雑さを考慮した因果推論と計画課題の枠組みを評価する。
  論文  参考訳（メタデータ） (2024-10-25T18:36:37Z)
• Unconstrained Model Merging for Enhanced LLM Reasoning [42.079040543428036]
  複数のエキスパートモデルをひとつの大きな言語モデルにマージする可能性について検討する。 等質なモデルアーキテクチャと異質なモデルアーキテクチャの両方に対応可能な,制約のないモデルマージフレームワークを提案する。 7つのベンチマークと9つの推論最適化LDMで、推論がマージから出現する重要な発見を明らかにする。
  論文  参考訳（メタデータ） (2024-10-17T16:04:07Z)
• Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making [51.737762570776006]
  LLM-ACTRは、ヒトに適応し、多目的な意思決定を提供する新しいニューロシンボリックアーキテクチャである。 我々のフレームワークは、ACT-Rの内部決定過程の知識を潜在神経表現として抽出し、組み込む。 デザイン・フォー・マニュファクチャリング・タスクに関する我々の実験は、タスク性能の向上と基礎的意思決定能力の向上を両立させたものである。
  論文  参考訳（メタデータ） (2024-08-17T11:49:53Z)
• Exploring and Benchmarking the Planning Capabilities of Large Language Models [57.23454975238014]
  この研究は、大規模言語モデル(LLM)の計画能力を改善するための基礎を築いた。 我々は、古典的な計画ベンチマークと自然言語シナリオの両方を含む包括的なベンチマークスイートを構築した。 本研究は,LLM計画の強化を目的としたマルチショットインコンテキスト学習について検討し,文脈長の増大と計画性能の向上の関係について検討する。
  論文  参考訳（メタデータ） (2024-06-18T22:57:06Z)
• Meta Reasoning for Large Language Models [58.87183757029041]
  大規模言語モデル(LLM)の新規かつ効率的なシステムプロセッシング手法であるメタ推論プロンプト(MRP)を導入する。 MRPは、各タスクの特定の要求に基づいて異なる推論メソッドを動的に選択し、適用するようLLMに誘導する。 総合的なベンチマークによりMPPの有効性を評価する。
  論文  参考訳（メタデータ） (2024-06-17T16:14:11Z)
• MARS: Benchmarking the Metaphysical Reasoning Abilities of Language Models with a Multi-task Evaluation Dataset [50.36095192314595]
  大きな言語モデル(LLM)は、一般化可能な推論能力を持つ意識的なエージェントとして機能する。 この能力は、イベントにおける無限の可能な変更をモデル化する複雑さのために、まだ探索されていない。 我々は,各ステップに対応する3つのタスクからなる最初のベンチマークMARSを紹介する。
  論文  参考訳（メタデータ） (2024-06-04T08:35:04Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)
• Solution-oriented Agent-based Models Generation with Verifier-assisted Iterative In-context Learning [10.67134969207797]
  エージェントベースのモデル(ABM)は、仮説的な解決策やポリシーの提案と検証に不可欠なパラダイムである。 大きな言語モデル(LLM)は、ドメイン間の知識とプログラミング能力をカプセル化することで、このプロセスの難しさを軽減できる可能性がある。 SAGEは、ターゲット問題に対する自動モデリングおよびソリューション生成のために設計された、汎用的なソリューション指向のABM生成フレームワークである。
  論文  参考訳（メタデータ） (2024-02-04T07:59:06Z)
• LLM-SAP: Large Language Models Situational Awareness Based Planning [0.0]
  我々は、潜在的なリスクを予測し、積極的に軽減する方法論を開発するために、マルチエージェント推論フレームワークを使用します。 提案手法は,人間中心のインタラクションの複雑さを計画プロセスに組み込むことによって,従来のオートマトン理論から分岐する。
  論文  参考訳（メタデータ） (2023-12-26T17:19:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。