論文の概要: LLMs Can't Plan, But Can Help Planning in LLM-Modulo Frameworks

• arxiv url: http://arxiv.org/abs/2402.01817v3
• Date: Wed, 12 Jun 2024 01:13:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 23:03:49.474405
• Title: LLMs Can't Plan, But Can Help Planning in LLM-Modulo Frameworks
• Title（参考訳）: LLMは計画できないが、LLM-Moduloフレームワークの計画を助ける
• Authors: Subbarao Kambhampati, Karthik Valmeekam, Lin Guan, Mudit Verma, Kaya Stechly, Siddhant Bhambri, Lucas Saldyt, Anil Murthy,
• Abstract要約: 計画と推論タスクにおけるLLM(Large Language Models)の役割には、かなりの混乱がある。 自己回帰型LSMは、それ自体で計画や自己検証を行うことはできない、と我々は主張する。 本稿では,LLMの強みと外部モデルベース検証器を併用した bf LLM-Modulo Framework のビジョンを提案する。
• 参考スコア（独自算出の注目度）: 18.068035947969044
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There is considerable confusion about the role of Large Language Models (LLMs) in planning and reasoning tasks. On one side are over-optimistic claims that LLMs can indeed do these tasks with just the right prompting or self-verification strategies. On the other side are perhaps over-pessimistic claims that all that LLMs are good for in planning/reasoning tasks are as mere translators of the problem specification from one syntactic format to another, and ship the problem off to external symbolic solvers. In this position paper, we take the view that both these extremes are misguided. We argue that auto-regressive LLMs cannot, by themselves, do planning or self-verification (which is after all a form of reasoning), and shed some light on the reasons for misunderstandings in the literature. We will also argue that LLMs should be viewed as universal approximate knowledge sources that have much more meaningful roles to play in planning/reasoning tasks beyond simple front-end/back-end format translators. We present a vision of {\bf LLM-Modulo Frameworks} that combine the strengths of LLMs with external model-based verifiers in a tighter bi-directional interaction regime. We will show how the models driving the external verifiers themselves can be acquired with the help of LLMs. We will also argue that rather than simply pipelining LLMs and symbolic components, this LLM-Modulo Framework provides a better neuro-symbolic approach that offers tighter integration between LLMs and symbolic components, and allows extending the scope of model-based planning/reasoning regimes towards more flexible knowledge, problem and preference specifications.
• Abstract（参考訳）: 計画と推論タスクにおけるLLM(Large Language Models)の役割には、かなりの混乱がある。 他方では、LLMは正しいプロンプトや自己検証戦略だけでこれらのタスクを実際に実行できるという過度な最適化的主張がある。 他方では、LLMが計画/推論タスクに適しているという主張は、単に1つの構文形式から別の構文形式への問題仕様のトランスレータであり、問題を外部のシンボリック・ソルバに出荷するだけだ、という過悲観的な主張がある。 本稿では,両極端が誤認されているという見解を定めている。 自己回帰的LLMは、それ自体では、計画や自己検証(結局のところ、推論の形で)を行うことができず、文学における誤解の理由についてある程度の光を当てている、と我々は主張する。 また、LCMは、単純なフロントエンド/バックエンドフォーマットトランスレータを超えて、計画/推論タスクにおいて、より意味のある役割を持つ、普遍的な近似知識ソースと見なされるべきである、と論じる。 本稿では, LLMの強度と外部モデルベース検証器の強度を, より厳密な双方向インタラクション方式で組み合わせた, {\displaystyle {\bf LLM-Modulo Frameworks} のビジョンを提案する。 外部検証器自体を駆動するモデルがLCMの助けを借りてどのように取得できるかを示す。 LLMとシンボリックコンポーネントを単純にパイプライン化するのではなく、このLLM-Modulo Frameworkは、LLMとシンボリックコンポーネントとの緊密な統合を提供する、より柔軟な知識、問題、嗜好仕様へのモデルベースの計画/推論体制の範囲を拡大する、より優れたニューロシンボリックアプローチを提供します。

関連論文リスト

• Logically Consistent Language Models via Neuro-Symbolic Integration [14.317886666902822]
  大規模言語モデル(LLM)は、自然言語の理解と生成のための有望な場所である。 LLMは、非現実的な情報を生成し、世界の実体間の関係について推論するよう促されたときに矛盾する傾向がある。 我々は,LLMが外部の事実や規則と論理的に整合していることを教える,ニューロシンボリック推論に基づく損失を導入する。
  論文  参考訳（メタデータ） (2024-09-09T10:52:57Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• From Words to Actions: Unveiling the Theoretical Underpinnings of LLM-Driven Autonomous Systems [59.40480894948944]
  大規模言語モデル (LLM) は、物理世界の意思決定問題を解くことができる。 このモデルの下で、LLM Plannerは、プロンプトを介して言語ベースのサブゴールを反復的に生成することにより、部分的に観測可能なマルコフ決定プロセス(POMDP)をナビゲートする。 我々は,事前学習したLLMプランナーが,文脈内学習を通じてベイズ的集計模倣学習(BAIL)を効果的に行うことを証明した。
  論文  参考訳（メタデータ） (2024-05-30T09:42:54Z)
• Tokenization Matters! Degrading Large Language Models through Challenging Their Tokenization [12.885866125783618]
  大規模言語モデル(LLM)は、特定のクエリに対する不正確な応答を生成する傾向がある。 我々は, LLMのトークン化に挑戦するために, $textbfADT (TokenizerのAdrial dataset)$という逆データセットを構築した。 GPT-4o, Llama-3, Qwen2.5-maxなど, 先進LLMのトークン化に挑戦する上で, 当社のADTは極めて有効であることが明らかとなった。
  論文  参考訳（メタデータ） (2024-05-27T11:39:59Z)
• Potential and Limitations of LLMs in Capturing Structured Semantics: A Case Study on SRL [78.80673954827773]
  大きな言語モデル(LLM)は、言語理解を高め、解釈可能性を改善し、バイアスを減らすために構造化セマンティクスをキャプチャする上で重要な役割を果たす。 セマンティック・ロール・ラベルリング(SRL)を,構造化意味論を抽出するLLMの能力を探るための基本課題として用いることを提案する。 LLMは実際にセマンティック構造をキャプチャすることができ、スケールアップは常にポテンシャルを反映するわけではない。 エラーのかなりの重複は、LLMと訓練されていない人間の両方によって行われ、全てのエラーの約30%を占めることに私たちは驚いています。
  論文  参考訳（メタデータ） (2024-05-10T11:44:05Z)
• Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing [56.75702900542643]
  大規模言語モデルの自己改善のためのAlphaLLMを紹介する。 モンテカルロ木探索(MCTS)とLLMを統合し、自己改善ループを確立する。 実験の結果,AlphaLLM は付加アノテーションを使わずに LLM の性能を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-04-18T15:21:34Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)
• Translating Natural Language to Planning Goals with Large-Language Models [19.738395237639136]
  近年の大規模言語モデル(LLM)は,様々な自然言語処理(NLP)タスクにおいて顕著な性能を示した。 我々の中心的な問題は、LLMが自然言語で指定された目標を構造化された計画言語に翻訳できるかどうかである。 GPT 3.5 変種に対する実験結果から,LCM は計画よりも翻訳に適していることが示された。
  論文  参考訳（メタデータ） (2023-02-10T09:17:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。