論文の概要: ALPINE: Unveiling the Planning Capability of Autoregressive Learning in Language Models

• arxiv url: http://arxiv.org/abs/2405.09220v3
• Date: Mon, 11 Nov 2024 09:16:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:06:23.164171
• Title: ALPINE: Unveiling the Planning Capability of Autoregressive Learning in Language Models
• Title（参考訳）: ALPINE: 言語モデルにおける自己回帰学習の計画能力の実現
• Authors: Siwei Wang, Yifei Shen, Shi Feng, Haoran Sun, Shang-Hua Teng, Wei Chen,
• Abstract要約: 計画は人間の知性と現代大言語モデル(LLM)の両方の重要な要素である 本稿では,トランスフォーマーを用いたLLMにおける次の単語予測機構による計画能力の出現について検討する。
• 参考スコア（独自算出の注目度）: 48.559185522099625
• License:
• Abstract: Planning is a crucial element of both human intelligence and contemporary large language models (LLMs). In this paper, we initiate a theoretical investigation into the emergence of planning capabilities in Transformer-based LLMs via their next-word prediction mechanisms. We model planning as a network path-finding task, where the objective is to generate a valid path from a specified source node to a designated target node. Our mathematical characterization shows that Transformer architectures can execute path-finding by embedding the adjacency and reachability matrices within their weights. Furthermore, our theoretical analysis of gradient-based learning dynamics reveals that LLMs can learn both the adjacency and a limited form of the reachability matrices. These theoretical insights are then validated through experiments, which demonstrate that Transformer architectures indeed learn the adjacency and an incomplete reachability matrices, consistent with our theoretical predictions. When applying our methodology to the real-world planning benchmark Blocksworld, our observations remain consistent. Additionally, our analyses uncover a fundamental limitation of current Transformer architectures in path-finding: these architectures cannot identify reachability relationships through transitivity, which leads to failures in generating paths when concatenation is required. These findings provide new insights into how the internal mechanisms of autoregressive learning facilitate intelligent planning and deepen our understanding of how future LLMs might achieve more advanced and general planning-and-reasoning capabilities across diverse applications.
• Abstract（参考訳）: 計画は、人間の知性と現代大言語モデル(LLM)の両方の重要な要素である。 本稿では,Transformer ベースの LLM における計画能力の出現に関する理論的研究を,その次単語予測機構を用いて開始する。 提案手法は,特定のソースノードから指定されたターゲットノードへの有効なパスを生成することを目的として,ネットワークパスフィニングタスクとして計画をモデル化する。 我々の数学的特徴はトランスフォーマーアーキテクチャがウェイト内に隣接行列と到達行列を埋め込むことでパスフィニングを実行可能であることを示している。 さらに、勾配に基づく学習力学の理論解析により、LLMが到達性行列の隣接性と限定的な形式の両方を学習できることが明らかになった。 これらの理論的洞察は実験を通じて検証され、トランスフォーマーアーキテクチャは、我々の理論的予測と一致して、真に隣接性と不完全到達性行列を学習することを示した。 私たちの方法論を実世界の計画ベンチマークBlocksworldに適用する場合、私たちの観察は一貫しています。 これらのアーキテクチャは、推移性によって到達可能性の関係を識別できないため、連結が必要な場合の経路生成に失敗する。 これらの知見は、自己回帰学習の内部メカニズムが知的プランニングをどのように促進し、将来のLCMが多様なアプリケーションにまたがるより先進的で汎用的なプランニング・アンド・推論能力を実現するかの理解を深める上で、新たな洞察を与える。

関連論文リスト

• Provably Transformers Harness Multi-Concept Word Semantics for Efficient In-Context Learning [53.685764040547625]
  トランスフォーマーベースの大規模言語モデル(LLM)は、卓越した創造力と出現能力を示している。 この研究は、トランスフォーマーが単語のマルチコンセプトセマンティクスをどのように活用し、強力なICLと優れたアウト・オブ・ディストリビューションICL能力を実現するかを示すための数学的解析を提供する。
  論文  参考訳（メタデータ） (2024-11-04T15:54:32Z)
• Interpreting Affine Recurrence Learning in GPT-style Transformers [54.01174470722201]
  インコンテキスト学習により、GPTスタイルのトランスフォーマーは、重みを変更することなく推論中に一般化できる。 本稿では,ICLタスクとしてアフィンの再発を学習し,予測する能力に着目する。 実験的手法と理論的手法の両方を用いてモデルの内部動作を分析する。
  論文  参考訳（メタデータ） (2024-10-22T21:30:01Z)
• Directed Exploration in Reinforcement Learning from Linear Temporal Logic [59.707408697394534]
  リニア時間論理(LTL)は強化学習におけるタスク仕様のための強力な言語である。 合成された報酬信号は基本的に疎結合であり,探索が困難であることを示す。 我々は、仕様をさらに活用し、それに対応するリミット決定性B"uchi Automaton(LDBA)をマルコフ報酬プロセスとしてキャストすることで、よりよい探索を実現することができることを示す。
  論文  参考訳（メタデータ） (2024-08-18T14:25:44Z)
• Latent Plan Transformer for Trajectory Abstraction: Planning as Latent Space Inference [53.419249906014194]
  オフライン強化学習から得られたデータセットを用いた計画のための生成モデルについて検討する。 本稿では,Transformerベースのトラジェクトリジェネレータと最終戻り値との接続に潜時変数を利用する新しいモデルであるLatent Plan Transformerを紹介する。
  論文  参考訳（メタデータ） (2024-02-07T08:18:09Z)
• Distribution-aware Goal Prediction and Conformant Model-based Planning for Safe Autonomous Driving [16.654299927694716]
  本研究では,学習から学習までのタスクを,障害物認識と接地,分布認識の目標予測,モデルベース計画として再構築する。 CARLAシミュレータでは,CARNOVELベンチマークの最先端結果を報告する。
  論文  参考訳（メタデータ） (2022-12-16T21:51:51Z)
• On the Learning of Non-Autoregressive Transformers [91.34196047466904]
  非自己回帰変換器(Non-autoregressive Transformer、NAT)は、テキスト生成モデルのファミリーである。 NAT学習の課題を明らかにするため,理論的および経験的分析を行った。
  論文  参考訳（メタデータ） (2022-06-13T08:42:09Z)
• Active Learning of Abstract Plan Feasibility [17.689758291966502]
  本稿では,タスクに依存しない,好奇心を抱くロボットの探索を通じて,APF予測器を効率的に取得するための能動的学習手法を提案する。 アクティブラーニング戦略において,本システムでは,本システムでより少ないデータから学習できるように,実用不可能なサブシーケンス特性を活用して,候補計画の立案を行う。 物体が一様でない質量分布を持つ積層領域において,本システムは,400個の自己教師による相互作用において,APFモデルの実際のロボット学習を可能にすることを示す。
  論文  参考訳（メタデータ） (2021-07-01T18:17:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。