論文の概要: How language models extrapolate outside the training data: A case study in Textualized Gridworld
- arxiv url: http://arxiv.org/abs/2406.15275v2
- Date: Tue, 08 Oct 2024 05:06:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-10 14:28:21.015001
- Title: How language models extrapolate outside the training data: A case study in Textualized Gridworld
- Title(参考訳): 言語モデルがトレーニングデータの外部からどのように外挿するか--テクスチュアライズ・グリッドワールドを事例として
- Authors: Doyoung Kim, Jongwon Lee, Jinho Park, Minjoon Seo,
- Abstract要約: 我々は,次世代の予測や思考の微調整といった従来の手法が,大規模で目に見えない環境での一般化に失敗していることを示す。
人間の認知と二重プロセス理論にインスパイアされた言語モデルでは,対話前に認知地図を構築するべきである。
- 参考スコア(独自算出の注目度): 32.5268320198854
- License:
- Abstract: Language models' ability to extrapolate learned behaviors to novel, more complex environments beyond their training scope is highly unknown. This study introduces a path planning task in a textualized Gridworld to probe language models' extrapolation capabilities. We show that conventional approaches, including next-token prediction and Chain of Thought (CoT) fine-tuning, fail to generalize in larger, unseen environments. Inspired by human cognition and dual-process theory, we propose language models should construct cognitive maps before interaction. Our research demonstrates that autoregressive generation of cognitive maps and planning sequences enhances planning capabilities in extrapolated environments. Unlike CoT, we find that cognitive maps cannot be obtained through simple prompting, necessitating additional training schemes for integration. Our findings in Gridworld offer insights into training language models with improved reasoning and adaptability, potentially advancing more human-like cognition and opening avenues for enhancing model generalization across diverse, complex tasks.
- Abstract(参考訳): 学習した振る舞いをトレーニング範囲を超えて、より新しく、より複雑な環境に外挿する言語モデルの能力は、非常に不明である。
本研究では,言語モデルの外挿機能を調べるために,テキスト化されたGridworldにおける経路計画タスクを提案する。
我々は,次世代の予測やCoT(Chain of Thought)の微調整を含む従来の手法が,大規模で目に見えない環境での一般化に失敗していることを示す。
人間の認知と二重プロセス理論にインスパイアされた言語モデルでは,対話前に認知地図を構築するべきである。
本研究は,自己回帰的な認知地図生成と計画シーケンスが,外挿環境における計画能力を高めることを実証する。
CoTとは異なり、認知マップは単純なプロンプトによって得られず、統合のための追加のトレーニングスキームを必要とする。
Gridworldでの私たちの発見は、推論と適応性を改善したトレーニング言語モデルに関する洞察を提供し、より人間的な認知を促進し、多様な複雑なタスクにわたるモデルの一般化を促進するための道を開く可能性がある。
関連論文リスト
- Language Evolution with Deep Learning [49.879239655532324]
計算モデリングは言語の出現の研究において重要な役割を担っている。
構造化言語の出現を誘発する可能性のある条件と学習プロセスをシミュレートすることを目的としている。
この章では、最近機械学習の分野に革命をもたらした別の種類の計算モデル、ディープ・ラーニング・モデルについて論じる。
論文 参考訳(メタデータ) (2024-03-18T16:52:54Z) - Human Simulacra: Benchmarking the Personification of Large Language Models [38.21708264569801]
大規模言語モデル(LLM)は、人間の知性の側面を忠実に模倣するシステムとして認識されている。
本稿では,仮想キャラクタのライフストーリーをゼロから構築するためのフレームワークを提案する。
実験により, 構築したシミュラクラは, 対象キャラクタと一致した擬人化応答を生成できることが実証された。
論文 参考訳(メタデータ) (2024-02-28T09:11:14Z) - Using Left and Right Brains Together: Towards Vision and Language
Planning [95.47128850991815]
本稿では,任意の形態の入力を伴うタスクに対して,視覚と言語を同時に計画する新しい視覚言語計画フレームワークを提案する。
我々は,視覚言語タスク,視覚のみタスク,言語のみタスクにまたがるフレームワークの有効性を評価する。
論文 参考訳(メタデータ) (2024-02-16T09:46:20Z) - Navigation with Large Language Models: Semantic Guesswork as a Heuristic
for Planning [73.0990339667978]
不慣れな環境でのナビゲーションは、ロボットにとって大きな課題となる。
言語モデルを用いて、新しい現実世界環境のバイアス探索を行う。
実環境におけるLFGの評価とシミュレーションベンチマークを行った。
論文 参考訳(メタデータ) (2023-10-16T06:21:06Z) - On the Planning, Search, and Memorization Capabilities of Large Language
Models [0.0]
タスク計画における最先端の大規模言語モデル(GPT-4)の可能性について検討する。
大規模言語モデルが計画問題の解決に優れている領域を特定し,適用性を制限する制約を明らかにする。
論文 参考訳(メタデータ) (2023-09-05T00:19:31Z) - From Word Models to World Models: Translating from Natural Language to
the Probabilistic Language of Thought [124.40905824051079]
言語インフォームド・シンキングのための計算フレームワークである「構成」を合理的に提案する。
我々は、自然言語から確率論的思考言語への文脈感応的なマッピングとして、言語の意味を定式化する。
LLMは、現実的に適切な言語的意味をキャプチャする文脈依存翻訳を生成することができることを示す。
認知的なモチベーションを持つシンボリックモジュールを統合するために、我々のフレームワークを拡張します。
論文 参考訳(メタデータ) (2023-06-22T05:14:00Z) - Define, Evaluate, and Improve Task-Oriented Cognitive Capabilities for
Instruction Generation Models [5.975913042883176]
最近の研究は、人間のために設計された心理学的テストを通して言語モデルの認知能力を研究する。
我々は、言語モデルがタスクを実行するために利用する人間のような認知能力であるタスク指向認知能力を定式化する。
論文 参考訳(メタデータ) (2022-12-21T04:43:19Z) - See, Plan, Predict: Language-guided Cognitive Planning with Video
Prediction [27.44435424335596]
言語誘導ビデオ予測による認知計画アルゴリズムを考案する。
このネットワークには、未知のオブジェクトに一般化された自然言語入力に基づいて概念を基底化する能力が備わっている。
論文 参考訳(メタデータ) (2022-10-07T21:27:16Z) - Improving Policy Learning via Language Dynamics Distillation [87.27583619910338]
本稿では,言語記述による実演を前提とした環境動態予測モデルであるLanguage Dynamics Distillation(LDD)を提案する。
実演における言語記述は,環境全体にわたるサンプル効率と一般化を改善することを示す。
論文 参考訳(メタデータ) (2022-09-30T19:56:04Z) - Procedure Planning in Instructional Videosvia Contextual Modeling and
Model-based Policy Learning [114.1830997893756]
本研究は,実生活ビデオにおける目標指向アクションを計画するモデルを学習することに焦点を当てる。
本研究では,ベイズ推論とモデルに基づく模倣学習を通して,人間の行動のモデル化を行う新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-10-05T01:06:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。