論文の概要: Mind's Eye: Grounded Language Model Reasoning through Simulation
- arxiv url: http://arxiv.org/abs/2210.05359v1
- Date: Tue, 11 Oct 2022 11:39:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-12 14:03:03.859789
- Title: Mind's Eye: Grounded Language Model Reasoning through Simulation
- Title(参考訳): Mind's Eye: シミュレーションによる基底言語モデル推論
- Authors: Ruibo Liu, Jason Wei, Shixiang Shane Gu, Te-Yen Wu, Soroush Vosoughi,
Claire Cui, Denny Zhou, Andrew M. Dai
- Abstract要約: 我々は,物理世界における基礎言語モデル推論のパラダイムであるMind's Eyeを提示する。
実験により、マインドズアイは推論能力を大きく向上させることができることが示された。
Mind's Eyeで武装したより小さな言語モデルは、100倍の大きさのモデルと同じようなパフォーマンスを得ることができる。
- 参考スコア(独自算出の注目度): 47.654525013443255
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Successful and effective communication between humans and AI relies on a
shared experience of the world. By training solely on written text, current
language models (LMs) miss the grounded experience of humans in the real-world
-- their failure to relate language to the physical world causes knowledge to
be misrepresented and obvious mistakes in their reasoning. We present Mind's
Eye, a paradigm to ground language model reasoning in the physical world. Given
a physical reasoning question, we use a computational physics engine
(DeepMind's MuJoCo) to simulate the possible outcomes, and then use the
simulation results as part of the input, which enables language models to
perform reasoning. Experiments on 39 tasks in a physics alignment benchmark
demonstrate that Mind's Eye can improve reasoning ability by a large margin
(27.9% zero-shot, and 46.0% few-shot absolute accuracy improvement on average).
Smaller language models armed with Mind's Eye can obtain similar performance to
models that are 100x larger. Finally, we confirm the robustness of Mind's Eye
through ablation studies.
- Abstract(参考訳): 人間とAIの効果的なコミュニケーションは、世界の共有された経験に依存している。
テキストのみに基づいてトレーニングすることで、現在の言語モデル(lms)は、現実世界における人間の基礎的な経験を欠いている。
我々は,物理世界における基礎言語モデル推論のパラダイムであるマインドズアイを提示する。
物理推論問題から,計算物理エンジン(DeepMindのMuJoCo)を用いて計算結果をシミュレートし,そのシミュレーション結果を入力の一部として用いることにより,言語モデルで推論を行うことができる。
物理アライメントベンチマークにおける39のタスクの実験では、マインドアイは大きなマージン(ゼロショット27.9%、絶対精度46.0%)で推論能力を向上できることが示されている。
心の目を搭載した小さな言語モデルは、100倍の大きさのモデルと同様のパフォーマンスを得ることができる。
最後に, アブレーション研究により, 心の眼の頑健性を確認した。
関連論文リスト
- PhyGrasp: Generalizing Robotic Grasping with Physics-informed Large
Multimodal Models [58.33913881592706]
人間は、自分の直感的な物理学を巧みに把握し、これまで見たことのない物体であっても、効率的に把握を変更できる。
この研究は、そのような物理的常識的推論をロボット操作に注入することに注力している。
自然言語と3次元点雲の2つのモードからの入力を利用するマルチモーダル大モデルであるPhyGraspを紹介する。
論文 参考訳(メタデータ) (2024-02-26T18:57:52Z) - Visual cognition in multimodal large language models [13.768104721550321]
本稿では、直観物理学、因果推論、直観心理学の分野における視覚に基づく大規模言語モデルの現状を評価する。
その結果、これらのモデルは、視覚データの処理と解釈において顕著な熟練度を示す一方で、これらの領域における人間の能力に欠けていることが判明した。
論文 参考訳(メタデータ) (2023-11-27T18:58:34Z) - From Word Models to World Models: Translating from Natural Language to
the Probabilistic Language of Thought [124.40905824051079]
言語インフォームド・シンキングのための計算フレームワークである「構成」を合理的に提案する。
我々は、自然言語から確率論的思考言語への文脈感応的なマッピングとして、言語の意味を定式化する。
LLMは、現実的に適切な言語的意味をキャプチャする文脈依存翻訳を生成することができることを示す。
認知的なモチベーションを持つシンボリックモジュールを統合するために、我々のフレームワークを拡張します。
論文 参考訳(メタデータ) (2023-06-22T05:14:00Z) - MindGames: Targeting Theory of Mind in Large Language Models with
Dynamic Epistemic Modal Logic [0.6537995248511139]
心の理論(ToM)は知性の重要な構成要素であるが、その評価は熱い議論の対象のままである。
そこで本研究では,動的てんかん論理を利用して,ToMの特定の成分を分離し,制御された問題を生成する。
以上の結果から,いくつかの言語モデルスケーリングでは,ランダムな確率よりも連続的に結果が得られないことが示唆された。
論文 参考訳(メタデータ) (2023-05-05T08:14:48Z) - Imagination-Augmented Natural Language Understanding [71.51687221130925]
自然言語理解タスクを解決するために,Imagination-Augmented Cross-modal (iACE)を導入する。
iACEは、強力な生成的および事前訓練された視覚・言語モデルから変換された外部知識で視覚的な想像を可能にする。
GLUEとSWAGの実験は、iACEが視覚的に教師付き事前訓練されたモデルよりも一貫した改善を達成していることを示している。
論文 参考訳(メタデータ) (2022-04-18T19:39:36Z) - PIGLeT: Language Grounding Through Neuro-Symbolic Interaction in a 3D
World [86.21137454228848]
我々はPIGLeTを物理力学モデルと別言語モデルに分類する。
PIGLeTは文を読み、次に何が起こるか神経的にシミュレートし、その結果を文字通りの記号表現を通して伝達する。
80%以上の英語の文から「次に何が起こるか」を正確に予測することができ、100倍以上のテキスト・テキスト・アプローチを10%以上上回っている。
論文 参考訳(メタデータ) (2021-06-01T02:32:12Z) - ESPRIT: Explaining Solutions to Physical Reasoning Tasks [106.77019206219984]
ESPRITは自然言語における定性的物理学に関する常識推論のためのフレームワークである。
我々のフレームワークは、エージェントや人間が容易に解を推論できるように、物理的シミュレーションがどのように因果的に進化するかを説明することを学ぶ。
人間の評価は、ESPRITが重要な微細な細部を生み出し、人間のアノテーションよりも物理的な概念を高い範囲でカバーしていることを示している。
論文 参考訳(メタデータ) (2020-05-02T07:03:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。