論文の概要: A little less conversation, a little more action, please: Investigating the physical common-sense of LLMs in a 3D embodied environment

• arxiv url: http://arxiv.org/abs/2410.23242v1
• Date: Wed, 30 Oct 2024 17:28:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:28:00.042034
• Title: A little less conversation, a little more action, please: Investigating the physical common-sense of LLMs in a 3D embodied environment
• Title（参考訳）: 3Dエボダイド環境下でのLLMの物理的常識の検討
• Authors: Matteo G. Mecattaf, Ben Slater, Marko Tešić, Jonathan Prunty, Konstantinos Voudouris, Lucy G. Cheke,
• Abstract要約: 大規模言語モデル (LLM) はエージェントシステムにおける推論エンジンとしてますます使われている。 LLMにおける身体的常識推論の具体的かつ認知的な評価を初めて提示する。 シミュレーション3次元仮想実験室であるAnimal-AI環境を用いて, LLMの物理的常識推論について検討した。
• 参考スコア（独自算出の注目度）: 0.9188951403098383
• License:
• Abstract: As general-purpose tools, Large Language Models (LLMs) must often reason about everyday physical environments. In a question-and-answer capacity, understanding the interactions of physical objects may be necessary to give appropriate responses. Moreover, LLMs are increasingly used as reasoning engines in agentic systems, designing and controlling their action sequences. The vast majority of research has tackled this issue using static benchmarks, comprised of text or image-based questions about the physical world. However, these benchmarks do not capture the complexity and nuance of real-life physical processes. Here we advocate for a second, relatively unexplored, approach: 'embodying' the LLMs by granting them control of an agent within a 3D environment. We present the first embodied and cognitively meaningful evaluation of physical common-sense reasoning in LLMs. Our framework allows direct comparison of LLMs with other embodied agents, such as those based on Deep Reinforcement Learning, and human and non-human animals. We employ the Animal-AI (AAI) environment, a simulated 3D virtual laboratory, to study physical common-sense reasoning in LLMs. For this, we use the AAI Testbed, a suite of experiments that replicate laboratory studies with non-human animals, to study physical reasoning capabilities including distance estimation, tracking out-of-sight objects, and tool use. We demonstrate that state-of-the-art multi-modal models with no finetuning can complete this style of task, allowing meaningful comparison to the entrants of the 2019 Animal-AI Olympics competition and to human children. Our results show that LLMs are currently outperformed by human children on these tasks. We argue that this approach allows the study of physical reasoning using ecologically valid experiments drawn directly from cognitive science, improving the predictability and reliability of LLMs.
• Abstract（参考訳）: 汎用ツールとして、Large Language Models (LLM) は日常的な物理的環境について考える必要がある。 質問と回答の能力では、物理オブジェクトの相互作用を理解することが適切な応答を与えるために必要である。 さらに、LSMはエージェントシステムの推論エンジンとして使われ、それらのアクションシーケンスを設計、制御するようになっている。 研究の大部分は、物理的世界に関するテキストやイメージベースの質問からなる静的ベンチマークを使用してこの問題に対処している。 しかし、これらのベンチマークは実際の物理過程の複雑さやニュアンスを捉えていない。 ここでは, エージェントの3D環境における制御を許可することで, LLMを「包含する」という, 比較的未探索の2つ目のアプローチを提唱する。 LLMにおける身体的常識推論の具体的かつ認知的な評価を初めて提示する。 我々の枠組みは, 深層強化学習に基づく, 人・非人間動物など, LLMを他のエンボディエージェントと直接比較することができる。 シミュレーション3次元仮想実験室であるAnimal-AI(AAI)環境を用いて,LLMの物理的常識推論について検討した。 このために、人間以外の動物との実験研究を再現する一連の実験であるAAI Testbedを使って、距離推定、視界外物体の追跡、ツールの使用などの身体的推論能力を研究します。 我々は,2019年の動物AIオリンピック競技の参加者や,人間の子供に対する有意義な比較が可能な,最先端のマルチモーダルモデルによる微調整なしで,このような作業が完了できることを実証した。 以上の結果から,LLMは人間の子どもよりも優れていたことが示唆された。 本手法は, 認知科学から直接引き出された生態学的に有効な実験を用いて, 身体的推論の研究を可能にし, LLMの予測可能性と信頼性を向上させることを示唆する。

関連論文リスト

• Take Caution in Using LLMs as Human Surrogates: Scylla Ex Machina [7.155982875107922]
  研究は、大規模言語モデル(LLM)が、経済実験、調査、政治談話において、人間の行動と整合した人間的な推論を示す可能性があることを示唆している。 このことから、LLMは社会科学研究において人間のサロゲートとして使用できると多くの人が提案している。 11～20のマネーリクエストゲームを用いてLCMの推論深度を評価する。
  論文  参考訳（メタデータ） (2024-10-25T14:46:07Z)
• Cognitive phantoms in LLMs through the lens of latent variables [0.3441021278275805]
  大規模言語モデル(LLM)はますます現実のアプリケーションに到達し、それらの振る舞いをよりよく理解する必要がある。 近年のLCMに対する心理測定調査では、LLMの人間らしい特徴が報告されており、潜在的に影響する可能性がある。 このアプローチは有効性の問題に悩まされており、これらの特性がLLMに存在し、人間用に設計されたツールで測定可能であることを前提としている。 本研究では,人間と3人のLDMの潜在的性格構造を2つの評価されたパーソナリティアンケートを用いて比較することにより,この問題を考察する。
  論文  参考訳（メタデータ） (2024-09-06T12:42:35Z)
• WorkArena++: Towards Compositional Planning and Reasoning-based Common Knowledge Work Tasks [85.95607119635102]
  大型言語モデル(LLM)は人間のような知性を模倣することができる。 WorkArena++は、Webエージェントの計画、問題解決、論理的/論理的推論、検索、コンテキスト的理解能力を評価するように設計されている。
  論文  参考訳（メタデータ） (2024-07-07T07:15:49Z)
• The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。 LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。 以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-25T19:07:32Z)
• From Summary to Action: Enhancing Large Language Models for Complex Tasks with Open World APIs [62.496139001509114]
  大規模な現実世界のAPIを制御するために設計された新しいツール呼び出しパイプラインを導入します。 このパイプラインは人間のタスク解決プロセスを反映し、複雑な実際のユーザクエリに対処する。 ToolBenchベンチマークにおけるSum2Actパイプラインの実証的な評価は、大幅なパフォーマンス向上を示している。
  論文  参考訳（メタデータ） (2024-02-28T08:42:23Z)
• Characterizing Truthfulness in Large Language Model Generations with Local Intrinsic Dimension [63.330262740414646]
  大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。 モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
  論文  参考訳（メタデータ） (2024-02-28T04:56:21Z)
• LLM-driven Imitation of Subrational Behavior : Illusion or Reality? [3.2365468114603937]
  既存の作業は、複雑な推論タスクに対処し、人間のコミュニケーションを模倣する大規模言語モデルの能力を強調している。 そこで本研究では,LLMを用いて人工人体を合成し,サブリレーショナル・エージェント・ポリシーを学習する手法を提案する。 我々は,4つの単純なシナリオを通して,サブリレータリティをモデル化するフレームワークの能力について実験的に評価した。
  論文  参考訳（メタデータ） (2024-02-13T19:46:39Z)
• Limits of Large Language Models in Debating Humans [0.0]
  大きな言語モデル(LLM)は、人間と熟達して対話する能力において顕著な可能性を示してきた。 本論文は,LLMエージェントを現実の人間と組み合わせた事前登録研究により,現在のLLMの限界を検証しようとする試みである。
  論文  参考訳（メタデータ） (2024-02-06T03:24:27Z)
• SimLM: Can Language Models Infer Parameters of Physical Systems? [56.38608628187024]
  物理系におけるパラメータ推論におけるLarge Language Models (LLM) の性能について検討する。 実験の結果,単純なシステムであっても,本課題には適していないことが示唆された。 物理シミュレータを用いてLLMのコンテキストを拡大する探索の有望な方向を提案する。
  論文  参考訳（メタデータ） (2023-12-21T12:05:19Z)
• LAMM: Language-Assisted Multi-Modal Instruction-Tuning Dataset, Framework, and Benchmark [81.42376626294812]
  本稿では,Language-Assisted Multi-Modalインストラクションチューニングデータセット,フレームワーク,ベンチマークを提案する。 我々の目標は、MLLMのトレーニングと評価のための成長するエコシステムとしてLAMMを確立することです。 本稿では,2次元および3次元視覚のための広範囲な視覚タスクをカバーする包括的データセットとベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-06-11T14:01:17Z)
• Are LLMs the Master of All Trades? : Exploring Domain-Agnostic Reasoning Skills of LLMs [0.0]
  本研究では,大規模言語モデル(LLM)の性能について,様々な推論課題について検討する。 その結果, LLMは類推的, 道徳的推論において優れているが, 空間的推論タスクにおいて, 熟達に苦慮していることが明らかとなった。
  論文  参考訳（メタデータ） (2023-03-22T22:53:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。