論文の概要: Exploring Failure Cases in Multimodal Reasoning About Physical Dynamics
- arxiv url: http://arxiv.org/abs/2402.15654v1
- Date: Sat, 24 Feb 2024 00:01:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-27 17:43:02.020289
- Title: Exploring Failure Cases in Multimodal Reasoning About Physical Dynamics
- Title(参考訳): 物理力学のマルチモーダル推論における障害事例の検討
- Authors: Sadaf Ghaffari, Nikhil Krishnaswamy
- Abstract要約: 我々は、シンプルなシミュレーション環境を構築し、ゼロショット環境では、テキストとマルチモーダルLLMの両方が、様々なオブジェクトに関する原子世界の知識を示すが、オブジェクト操作と配置タスクのための正しいソリューションで、この知識を構成するのに失敗する例を示す。
また、より洗練されたクロスモーダルな注意で訓練された視覚言語モデルBLIPを使用して、そのモデルがグラウンドに失敗するオブジェクトの物理的特性に関連する事例を特定する。
- 参考スコア(独自算出の注目度): 5.497036643694402
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we present an exploration of LLMs' abilities to problem solve
with physical reasoning in situated environments. We construct a simple
simulated environment and demonstrate examples of where, in a zero-shot
setting, both text and multimodal LLMs display atomic world knowledge about
various objects but fail to compose this knowledge in correct solutions for an
object manipulation and placement task. We also use BLIP, a vision-language
model trained with more sophisticated cross-modal attention, to identify cases
relevant to object physical properties that that model fails to ground.
Finally, we present a procedure for discovering the relevant properties of
objects in the environment and propose a method to distill this knowledge back
into the LLM.
- Abstract(参考訳): 本稿では, 位置環境における物理推論を用いて, LLMの問題解決能力について検討する。
単純なシミュレート環境を構築し,ゼロショット設定において,テキストとマルチモーダルllmの両方が様々なオブジェクトに関するアトミックワールドの知識を表示するが,オブジェクト操作や配置タスクの正しい解ではその知識を合成できないことを示す。
また、より洗練されたクロスモーダルな注意で訓練された視覚言語モデルBLIPを使用して、そのモデルがグラウンドに失敗するオブジェクトの物理的特性に関連する事例を特定する。
最後に,環境中の物体の関連性を発見するための手法を提案し,その知識をLLMに還元する方法を提案する。
関連論文リスト
- Characterizing Truthfulness in Large Language Model Generations with
Local Intrinsic Dimension [63.330262740414646]
大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。
モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
論文 参考訳(メタデータ) (2024-02-28T04:56:21Z) - LLM Inference Unveiled: Survey and Roofline Model Insights [64.33702161898469]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳(メタデータ) (2024-02-26T07:33:05Z) - From Understanding to Utilization: A Survey on Explainability for Large
Language Models [27.295767173801426]
この調査は、Large Language Models (LLMs) における説明可能性の向上を示唆している。
主に、トレーニング済みの Transformer ベースの LLM に重点を置いています。
説明可能性の活用を考える際に、モデル編集、制御生成、モデル拡張に集中するいくつかの魅力的な方法を検討する。
論文 参考訳(メタデータ) (2024-01-23T16:09:53Z) - DoraemonGPT: Toward Understanding Dynamic Scenes with Large Language
Models [78.43468551763303]
我々は,動的ビデオタスクを扱うLLMによって駆動される包括的かつ概念的にエレガントなシステムであるドラモンGPTを考案した。
質問/タスクのあるビデオが与えられた場合、DoraemonGPTは入力されたビデオをタスク関連の属性を格納するシンボリックメモリに変換することから始める。
3つのベンチマークでDoraemonGPTの有効性を広く評価した。
論文 参考訳(メタデータ) (2024-01-16T14:33:09Z) - LLMs for Robotic Object Disambiguation [21.101902684740796]
本研究は,LLMが複雑な意思決定課題の解決に適していることを明らかにする。
我々の研究の重要な焦点は、LLMのオブジェクトの曖昧化能力である。
我々は,LLMのあいまいなクエリを提示する能力を改善するために,数発のプロンプトエンジニアリングシステムを開発した。
論文 参考訳(メタデータ) (2024-01-07T04:46:23Z) - Physical Reasoning and Object Planning for Household Embodied Agents [21.719773664308683]
我々はCommonSense Object Affordance Task (COAT)を紹介した。
COATは現実世界の環境における実践的な意思決定の複雑さに関する洞察を提供する。
私たちのコントリビューションには、最初の考慮事項に対処する洞察に富んだObject-Utilityマッピングと、2つの広範なQAデータセットが含まれています。
論文 参考訳(メタデータ) (2023-11-22T18:32:03Z) - Assessing Logical Puzzle Solving in Large Language Models: Insights from
a Minesweeper Case Study [12.31609407864022]
我々は、Large Language Models (LLM) になじみのないフォーマットで設計された新しいタスク、Minesweeperを導入する。
このタスクは、隣接するオープンセルが提供する数値的な手がかりに基づいて、LLMが鉱山の位置を特定することを課題とする。
我々の実験は、先進的な GPT-4 モデルによる試行を含むもので、LLM は、この課題に必要な基礎的能力を持っているが、Minesweeper を解くために必要な一貫性のある多段階論理的推論プロセスにこれらを統合するのに苦労していることを示している。
論文 参考訳(メタデータ) (2023-11-13T15:11:26Z) - Finding Fallen Objects Via Asynchronous Audio-Visual Integration [89.75296559813437]
本稿では,3次元仮想環境におけるマルチモーダルオブジェクトのローカライゼーションについて検討する。
カメラとマイクを装備したロボットエージェントは、音声と視覚信号を基礎となる物理学の知識と組み合わせることで、どの物体が落下したか(そしてどこにあるか)を判断しなければならない。
このデータセットは、物理ベースの衝撃音と、フォトリアリスティックな設定でオブジェクト間の複雑な物理的相互作用をシミュレートする3DWorldプラットフォームを使用している。
論文 参考訳(メタデータ) (2022-07-07T17:59:59Z) - Discovering Objects that Can Move [55.743225595012966]
手動ラベルなしでオブジェクトを背景から分離する、オブジェクト発見の問題について検討する。
既存のアプローチでは、色、テクスチャ、位置などの外観の手がかりを使用して、ピクセルをオブジェクトのような領域に分類する。
私たちは、動的オブジェクト -- 世界で独立して動くエンティティ -- にフォーカスすることを選びます。
論文 参考訳(メタデータ) (2022-03-18T21:13:56Z) - OPEn: An Open-ended Physics Environment for Learning Without a Task [132.6062618135179]
オープンエンドな物理環境で学んだ世界のモデルが、特定のタスクを伴わずに、下流の物理推論タスクに再利用できるかどうかについて検討する。
我々は,OPEn(Open-ended Physics ENvironment)のベンチマークを構築し,この環境における学習表現をテストするためのいくつかのタスクを明示的に設計する。
その結果、教師なしのコントラスト学習を表現学習に用いたエージェントと、探索のためのインパクト駆動学習が最良の結果となった。
論文 参考訳(メタデータ) (2021-10-13T17:48:23Z) - Relevance-Guided Modeling of Object Dynamics for Reinforcement Learning [0.0951828574518325]
現在の深層強化学習(RL)アプローチでは、環境に関する最小限の事前知識が組み込まれている。
本稿では,最小限およびタスク固有のオブジェクト表現を迅速に決定するために,オブジェクトのダイナミクスと振る舞いを推論するフレームワークを提案する。
また、オブジェクト表現と標準RLと計画アルゴリズムを用いて、Atariゲームにおけるこのフレームワークの可能性を強調し、既存の深層RLアルゴリズムよりも劇的に高速に学習する。
論文 参考訳(メタデータ) (2020-03-03T08:18:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。