論文の概要: Words to World: Benchmarking LLMs in Interactive Physical Environments

• arxiv url: http://arxiv.org/abs/2610.15228v1
• Date: Sat, 10 Oct 2026 23:40:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.177466
• Title: Words to World: Benchmarking LLMs in Interactive Physical Environments
• Title（参考訳）: 対話型物理環境におけるLLMのベンチマーク
• Abstract要約: 大規模言語モデル(LLM)は、ツールを起動し、デバイスを操作し、物理的な世界に影響を与える決定を下すことができる。 閉ループ物理相互作用におけるLLMの測定のためのベンチマークを示す。 各タスクでは、モデルが命令を発行し、環境から物理的フィードバックを受け取り、結果の状態を理解し、それに応じて次のアクションを適用する必要がある。
• 参考スコア（独自算出の注目度）: 42.64715733544653
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Words are increasingly becoming an interface for action: large language models (LLMs) can now invoke tools, operate devices, and make decisions that affect the physical world. However, current benchmarks largely evaluate LLMs through static text responses, offline tool calls, or simulated tasks, leaving open the question of how well they can act in real physical environments. We present a benchmark for measuring LLMs in closed-loop physical interaction, where models control a harness system connected to real-world components including robotic arms, cameras, and sensors. In each task, the model must issue instructions, receive physical feedback from the environment, interpret the resulting state, and adapt its next action accordingly. This setting evaluates capabilities beyond language understanding, including grounded perception, action planning, tool selection, spatial reasoning, feedback-driven correction, and robustness to execution uncertainty. Through experiments with representative LLMs, we characterize their ability to translate linguistic reasoning into physical actions and identify common failure modes such as hallucinated state changes, poor recovery from unexpected outcomes, and unstable long-horizon plans. Our benchmark aims to provide a systematic foundation for evaluating LLMs as interactive agents that connect words, tools, and the physical world.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、ツールを呼び出し、デバイスを操作し、物理的な世界に影響を与える決定を下すことができる。 しかしながら、現在のベンチマークでは、静的テキスト応答、オフラインツールコール、あるいはシミュレートされたタスクを通じてLLMを評価しており、実際の物理的環境でどのように機能するかという疑問が残されている。 本稿では,ロボットアームやカメラ,センサなどの実世界のコンポーネントに接続されたハーネスシステムをモデルが制御する,閉ループ物理相互作用におけるLCMの測定ベンチマークを提案する。 各タスクでは、モデルが命令を発行し、環境から物理的フィードバックを受け取り、結果の状態を理解し、それに応じて次のアクションを適用する必要がある。 この設定は、接地認識、行動計画、ツールの選択、空間推論、フィードバック駆動補正、実行の不確実性に対する堅牢性など、言語理解以上の能力を評価する。 代表的LLMを用いた実験により,言語推論を物理的行動に翻訳し,幻覚状態の変化,予期せぬ結果からの回復不良,不安定な長期計画などの共通の障害モードを識別する能力が特徴付けられる。 本ベンチマークは,言語,ツール,物理世界を結ぶ対話型エージェントとしてLLMを評価するための体系的基盤を提供することを目的としている。

関連論文リスト

• APEX: Empowering LLMs with Physics-Based Task Planning for Real-time Insight [5.553693338042919]
  APEX(Anticipatory Physics-Enhanced Execution)は、大規模言語モデルに物理駆動型フォレストを組み、リアルタイムタスク計画のためのフレームワークである。 APEX は標準の LLM や VLM ベースのモデルを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-05-20T04:34:58Z)
• MLE-Dojo: Interactive Environments for Empowering LLM Agents in Machine Learning Engineering [57.156093929365255]
  自律型大規模言語モデル(LLM)エージェントを体系的に強化し、評価し、改善するためのガイムスタイルのフレームワーク。 MLE-Dojoは、現実的なエンジニアリングシナリオを反映した、多様でオープンなMLEタスクを慎重にキュレートする。 完全に実行可能な環境は、教師付き微調整と強化学習の両方を通して包括的なエージェントトレーニングをサポートする。
  論文  参考訳（メタデータ） (2025-05-12T17:35:43Z)
• Plant in Cupboard, Orange on Rably, Inat Aphone. Benchmarking Incremental Learning of Situation and Language Model using a Text-Simulated Situated Environment [18.256529559741075]
  大きな言語モデル(LLM)はエージェントシステムのキーコンポーネントとして機能し、それらの常識的な知識は、位置や具現化されたアクションのための言語ベースのプランナーとしての性能に大きく影響する。 LLMのインクリメンタル学習(環境からのフィードバックに基づく)を評価し,テキストベースの環境を用いてコンテキスト内学習能力を制御する。 その結果、より大きな商用モデルはオープンウェイトに比べて性能がかなり低いが、ほとんどのモデルは合成語実験に苦慮していることがわかった。
  論文  参考訳（メタデータ） (2025-02-17T12:20:39Z)
• Scaffolded Language Models with Language Supervision for Mixed-Autonomy: A Survey [52.00674453604779]
  本調査は,戦後のLM周辺における新規構造物の設計と最適化に関する文献を整理した。 本稿では,この階層構造を足場型LMと呼び,ツールを用いた多段階プロセスに統合されたLMに焦点を当てる。
  論文  参考訳（メタデータ） (2024-10-21T18:06:25Z)
• LangSuitE: Planning, Controlling and Interacting with Large Language Models in Embodied Text Environments [70.91258869156353]
  テキストエンボディの世界における6つの代表的具体的タスクを特徴とする多目的・シミュレーション不要なテストベッドであるLangSuitEを紹介する。 以前のLLMベースのテストベッドと比較すると、LangSuitEは複数のシミュレーションエンジンを使わずに、多様な環境への適応性を提供する。 具体化された状態の履歴情報を要約した新しいチェーン・オブ・ソート(CoT)スキーマであるEmMemを考案する。
  論文  参考訳（メタデータ） (2024-06-24T03:36:29Z)
• Inner Monologue: Embodied Reasoning through Planning with Language Models [81.07216635735571]
  大規模言語モデル(LLM)は自然言語処理以外の領域に適用できる。 具体化された環境でのLLMの計画には、何をすべきかだけでなく、どのように、いつ行うべきかを考える必要がある。 環境フィードバックを活用することで、LLMはロボット制御シナリオにおいてよりリッチな処理と計画を行うことができる内部モノローグを形成することができる。
  論文  参考訳（メタデータ） (2022-07-12T15:20:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。