論文の概要: A.D.A.M.O. (Agent for language-Driven Actions with Multimodal Observations): A Visual-Symbolic Framework for Virtual Humans
- arxiv url: http://arxiv.org/abs/2609.35463v1
- Date: Mon, 28 Sep 2026 15:51:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-02 05:13:30.445454
- Title: A.D.A.M.O. (Agent for language-Driven Actions with Multimodal Observations): A Visual-Symbolic Framework for Virtual Humans
- Title（参考訳）: A.D.A.M.O.(多モーダルな観察を伴う言語駆動行動のエージェント):仮想人間のためのビジュアルシンボリックフレームワーク
- Abstract要約: A.D.A.M.O. (Agent for Language-Driven Actions with Multimodal Observations)は、言語駆動型vhの視覚的象徴的フレームワークである。
A.D.A.M.O.は、エゴセントリックな視覚入力と同期されたシンボル状態を組み合わせた二重視覚シンボル世界モデルを維持している。
- 参考スコア（独自算出の注目度）: 40.3727386780929
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Creating believable vh requires the coherent integration of perception, reasoning, and action mediated by language. A central challenge is to combine these components into a control loop grounded in interactive 3D environments. To this end, we present A.D.A.M.O. (Agent for language-Driven Actions with Multimodal Observations), a visual-symbolic framework for language-driven vh that leverages a pretrained vlm with tool calling to unify perception, reasoning, and action within a single control loop. A.D.A.M.O. maintains a dual visual-symbolic world model that combines egocentric visual input and synchronized symbolic state to support grounded task-oriented behavior from natural language prompts. To support diagnostic evaluation, we introduce a controlled task suite organized by a cd taxonomy that breaks down spatial tasks into procedural and linguistic complexity. Experiments in controlled scenes show that semantic labeling strongly influences task completion and failure modes, reducing perceptual ambiguity while shifting failures toward downstream execution, whereas reasoning errors remain comparatively rare.
- Abstract（参考訳）: 信じられないvhを作るには、言語によって媒介される知覚、推論、行動のコヒーレントな統合が必要である。
中心的な課題は、これらのコンポーネントをインタラクティブな3D環境に接するコントロールループにまとめることである。
この目的のために、我々は、言語駆動型vhの視覚的シンボリック・フレームワークであるA.D.A.M.O.(Agent for Language-Driven Actions with Multimodal Observations)を紹介した。
A.D.A.M.O.は、エゴセントリックな視覚入力と同期化されたシンボル状態を組み合わせて、自然言語のプロンプトから接地されたタスク指向の振る舞いをサポートする二重視覚シンボル世界モデルを維持している。
診断評価を支援するために,空間課題を手続き的・言語的複雑度に分解するcd分類によって構成された制御タスクスイートを導入する。
制御されたシーンでの実験では、セマンティックラベリングがタスクの完了と失敗モードに強く影響し、障害を下流に移行させながら知覚的曖昧さを減らし、推論エラーは比較的稀である。
関連論文リスト
- HINT: Human-Intent Inception for Long-Horizon Robot Manipulation [11.55318573740128]
HINT(Human-INTent INcepTion)は,人間の操作原理に触発されたエージェントフレームワークである。
HINTは2つの基本方針にまたがって、意図の理解、タスクの進捗、エンドツーエンドの成功を大幅に改善することを示す。
論文 参考訳（メタデータ） (2026-09-02T14:26:30Z) - AwareVLN: Reasoning with Self-awareness for Vision-Language Navigation [78.80536515102305]
VLN(Vision-and-Language Navigation)は、エージェントが視覚環境内の自身の動きに言語命令を接地する必要がある。
本稿では,ナビゲーションモデルに自己認識推論機構を備えた新しいフレームワークであるAwareVLNを提案する。
提案手法は,(1)空間的およびタスク指向の自己認識を促進する構造的推論モジュール,(2)効果的な学習のための進歩分担付き自動データエンジンの2つの重要な革新を特徴とする。
論文 参考訳（メタデータ） (2026-05-21T17:58:26Z) - Language-Grounded Decoupled Action Representation for Robotic Manipulation [78.42228162226839]
認識と制御を結びつけるために,Language-Grounded Decoupled Action Representation (LaDA) フレームワークを提案する。
LaDAは3つの解釈可能なアクションプリミティブ(翻訳、回転、グリップ制御)の微細な中間層を導入し、低レベルのアクションに対して明示的な意味構造を提供する。
さらに、セマンティックガイダンスによるソフトラベルのコントラスト学習の目的を用いて、類似のアクションプリミティブをタスク間で整列させ、一般化と動きの整合性を高める。
論文 参考訳（メタデータ） (2026-03-13T13:08:26Z) - Unifying Heterogeneous Multi-Modal Remote Sensing Detection Via Language-Pivoted Pretraining [59.2578488860426]
不均一なマルチモーダルリモートセンシングオブジェクト検出は、多様なセンサからオブジェクトを正確に検出することを目的としている。
既存のアプローチでは、下流の微調整中にモーダリティアライメントとタスク固有の最適化が絡み合う遅延アライメントパラダイムが採用されている。
本稿では,下流のタスク学習からモダリティアライメントを明確に分離する,統一型言語パイロット事前学習フレームワークであるBabelRSを提案する。
論文 参考訳（メタデータ） (2026-03-02T11:38:12Z) - Stable Language Guidance for Vision-Language-Action Models [62.80963701282789]
残留セマンティックステアリング(Residual Semantic Steering)は、セマンティック実行から身体的余裕を逸脱する確率的フレームワークである。
RSSは最先端の堅牢性を実現し、敵対的な言語摂動の下でも性能を維持する。
論文 参考訳（メタデータ） (2026-01-07T16:16:10Z) - Action-Sketcher: From Reasoning to Action via Visual Sketches for Long-Horizon Robotic Manipulation [37.76888706583038]
長距離ロボット操作は、現実世界の展開においてますます重要になっている。
既存のエンドツーエンドおよび階層的なビジョン・ランゲージ・アクションポリシーは、しばしばテキストのみの手がかりに依存している。
ロボットの現在のビューに、ポイント、ボックス、矢印、型付き関係を描画する、不可解な視覚中間体であるVisual Sketchを導入する。
本稿では,サイクリックSee-Think-Sketch-Actワークフローで動作するVLAフレームワークであるAction-Sketcherを紹介する。
論文 参考訳（メタデータ） (2026-01-04T17:53:42Z) - Language-Guided Grasp Detection with Coarse-to-Fine Learning for Robotic Manipulation [31.386822229629455]
本稿では,ロボット操作のための粗粒度学習パラダイムを用いた言語誘導グラフ検出(LGGD)を提案する。
この設計により、きめ細かいビジュアル・セマンティックなアライメントが可能となり、タスク命令に対する予測された把握の実現性が改善される。
OCID-VLGとGrasp-Anything++データセットの実験は、LGGDが既存の言語誘導の把握方法を上回ることを示している。
論文 参考訳（メタデータ） (2025-12-24T09:16:42Z) - CodeDiffuser: Attention-Enhanced Diffusion Policy via VLM-Generated Code for Instruction Ambiguity [23.77040677368575]
我々は,潜在的にあいまいな自然言語によって指定されたタスクを達成できる,新しいロボット操作フレームワークを導入する。
このフレームワークはVLM(Vision-Language Model)を使用して、自然言語命令の抽象概念を解釈する。
本稿では,言語あいまいさ,コンタクトリッチな操作,多目的インタラクションといった課題に対して,アプローチが優れていることを示す。
論文 参考訳（メタデータ） (2025-06-19T23:42:03Z) - INVIGORATE: Interactive Visual Grounding and Grasping in Clutter [56.00554240240515]
INVIGORATEは、自然言語で人間と対話し、特定の物体をクラッタで把握するロボットシステムである。
我々は、物体検出、視覚的接地、質問生成、OBR検出と把握のために、別々のニューラルネットワークを訓練する。
我々は、学習したニューラルネットワークモジュールを統合する、部分的に観測可能なマルコフ決定プロセス(POMDP)を構築します。
論文 参考訳（メタデータ） (2021-08-25T07:35:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。