論文の概要: ROMA: LLM System for Real-World Object-Centric Multi-Sensory Active Perception

• arxiv url: http://arxiv.org/abs/2610.06955v1
• Date: Sat, 03 Oct 2026 13:58:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.478229
• Title: ROMA: LLM System for Real-World Object-Centric Multi-Sensory Active Perception
• Title（参考訳）: ROMA:実世界オブジェクト中心型多感覚能動知覚のためのLLMシステム
• Abstract要約: 実世界オブジェクト中心の多感覚アクティブ・パーセプションのためのLLMベースのシステムであるROMAを紹介する。 ROMAは視覚、オーディオ、触覚、力覚を推論とフィードバックのループに統合する。 ROMAは、欠落した証拠を積極的に取得し、複雑な長鎖多感覚知覚タスクを解くことができる。
• 参考スコア（独自算出の注目度）: 40.82994892566831
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Humans inherently understand the physical world through an active process. When sensory evidence is insufficient to infer physical properties, we naturally interact with the environment by deciding what information is missing, how to acquire it, and when sufficient evidence has been obtained. In stark contrast, existing multi-sensory robot systems mainly integrate sensory inputs rather than actively acquiring missing evidence through interactions. In this work, we introduce ROMA, an LLM-based system for Real-World Object-Centric Multi-Sensory Active Perception. ROMA integrates vision, audio, tactile, and force sensing into a reasoning-interaction-feedback loop. The model identifies missing evidence and determines the target objects, interactions, and modalities, while a physical interface executes the selected interactions and collects the multi-sensory feedback. To support this capability, we construct ROMI-2K, a large-scale real-world multi-sensory object interaction dataset covering nearly 2,000 objects and 6 atomic interactions with synchronized sensory feedback. Building on these data, we develop a two-stage training framework that aligns sensory modalities and equips the LLM to assess evidence sufficiency, select informative interactions, and reason over the multi-sensory feedback. We further characterize active perception as perception chains, where acquired evidence guides subsequent interactions and reasoning, and establish ROMA Bench to evaluate single-attribute, long-horizon multi-attribute, and intent-driven active perception. Experiments show that ROMA can actively acquire missing evidence and solve complex, long-chain multi-sensory perception tasks that existing methods struggle to handle, laying a strong perceptual foundation for active multi-sensory embodied agents.
• Abstract（参考訳）: 人間は、活発なプロセスを通じて物理的世界を本質的に理解する。 物理的特性を推測するには感覚的証拠が不十分な場合、どのような情報が欠落しているか、どのように取得するか、そして十分な証拠が得られたかを決定し、自然に環境と相互作用する。 対照的に、既存のマルチ感覚ロボットシステムは、相互作用を通じて行方不明の証拠を積極的に取得するのではなく、主に感覚入力を統合している。 本稿では,実世界オブジェクト中心の多感覚アクティブパーセプションのためのLLMベースのシステムであるROMAを紹介する。 ROMAは視覚、オーディオ、触覚、力覚を推論とフィードバックのループに統合する。 モデルは、欠落した証拠を特定し、対象のオブジェクト、インタラクション、モダリティを判定し、物理インターフェースは選択したインタラクションを実行し、マルチ感覚フィードバックを収集する。 この機能をサポートするために,約2000個のオブジェクトと6個の原子間相互作用を含む大規模な実世界のマルチセンサーオブジェクトインタラクションデータセットROMI-2Kを構築した。 これらのデータに基づいて、感覚のモダリティを整列し、LCMを装備する2段階のトレーニングフレームワークを構築し、エビデンスを十分評価し、情報的相互作用を選択し、マルチ感覚フィードバックに対する理由付けを行う。 我々はさらに、アクティブな知覚を知覚連鎖として特徴付け、そこでは、得られた証拠がその後の相互作用と推論をガイドし、ROMA Benchを確立して、単一属性、長距離多属性、意図駆動のアクティブな知覚を評価する。 実験により、ROMAは行方不明な証拠を積極的に取得し、既存の方法が処理に苦慮している複雑な長鎖多感覚知覚タスクを解決できることが示され、アクティブ多感覚エンボディドエージェントの強力な知覚基盤が築かれた。

関連論文リスト

• Harnessing Multimodal Large Language Models for Training-Free Human-Object Interaction Detection [87.03895636671963]
  人-物間相互作用(Human-object Interaction,HOI)は、人-物対を局所化し、その相互作用を認識することを目的としている。 近年のMLLM(Multimodal large language model)は、広義のビジュアル・セマンティックな知識を通じて、トレーニング不要なHOI検出への有望な経路を提供する。 本稿では,パッシブMLLM推論をアクティブなインタラクション中心のハーネスに変換するトレーニングフリーフレームワークであるHarnessHOIを提案する。
  論文  参考訳（メタデータ） (2026-10-05T14:16:28Z)
• Act, Sense, Act: Learning Non-Markovian Active Perception Strategies from Large-Scale Egocentric Human Data [30.493131697188627]
  我々は、情報ゲインと意思決定分岐によって駆動される非マルコフ過程として能動的知覚を定式化する。 本稿では,認知と記憶を意識した視覚言語アクションフレームワークCoMe-VLAを紹介する。 本フレームワークは,自律的なサブタスク遷移のための認知補助ヘッドと,一貫した自己および環境意識を維持するためのデュアルトラックメモリシステムを統合する。
  論文  参考訳（メタデータ） (2026-02-04T14:28:14Z)
• Self-Supervised Multisensory Pretraining for Contact-Rich Robot Reinforcement Learning [10.782934021703783]
  MultiSensory Dynamic Pretraining (MSDP)は、タスク指向のポリシー学習に適した表現型多感覚表現を学習するためのフレームワークである。 MSDPはマスク付きオートエンコーディングに基づいており、センサ埋め込みのサブセットのみからの多感覚観測を再構成することでトランスフォーマーベースのエンコーダを訓練する。 下流の政策学習では,凍結した埋め込みから動的にタスク固有の特徴を抽出するクロスアテンション機構が導入された。
  論文  参考訳（メタデータ） (2025-11-18T12:32:23Z)
• Sensorimotor features of self-awareness in multimodal large language models [0.18415777204665024]
  自己認識は知的で自律的な行動を支える。 近年のAIの進歩は、マルチモーダル情報を統合するタスクにおいて、人間のようなパフォーマンスを実現する。 我々は,マルチモーダルLLMが感覚運動経験のみで自己認識できるかどうかを考察する。
  論文  参考訳（メタデータ） (2025-05-25T17:26:28Z)
• Emergent Active Perception and Dexterity of Simulated Humanoids from Visual Reinforcement Learning [69.71072181304066]
  本稿では,擬似ヒューマノイドを用いた視覚駆動全身制御フレームワークであるPerceptive Dexterous Control (PDC)を紹介する。 PDCは、タスク仕様のためのエゴセントリックなビジョンのみを運用し、ビジュアルキューによるオブジェクト検索、ターゲット配置、スキル選択を可能にする。 強化学習によるスクラッチからのトレーニングは,能動探索などの創発的な行動を引き起こす可能性があることを示す。
  論文  参考訳（メタデータ） (2025-05-18T07:33:31Z)
• Bridging Cognition and Emotion: Empathy-Driven Multimodal Misinformation Detection [56.644686934050576]
  ソーシャルメディアは情報発信の主流となっているが、誤報の急速な拡散を助長している。 従来の誤報検出法は主に表面的な特徴に焦点を合わせ、伝播過程における人間の共感の重要な役割を見落としている。 著者と読者の両方の視点から誤情報を分析するために、認知的・感情的共感を統合したデュアル・アスペクト・共感フレームワーク(DAE)を提案する。
  論文  参考訳（メタデータ） (2025-04-24T07:48:26Z)
• Multimodal Visual-Tactile Representation Learning through Self-Supervised Contrastive Pre-Training [0.850206009406913]
  MViTacは、コントラスト学習を利用して視覚と触覚を自己指導的に統合する新しい手法である。 両方の感覚入力を利用することで、MViTacは学習表現のモダリティ内およびモダリティ間損失を利用して、材料特性の分類を強化し、より適切な把握予測を行う。
  論文  参考訳（メタデータ） (2024-01-22T15:11:57Z)
• MultiPLY: A Multisensory Object-Centric Embodied Large Language Model in 3D World [55.878173953175356]
  マルチ感覚を具現化した大規模言語モデルであるMultiPLYを提案する。 まず,500kデータからなる大規模マルチセンサインタラクションデータセットであるMultisensory Universeを収集する。 我々は,MultiPLYが多種多様な実施タスクを通じて,ベースラインを大きなマージンで上回ることを示す。
  論文  参考訳（メタデータ） (2024-01-16T18:59:45Z)
• Enhancing HOI Detection with Contextual Cues from Large Vision-Language Models [56.257840490146]
  ConCueは、HOI検出における視覚的特徴抽出を改善するための新しいアプローチである。 コンテクストキューをインスタンスと相互作用検出器の両方に統合するマルチトウワーアーキテクチャを用いたトランスフォーマーベースの特徴抽出モジュールを開発した。
  論文  参考訳（メタデータ） (2023-11-26T09:11:32Z)
• Learning Intuitive Physics with Multimodal Generative Models [24.342994226226786]
  本稿では,視覚と触覚のフィードバックを融合させ,動的シーンにおける物体の動きを予測する枠組みを提案する。 我々は、接触面の高解像度マルチモーダルセンシングを提供する新しいSee-Through-your-Skin(STS)センサを使用します。 物体の静止状態を所定の初期条件から予測するシミュレーションおよび実世界の実験を通じて検証する。
  論文  参考訳（メタデータ） (2021-01-12T12:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。