論文の概要: Beyond Omni: A Unified MLLM for Embodied Sensory Understanding

• arxiv url: http://arxiv.org/abs/2610.26751v1
• Date: Mon, 19 Oct 2026 17:14:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 01:36:04.105395
• Title: Beyond Omni: A Unified MLLM for Embodied Sensory Understanding
• Title（参考訳）: Beyond Omni: 身体感覚理解のための統一MLLM
• Abstract要約: 共有マルチモーダルアーキテクチャにおいて,多様な物理的感覚のモダリティをサポートする統一型MLLMフレームワークUnisenseを提案する。 ユニセンスは2段階の訓練プロセスに従う: (i) 知覚表現を言語と整列させて言語に到達可能なインターフェースを確立する; (ii) 異なる感覚モダリティのための特別な処理を提供するために、共有LLM内でモダリティ固有の専門家をチューニングする。 広義の感覚学習を支援するため,8つの感覚モダリティにまたがる1Mサンプルからなる大規模エンボディ型感覚訓練コーパスUnisense-1Mをキュレートした。
• 参考スコア（独自算出の注目度）: 22.865321808655555
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent embodied systems increasingly build on multimodal large language models (MLLMs) for their pretrained understanding and reasoning capabilities, but their perception of the physical world remains largely limited to basic modalities such as vision and audio. However, broadening MLLMs to more diverse sensory modalities from the physical environment is challenging: their representations are often weakly connected to the MLLM and vary substantially in structure and statistics, while their interpretation still requires shared high-level understanding and reasoning. We therefore propose Unisense, a unified embodied MLLM framework that supports diverse physical sensory modalities within a shared multimodal architecture. Unisense follows a two-stage training process: (i) aligning sensory representations with language to establish a language-accessible interface; and (ii) tuning modality-specific experts within the shared LLM to provide specialized processing for different sensory modalities. To support broad sensory learning, we curate Unisense-1M, a large-scale embodied sensory training corpus comprising 1M samples across 8 sensory modalities. We further evaluate Unisense on 12 benchmarks spanning depth, point cloud, IMU, tactile, thermal, radar, motion, and smell understanding. Across these heterogeneous sensing tasks, Unisense achieves strong performance and outperforms both generalist and specialized models on most benchmarks, demonstrating the potential of pretrained MLLMs as unified models for embodied sensory understanding.
• Abstract（参考訳）: 最近のエンボディドシステムは、事前訓練された理解と推論能力のために、MLLM(Multimodal large language model)の上にますます構築されているが、物理世界に対する認識は、視覚やオーディオのような基本的なモダリティに大きく依存している。 しかし、MLLMを物理的環境からより多様な感覚的モダリティに拡張することは困難であり、それらの表現はMLLMと弱く結びついており、構造や統計において大きく異なるが、解釈には高レベルの理解と推論が依然として必要である。 そこで我々は,共有マルチモーダルアーキテクチャにおいて,多様な物理的感覚モダリティをサポートする統一型MLLMフレームワークUnisenseを提案する。 Unisenseは2段階のトレーニングプロセスに従います。 一 知覚表現を言語と整合させて、言語に到達可能なインターフェースを確立すること。 2) 異なる感覚的モダリティの特別な処理を行うために, 共有LDM内のモダリティに特化した専門家をチューニングすること。 広義の感覚学習を支援するため,8つの感覚モダリティにまたがる1Mサンプルからなる大規模エンボディ型感覚訓練コーパスUnisense-1Mをキュレートした。 さらに、深度、点雲、IMU、触覚、熱、レーダー、動き、匂いの理解にまたがる12のベンチマークでUnisenseを評価する。 これらの不均一なセンシングタスク全体にわたって、Unisenseは強力な性能を達成し、多くのベンチマークにおいて一般モデルと専門モデルの両方を上回り、事前訓練されたMLLMを具体的感覚理解のための統一モデルとしての可能性を示している。

関連論文リスト

• MVU-Eval: Towards Multi-Video Understanding Evaluation for Multimodal LLMs [61.70050081221131]
  MVU-EvalはMLLMのマルチビデオ理解を評価するための最初の包括的なベンチマークである。 私たちのMVU-Evalは、主に8つのコア能力を評価し、4,959本のビデオにまたがる1,824本の厳密にキュレートされた質問応答ペアを評価します。 これらの機能は、自律システムにおけるマルチセンサー合成や、クロスアングルスポーツ分析のような現実世界のアプリケーションと厳格に一致している。
  論文  参考訳（メタデータ） (2025-11-10T16:02:33Z)
• Perception-R1: Advancing Multimodal Reasoning Capabilities of MLLMs via Visual Perception Reward [77.34936657745578]
  本稿では,MLLMに視覚内容の正確な知覚を促す新しい視覚認識報酬を導入するPerception-R1を提案する。 本稿では,Perception-R1が1,442のトレーニングデータのみを用いて,ほとんどのベンチマークで最先端のパフォーマンスを実現することを示す。
  論文  参考訳（メタデータ） (2025-06-08T16:48:42Z)
• HoloLLM: Multisensory Foundation Model for Language-Grounded Human Sensing and Reasoning [14.038083767470019]
  スマートホームで活動する身体エージェントは、多様な感覚入力を通じて人間の行動を理解し、自然言語を介してコミュニケーションする必要がある。 本稿では,Multimodal Large Language Model (MLLM) であるHoloLLMを紹介する。 また,HoloLLMは既存のMLLMよりも優れており,言語による人間の知覚精度を最大30%向上することを示した。
  論文  参考訳（メタデータ） (2025-05-23T09:06:09Z)
• MELLM: Exploring LLM-Powered Micro-Expression Understanding Enhanced by Subtle Motion Perception [53.00485107136624]
  マイクロ・エクスプレッション(ME)は、隠れた感情を示す、簡潔で低強度の顔の動きである。 本稿では,光学フローに基づく感度を微妙な顔の動きと統合する ME Large Language Model (MELLM) を提案する。 MELLMは複数のMEベンチマークで最先端の精度と一般化を実現する。
  論文  参考訳（メタデータ） (2025-05-11T15:08:23Z)
• EmoLLM: Multimodal Emotional Understanding Meets Large Language Models [61.179731667080326]
  マルチモーダル・大規模言語モデル(MLLM)は、目的とするマルチモーダル認識タスクにおいて顕著な性能を達成している。 しかし、主観的、感情的にニュアンスのあるマルチモーダルコンテンツを解釈する能力はほとんど解明されていない。 EmoLLMは、マルチモーダルな感情理解のための新しいモデルであり、2つのコア技術が組み込まれている。
  論文  参考訳（メタデータ） (2024-06-24T08:33:02Z)
• AesBench: An Expert Benchmark for Multimodal Large Language Models on Image Aesthetics Perception [64.25808552299905]
  AesBenchはMLLMの審美的知覚能力の総合評価を目的とした専門家ベンチマークである。 本稿では,プロの審美専門家が提供した多彩な画像内容と高品質なアノテーションを特徴とするEAPD(Expert-labeled Aesthetics Perception Database)を構築した。 本稿では,知覚(AesP),共感(AesE),評価(AesA),解釈(AesI)の4つの視点からMLLMの審美的知覚能力を測定するための統合的基準を提案する。
  論文  参考訳（メタデータ） (2024-01-16T10:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。