論文の概要: ROMA: Real-time Omni-Multimodal Assistant with Interactive Streaming Understanding

• arxiv url: http://arxiv.org/abs/2601.10323v1
• Date: Thu, 15 Jan 2026 12:09:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-16 19:43:19.125335
• Title: ROMA: Real-time Omni-Multimodal Assistant with Interactive Streaming Understanding
• Title（参考訳）: ROMA:対話型ストリーミング理解を備えたリアルタイムOmni-Multimodalアシスタント
• Abstract要約: 本稿では,実時間オムニ・マルチモーダル・アシスタントであるROMAについて述べる。 ROMAは連続的な入力を同期マルチモーダル単位として処理し、密度の高いオーディオを離散ビデオフレームと整列させて粒度のミスマッチを処理する。 オンライン意思決定では、応答開始を生成から切り離して正確なトリガーを確実にする軽量なスポークヘッドを導入する。
• 参考スコア（独自算出の注目度）: 32.72568710955575
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent Omni-multimodal Large Language Models show promise in unified audio, vision, and text modeling. However, streaming audio-video understanding remains challenging, as existing approaches suffer from disjointed capabilities: they typically exhibit incomplete modality support or lack autonomous proactive monitoring. To address this, we present ROMA, a real-time omni-multimodal assistant for unified reactive and proactive interaction. ROMA processes continuous inputs as synchronized multimodal units, aligning dense audio with discrete video frames to handle granularity mismatches. For online decision-making, we introduce a lightweight speak head that decouples response initiation from generation to ensure precise triggering without task conflict. We train ROMA with a curated streaming dataset and a two-stage curriculum that progressively optimizes for streaming format adaptation and proactive responsiveness. To standardize the fragmented evaluation landscape, we reorganize diverse benchmarks into a unified suite covering both proactive (alert, narration) and reactive (QA) settings. Extensive experiments across 12 benchmarks demonstrate ROMA achieves state-of-the-art performance on proactive tasks while competitive in reactive settings, validating its robustness in unified real-time omni-multimodal understanding.
• Abstract（参考訳）: 最近のOmni-multimodal Large Language Modelsは、統合オーディオ、ビジョン、テキストモデリングにおいて有望であることを示している。 しかし、既存のアプローチでは、不完全なモダリティサポートや自律的なプロアクティブモニタリングの欠如など、相容れない能力に悩まされているため、ストリーミングオーディオビデオの理解は依然として困難である。 これを解決するために,実時間オムニ・マルチモーダル・アシスタントのROMAを提案する。 ROMAは連続的な入力を同期マルチモーダル単位として処理し、密度の高いオーディオを離散ビデオフレームと整列させて粒度のミスマッチを処理する。 オンライン意思決定では、タスクの衝突なしに正確なトリガを確実にするために、応答開始を生成から切り離す軽量なスポークヘッドを導入する。 我々は、ストリーミングデータセットをキュレートしたROMAと、ストリーミングフォーマット適応とプロアクティブ応答性のために段階的に最適化する2段階のカリキュラムをトレーニングする。 断片化された評価環境を標準化するために、さまざまなベンチマークをプロアクティブ(アラート、ナレーション)とリアクティブ(QA)設定の両方をカバーする統一スイートに再構成した。 12ベンチマークにわたる大規模な実験は、ROMAがリアクティブな設定で競争しながら、プロアクティブなタスクの最先端のパフォーマンスを達成し、その堅牢性をリアルタイムのOmni-multimodalな理解で検証していることを示している。

関連論文リスト

• InternVideo3: Agentify Foundation Models with Multimodal Contextual Reasoning [61.87294123934038]
  ビデオタスクにおけるマルチモーダル理解を強化するフレームワークであるInternVideo3を提案する。 MCRは理解を、共有、進化するコンテキスト上でのクローズドループプロセスとして扱う。 InternVideo3は、Video-MME、MLVU、Egoなどのベンチマークで強力なパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2026-06-10T15:17:08Z)
• Agentic Active Omni-Modal Perception for Multi-Hop Audio-Visual Reasoning [39.54930573140777]
  AOP-AgentはオープンソースのOmni-LLM上に構築された効率的なエージェントフレームワークである。 MOV-BenchとOmniVideoBenchの実験では、AOP-Agentは推論性能を一貫して改善している。
  論文  参考訳（メタデータ） (2026-05-27T09:11:59Z)
• Not All Modalities Are Equal: Instruction-Aware Gating for Multimodal Videos [70.78278988781882]
  ビデオ,音声,深度マップ,その他のモダリティ入力間で命令認識融合を行う,UniMVUという統合マルチモーダルビデオ理解フレームワークを提案する。 解析の結果,ゲーティング機構は人間と解釈可能なモダリティの関連性に一致し,アブレーションは内部モダリティとモダリティレベルのゲーティングの寄与を示すことがわかった。
  論文  参考訳（メタデータ） (2026-05-25T18:02:20Z)
• StreamOV: Streaming Omni-Video Understanding via Evidence-Guided Memory and Response Triggering [39.92453666681465]
  StreamOVは、バウンドメモリとプロアクティブ応答トリガを備えた効率的なオンラインオーディオ視覚推論のための、新しいStreaming Omni-Video理解フレームワークである。 応答のタイミングを決定するために、隠れ状態駆動のトリガーを使用しており、明示的なサイレントトーケン生成と外部ルータを避けている。 さまざまなストリーミングとビデオのベンチマークで最先端のパフォーマンスを実現し、オンラインとオフラインの両方のビデオ理解に有効であることを実証している。
  論文  参考訳（メタデータ） (2026-05-25T09:23:19Z)
• Omni-Customizer: End-to-End MultiModal Customization for Joint Audio-Video Generation [93.44732526074876]
  複数のアイデンティティの正確なバインディングとシームレスな融合を目的としたエンドツーエンドフレームワークを提案する。 本アーキテクチャでは,セマンティックアンコール型マルチモーダルロ (SA-MRo) を用いて,視覚的および音声的参照トークンとTS埋め込みを対応する意味記述に固定する。 実験により、Omni-Contextはデュアルモーダルなカスタマイズ生成において最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2026-05-17T14:56:52Z)
• MiniCPM-o 4.5: Towards Real-Time Full-Duplex Omni-Modal Interaction [76.4461698685681]
  Mini-o 4.5は、人間レベルのリアルタイムストリーミングインタラクションに向けた最新の取り組みです。 Omni-CPMは、オムニモードの知覚と出力を共有時間軸に沿って整列する統合ストリーミングフレームワークである。 合計9Bパラメータで、Mini-o 4.5は視力計算能力においてGemini 2.5 Flashにアプローチし、最先端のオープンな計算性能を提供する。
  論文  参考訳（メタデータ） (2026-04-30T04:05:43Z)
• U-Mind: A Unified Framework for Real-Time Multimodal Interaction with Audiovisual Generation [48.6868174403074]
  我々は,高知能マルチモーダル対話のための最初の統一システムであるU-Mindを紹介する。 リアルタイム生成と共同モデル言語、音声、モーション、ビデオ合成をサポートする。 U-Mindは様々なマルチモーダルインタラクションタスクにおいて最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-02-27T07:07:02Z)
• TANDEM: Temporal-Aware Neural Detection for Multimodal Hate Speech [11.020614074201346]
  本稿では,音声・視覚的ヘイト検出を構造化推論問題に変換する統合フレームワークであるTANDEMを紹介する。 提案手法では,視覚言語モデルと音声言語モデルが相互に最適化される,新しいタンデム強化学習戦略を採用している。 TANDEM はゼロショットとコンテキスト拡張ベースラインを大きく上回り、HateMM のターゲット識別において 0.73 F1 を達成している。
  論文  参考訳（メタデータ） (2026-01-16T10:52:12Z)
• OmniAgent: Audio-Guided Active Perception Agent for Omnimodal Audio-Video Understanding [23.176694412214157]
  オムニアジェント(OmniAgent)は、完全音声誘導能動的知覚エージェントである。 本稿では、受動応答生成からアクティブマルチモーダル探索へのパラダイムシフトを示す。
  論文  参考訳（メタデータ） (2025-12-29T17:59:05Z)
• LiveTalk: Real-Time Multimodal Interactive Video Diffusion via Improved On-Policy Distillation [35.01134463094784]
  汎用多目的対話型AIシステムを構築するためには,拡散によるリアルタイムビデオ生成が不可欠である。 既存の蒸留法では、モデルが自己回帰し、サンプリング工程を減らしてこれを緩和することができる。 本論文は,テキスト,画像,音声を含むマルチモーダル環境下でのリアルタイム対話型ビデオ拡散を目標とし,そのギャップを埋める。
  論文  参考訳（メタデータ） (2025-12-29T16:17:36Z)
• MAViD: A Multimodal Framework for Audio-Visual Dialogue Understanding and Generation [59.23161833385837]
  音声対話理解・生成のための新しいマルチモーダルフレームワークMAViDを提案する。 本フレームワークは,ユーザのマルチモーダルクエリを正確に解釈し,鮮明かつコンテキスト的にコヒーレントなロングデュレーション対話を生成できる。
  論文  参考訳（メタデータ） (2025-12-02T18:55:53Z)
• OmniMotion-X: Versatile Multimodal Whole-Body Motion Generation [52.579531290307926]
  本稿では,全身動作生成のための汎用フレームワークであるOmniMotion-Xを紹介する。 OmniMotion-Xは、テキスト・トゥ・モーション、音楽・トゥ・ダンス、音声・トゥ・ジェスチャなど、多様なマルチモーダルタスクを効率的にサポートする。 高品質なマルチモーダルトレーニングを実現するため,これまでで最大の統合マルチモーダルモーションデータセットであるOmniMoCap-Xを構築した。
  論文  参考訳（メタデータ） (2025-10-22T17:25:33Z)
• GAID: Frame-Level Gated Audio-Visual Integration with Directional Perturbation for Text-Video Retrieval [12.483734449829235]
  GAIDは、テキストガイダンスの下でオーディオと視覚機能を統合するフレームワークである。 DASPは、構造を意識した摂動をテキスト埋め込みに注入し、マルチパス推論を発生させることなく、堅牢性と差別性を高める。 MSR-VTT, DiDeMo, LSMDC, VATEXによる実験では, 顕著な効率向上が得られた。
  論文  参考訳（メタデータ） (2025-08-03T10:44:24Z)
• AlignDiT: Multimodal Aligned Diffusion Transformer for Synchronized Speech Generation [65.06374691172061]
  マルチモーダル・トゥ・音声タスクは、映画製作、ダビング、仮想アバターなど、幅広い応用によって注目を集めている。 既存の手法は、音声の了解性、音声とビデオの同期、音声の自然さ、および参照話者との音声類似性の制限に悩まされている。 本稿では,アライメントされたマルチモーダル入力から正確な,同期化,自然な音声を生成するマルチモーダルアラインド拡散変換器AlignDiTを提案する。
  論文  参考訳（メタデータ） (2025-04-29T10:56:24Z)
• AVadCLIP: Audio-Visual Collaboration for Robust Video Anomaly Detection [57.649223695021114]
  本稿では,ロバストなビデオ異常検出に音声と視覚の協調を利用する,弱教師付きフレームワークを提案する。 本フレームワークは,複数のベンチマークにおいて優れた性能を示し,オーディオ統合により異常検出精度が大幅に向上する。
  論文  参考訳（メタデータ） (2025-04-06T13:59:16Z)
• A Study of Dropout-Induced Modality Bias on Robustness to Missing Video Frames for Audio-Visual Speech Recognition [53.800937914403654]
  AVSR(Advanced Audio-Visual Speech Recognition)システムは、欠落したビデオフレームに敏感であることが観察されている。 ビデオモダリティにドロップアウト技術を適用することで、フレーム不足に対するロバスト性が向上する一方、完全なデータ入力を扱う場合、同時に性能損失が発生する。 本稿では,MDA-KD(Multimodal Distribution Approximation with Knowledge Distillation)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-07T06:06:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。