論文の概要: OPERA: A Unified Omnimodal Progressive Spatio-Temporal Reasoning Agent for Referring Video Segmentation
- arxiv url: http://arxiv.org/abs/2609.33338v1
- Date: Sun, 27 Sep 2026 08:10:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 01:03:13.377898
- Title: OPERA: A Unified Omnimodal Progressive Spatio-Temporal Reasoning Agent for Referring Video Segmentation
- Title（参考訳）: OPERA:ビデオセグメンテーション参照のための一元的プログレッシブ時空間推論エージェント
- Abstract要約: OPERAは1つのML上に構築された統合推論エージェントで、3つの特別な段階を通して2時間軸進行を行う。
時間軸に沿って、テンポラル推論エージェントは、粗大なフィルタリングを通じて検索フレーム空間を狭め、最も情報性の高いキーフレームを識別する。
空間に沿って蒸留剤がクロスモーダルなセマンティック蒸留によって何を見つけるかを確立し、GRPOで強化された接地剤がターゲットの出現場所を決定する。
- 参考スコア（独自算出の注目度）: 42.232338144025995
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Referring video segmentation with heterogeneous multimodal queries---spanning text, audio, and reference images---demands both robust cross-modal understanding and precise spatio-temporal reasoning. We propose OPERA (Omnimodal Progressive spatio-tEmporal Reasoning Agent), a unified reasoning agent built on a single MLLM that performs dual-axis progressive reasoning via three specialized stages. Along the temporal axis, a Temporal Reasoning Agent narrows the frame search space through coarse-to-fine filtering to identify the most informative key frame. Along the spatial axis, a Distillation Agent establishes what to locate via cross-modal semantic distillation, and a Grounding Agent enhanced with GRPO determines where the target appears, with dense mask propagation completing the pixel-level output. OPERA sets a new state of the art on OmniAVS and Ref-AVS and transfers zero-shot to standard referring video segmentation benchmarks.
- Abstract（参考訳）: ビデオセグメンテーションをヘテロジニアスなマルチモーダルクエリー、テキスト、オーディオ、参照画像ーを参照すると、堅牢なクロスモーダル理解と正確な時空間推論の両方が要求される。
OPERA(Omnimodal Progressive Spatio-tEmporal Reasoning Agent, OPERA)は, MLLMを1つのMLLM上に構築した2軸プログレッシブ推論エージェントである。
時間軸に沿って、テンポラル推論エージェントは、粗大なフィルタリングを通じてフレーム検索空間を狭め、最も情報性の高いキーフレームを識別する。
空間軸に沿って、蒸留剤は、クロスモーダルなセマンティック蒸留により何を見つけるかを確立し、GRPOで強化された接地剤は、画素レベルの出力を完了した濃密なマスク伝搬により、ターゲットがどこに現れるかを決定する。
OPERAはOmniAVSとRef-AVSに新たな最先端技術を設定し、ゼロショットを標準参照ビデオセグメンテーションベンチマークに転送する。
関連論文リスト
- DRAgent: Discriminative Reasoning Agent for Referring Expression Segmentation [0.0]
DRAgentはMLLMによるReferring Expressionの差別的推論フレームワークである。
DRAgentはRefCOCO、RefCOCO+、RefCOCOgで競争力を発揮する。
論文 参考訳（メタデータ） (2026-08-24T07:18:38Z) - RCoT-Seg: Reinforced Chain-of-Thought for Video Reasoning and Segmentation [48.30592530624143]
Video Reasoningは、人間の意図と時間的ロジックを伝える暗黙の指示に基づいて、対象のオブジェクトをビデオに分割することを目的としている。
既存のMLLMベースの手法では,単純なサンプリングや補助MLLMを用いてフレームを選択した後,[SEG]トークンでマスクを予測する。
RCoT-SegはVRSを時間的ビデオ(TVR)と目標知覚(KTP)に分解するビデオ・オブ・思想のフレームワークである。
論文 参考訳（メタデータ） (2026-05-08T06:39:53Z) - VIRST: Video-Instructed Reasoning Assistant for SpatioTemporal Segmentation [6.447274127678917]
Video Video Object (RVOS) は、自然言語による記述に基づいて、対象物をビデオに分割することを目的としている。
VIRST(Video-Instructed Reasoning Assistant for Spatio-Temporal)は,グローバルなビデオ推論と画素レベルのマスク予測を単一のモデルで統合するエンドツーエンドフレームワークである。
論文 参考訳（メタデータ） (2026-03-28T00:34:15Z) - AgentRVOS: Reasoning over Object Tracks for Zero-Shot Referring Video Object Segmentation [37.67402969516464]
Video Object(RVOS)は、自然言語クエリが与えられたビデオ全体を通じて対象オブジェクトをセグメントすることを目的としている。
そこで本研究では,SAM3とMLLMの相補的な長所をベースとした,トレーニング不要なエージェントパイプラインであるAgentOSを提案する。
論文 参考訳（メタデータ） (2026-03-24T17:55:17Z) - Think Before You Segment: An Object-aware Reasoning Agent for Referring Audio-Visual Segmentation [61.37076111486196]
Ref-AVSは、対象のオブジェクトを所定の参照表現に基づいて可聴ビデオに分割することを目的としている。
本稿では,タスクをThink-Ground-Segmentプロセスに分解するTGS-Agentを提案する。
Ref-Thinkerはマルチモーダル言語モデルであり、テキスト、視覚、聴覚の手がかりを推論することができる。
論文 参考訳（メタデータ） (2025-08-06T13:05:09Z) - VideoMolmo: Spatio-Temporal Grounding Meets Pointing [66.19964563104385]
VideoMolmoは、ビデオシーケンスのきめ細かいポインティングに適したモデルだ。
新しい仮面融合はSAM2を双方向の点伝播に用いている。
The generalization of VideoMolmo, we introduced VPoMolS-temporal, a challenge out-of-distribution benchmark across two real-world scenarios。
論文 参考訳（メタデータ） (2025-06-05T17:59:29Z) - The Devil is in Temporal Token: High Quality Video Reasoning Segmentation [68.33080352141653]
ビデオ推論の方法は、ビデオ内のオブジェクトを表現するために単一の特別なトークンに大きく依存する。
エンドツーエンドの動画推論セグメンテーション手法であるVRS-HQを提案する。
提案手法の強い時間的推論とセグメンテーション能力について検討した。
論文 参考訳（メタデータ） (2025-01-15T03:17:24Z) - AgMTR: Agent Mining Transformer for Few-shot Segmentation in Remote Sensing [12.91626624625134]
Few-shot (FSS) は、関心のあるオブジェクトを少数のラベル付きサンプル(つまりサポートイメージ)でクエリイメージに分割することを目的としている。
以前のスキームでは、サポートクエリのピクセルペア間の類似性を利用して、ピクセルレベルのセマンティックな相関を構築していた。
極端にクラス内変異や乱雑な背景を持つリモートセンシングシナリオでは、そのようなピクセルレベルの相関が大きなミスマッチを引き起こす可能性がある。
本稿では,エージェントレベルの意味的相関を構築するために,一組の局所認識エージェントを適応的にマイニングする新しいエージェントマイニングトランス (AgMTR) を提案する。
論文 参考訳（メタデータ） (2024-09-26T01:12:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。