論文の概要: VideoSEG-O3: A Multi-turn Reinforcement Learning Framework for Reasoning Video Object Segmentation
- arxiv url: http://arxiv.org/abs/2606.06819v1
- Date: Fri, 05 Jun 2026 01:44:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-08 14:33:29.506526
- Title: VideoSEG-O3: A Multi-turn Reinforcement Learning Framework for Reasoning Video Object Segmentation
- Title（参考訳）: VideoSEG-O3: ビデオオブジェクトセグメンテーションを推論するマルチターン強化学習フレームワーク
- Abstract要約: Reasoning Video Object (RVOS) は時間力学、空間的詳細、言語的推論の洗練された統合を必要とする。
RVOSの最初のマルチターン強化学習フレームワークである textbfVideoSEG-O3 を提案する。
- 参考スコア（独自算出の注目度）: 38.77426504855051
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reasoning Video Object Segmentation (RVOS) demands a sophisticated integration of temporal dynamics, spatial details, and linguistic reasoning to achieve precise pixel-level localization. Existing methods are limited to reasoning over fixed initial inputs and lack the capacity to actively acquire further visual evidence, which is often essential for resolving complex references in long or intricate videos. To address this, we propose \textbf{VideoSEG-O3}, the first multi-turn reinforcement learning framework for RVOS that emulates the human \textit{``coarse-to-fine''} cognitive process. It employs a \textit{multi-turn temporal-spatial chain-of-thought} to capture fine-grained details by iteratively pinpointing critical intervals and keyframes. Additionally, to enable the policy to perceive segmentation quality beyond mere text probability of \texttt{[SEG]} during the RL stage, we introduce \textit{SEG-aware logit calibration}, which integrates pixel-wise segmentation feedback directly into the token-level logits. Furthermore, we design a \textit{decoupled thinking trace} to hierarchically decompose the reasoning process into temporal, spatial, and linguistic dimensions, and construct \textbf{VTS-CoT}, a specialized cold-start dataset featuring comprehensive reasoning trajectories. The code and models will be released at https://github.com/Dmmm1997/VideoSEG-O3.
- Abstract（参考訳）: Reasoning Video Object Segmentation (RVOS)は、正確なピクセルレベルのローカライゼーションを実現するために、時間的ダイナミクス、空間的詳細、言語的推論の洗練された統合を要求する。
既存の手法は、固定された初期入力の推論に限られており、より視覚的な証拠を積極的に取得する能力が欠如している。
そこで我々は,ヒトの「textit{``coarse-to-fine'」認知過程をエミュレートするRVOSのための,最初のマルチターン強化学習フレームワークである「textbf{VideoSEG-O3}」を提案する。
クリティカルインターバルとキーフレームを反復的にピンポイントすることで、きめ細かい詳細を捉えるために、‘textit{multi-turn temporal-spatial chain-of-thinkt’ を使用する。
さらに,RLの段階では,単にテキストの確率を超えるセグメンテーション品質を知覚するために,トークンレベルのロジットに直接画素単位のセグメンテーションフィードバックを組み込む「textit{SEG-aware logit calibration}」を導入する。
さらに,解析過程を時間的,空間的,言語的次元に階層的に分解する「textit{decoupled thinking trace}」を設計し,包括的な推論軌道を特徴とする特別な冷間開始データセットである「textbf{VTS-CoT}」を構築した。
コードとモデルはhttps://github.com/Dmmm1997/VideoSEG-O3.comで公開される。
関連論文リスト
- Smart-Insertion-V: Photorealistic Video Insertion via a Closed-Loop Feedback Dual-Stream Framework [52.477407591581176]
マスクのないビデオオブジェクト挿入は、ソースビデオへの参照オブジェクトの調和を要する、困難なタスクとして登場した。
ビデオ挿入と画像スタイル転送を同時に行う,エンドツーエンドのtextbfDual-Stream フレームワークである textittextbfSmart-Insertion-V を提案する。
論文 参考訳（メタデータ） (2026-05-22T17:54:54Z) - ToLL: Topological Layout Learning with Structural Multi-view Augmentation for 3D Scene Graph Pretraining [29.799719863247287]
3D Scene Graph (3DSG) 生成は空間的理解と意味認識において重要な役割を担っている。
現在のソリューションは主に、クロスモーダル支援表現学習とオブジェクト中心生成事前学習に焦点を当てている。
3DSG事前学習のためのトポロジカルレイアウト学習(ToLL)を提案する。
より詳しくは,GNNを用いたアンカー・コンディショントポロジカル・ジオメトリ・推論を設計し,空間的なアンカーからゼロ中心部分グラフのグローバルなレイアウトを復元する。
論文 参考訳（メタデータ） (2026-03-30T08:43:52Z) - VideoAtlas: Navigating Long-Form Video in Logarithmic Compute [3.705718227493618]
textbfVideoAtlasは、動画を階層的なグリッドとして表現するためのタスクに依存しない環境である。
階層構造により、アクセス深度はビデオ長と対数的にのみ増大する。
ビデオRLMは1時間から10時間に及ぶベンチマークのスケーリングにおいて、最小限の精度の劣化を伴う最も長い時間ロバストな方法である。
論文 参考訳（メタデータ） (2026-03-18T17:20:19Z) - Video Spatial Reasoning with Object-Centric 3D Rollout [58.12446467377404]
我々は,ロバストなビデオ空間推論を実現するために,OCR(Object-Centric 3D Rollout)を提案する。
OCRは、トレーニング中に選択した物体の3次元形状に構造的摂動を導入する。
OCRはモデルを補完し、全体にわたって論理的にソートする。
論文 参考訳（メタデータ） (2025-11-17T09:53:41Z) - Xiaoice: Training-Free Video Understanding via Self-Supervised Spatio-Temporal Clustering of Semantic Features [10.21556794551883]
本稿では,エンド・ツー・エンドのトレーニングを回避できる,ビデオ理解のための新しい学習自由フレームワークを提案する。
我々の中心となる考え方は、高次元の特徴空間内の自己監督的時間的クラスタリングとしての映像理解である。
このアプローチは、ビデオコンテンツのゼロショット、自動構造解析のための効果的、解釈可能、およびモデルに依存しない経路を提供する。
論文 参考訳（メタデータ） (2025-10-19T10:13:34Z) - MomentSeg: Moment-Centric Sampling for Enhanced Video Pixel Understanding [40.37010049965347]
Referring Video Object (RefVOS)は、自然言語記述でガイドされたビデオにターゲットオブジェクトをセグメント化しようとする。
本稿では,時空間接地(TSG)とRefVOSを協調的に最適化し,キーモーメント接地機能を自然に組み込んだ統合フレームワークを提案する。
論文 参考訳（メタデータ） (2025-10-10T11:18:21Z) - Temporal Prompting Matters: Rethinking Referring Video Object Segmentation [64.82333675385802]
Referring Video Object (RVOS) は、クエリ文によって参照されるオブジェクトをビデオにセグメントすることを目的としている。
既存のほとんどの方法は、密集したマスクアノテーションによるエンドツーエンドのトレーニングを必要とする。
本稿では,参照要因とビデオ要因に対処するテンポラル・プロンプト生成・選択(テネ)フレームワークを提案する。
論文 参考訳（メタデータ） (2025-10-08T17:59:57Z) - Deforming Videos to Masks: Flow Matching for Referring Video Segmentation [46.416906762916305]
FlowRVSは、RVOSを条件付き連続フロー問題として再認識する新しいフレームワークである。
我々は,映像の全体像からターゲットマスクへの直接的,言語誘導的な変形を学習することにより,タスクを再構築する。
我々の一段階の生成的アプローチは、主要なRVOSベンチマーク全体にわたって、新しい最先端の結果を達成する。
論文 参考訳（メタデータ） (2025-10-07T17:14:10Z) - Unleashing Hierarchical Reasoning: An LLM-Driven Framework for Training-Free Referring Video Object Segmentation [17.238084264485988]
Referring Video Object (RVOS) は、言語記述に基づいて、ビデオ全体を通して関心のあるオブジェクトをセグメントすることを目的としている。
bftextPARSE-VOSは、Large Language Models (LLMs)を利用したトレーニング不要のフレームワークである。
bftextPARSE-VOSは、Ref-YouTube-VOS、Ref-DAVIS17、MeViSの3つの主要なベンチマークで最先端のパフォーマンスを達成した。
論文 参考訳（メタデータ） (2025-09-06T15:46:23Z) - Hierarchical Temporal Context Learning for Camera-based Semantic Scene Completion [57.232688209606515]
カメラによるセマンティックシーンの補完を改善するための,新たな時間的文脈学習パラダイムであるHTCLを提案する。
提案手法は,Semantic KITTIベンチマークで1st$をランク付けし,mIoUの点でLiDARベースの手法を超えている。
論文 参考訳（メタデータ） (2024-07-02T09:11:17Z) - Constructing Holistic Spatio-Temporal Scene Graph for Video Semantic
Role Labeling [96.64607294592062]
Video Semantic Label Roleing (VidSRL)は、与えられたビデオから健全なイベントを検出することを目的としている。
近年、VidSRLの手法が提案されているが、2つの重要な欠点を負う可能性がある。
論文 参考訳（メタデータ） (2023-08-09T17:20:14Z) - Spatial-Temporal Correlation and Topology Learning for Person
Re-Identification in Videos [78.45050529204701]
クロススケール空間時空間相関をモデル化し, 識別的, 堅牢な表現を追求する新しい枠組みを提案する。
CTLはCNNバックボーンとキーポイント推定器を使用して人体から意味的局所的特徴を抽出する。
グローバルな文脈情報と人体の物理的接続の両方を考慮して、多スケールグラフを構築するためのコンテキスト強化トポロジーを探求する。
論文 参考訳（メタデータ） (2021-04-15T14:32:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。