論文の概要: FeVOS: Foresight Expression Video Object Segmentation

• arxiv url: http://arxiv.org/abs/2606.25585v1
• Date: Wed, 24 Jun 2026 08:56:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.284693
• Title: FeVOS: Foresight Expression Video Object Segmentation
• Title（参考訳）: FeVOS: Foresight Expression Video Object Segmentation
• Abstract要約: Video Objectタスクは、観察されたフレーム内の関連するオブジェクトのイベント、アクション、外観を記述する表現に焦点を当てる。 本稿では,今後のビデオセグメントにおける将来のイベントを視覚的回答としてクエリするビデオオブジェクトフレームを参考に,Foresight Expressionを提案する。 FeVOSは968のビデオクリップ、14,525の式、および2,904の連鎖アノテーションを備えたデータセットである。 FeVOS-1は、教師付き微調整と学習の2段階パイプラインを通じて、データセット上でトレーニングされた明示的なMLLMベースのモデルである。
• 参考スコア（独自算出の注目度）: 46.1622421004227
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing Referring Video Object Segmentation tasks focus on referring expressions describing events, actions or appearances of relevant objects within the observed frames, lacking evaluation in scenarios that require pre-decisive spatio-temporal reasoning, thereby limiting their applicability. To address this, we propose Foresight Expression Video Object Segmentation, a task that queries future events in upcoming video segments and requires masks of the objects in the observed frames as visual answers. For example, in ego-centric scenes, the question "What tool will be used?" demands reasoning over spatio-temporal cues to predict the masks of the next tool to be used, which helps with the understanding of future actions and decisions. To support this task, we introduce FeVOS, a dataset with 968 video clips, 14,525 foresight expressions, and 2,904 chain-of-thought annotations to provide explicit and interpretable reasoning steps. We further develop FeVOS-R1, an MLLM-based model trained on our dataset via a two-stage pipeline of supervised fine-tuning and reinforcement learning. FeVOS-R1 not only achieves state-of-the-art performance on FeVOS, but also demonstrates strong generalization to existing RVOS benchmarks. We hope this work can inspire more research on predictive reasoning in video perception.
• Abstract（参考訳）: 既存のビデオオブジェクトセグメンテーションタスクは、観察されたフレーム内のイベント、アクション、または関連するオブジェクトの外観を記述する表現を参照することに焦点を当てており、事前決定的な時空間推論を必要とするシナリオでの評価が欠如しているため、適用性が制限される。 そこで本稿では,今後のビデオセグメントにおけるイベントを検索するタスクであるForesight Expression Video Object Segmentationを提案する。 例えば、エゴ中心のシーンでは、「どのツールが使われるのか?」という質問は、次のツールのマスクを予測するために時空間的な手がかりを推論することを要求し、将来の行動や決定を理解するのに役立つ。 このタスクをサポートするために、968のビデオクリップ、14,525の予測式、および2,904のチェーン・オブ・シントアノテーションを備えたデータセットであるFeVOSを導入し、明示的で解釈可能な推論手順を提供する。 MLLMベースのモデルであるFeVOS-R1は、教師付き微調整および強化学習の2段階パイプラインを通じて、私たちのデータセット上でトレーニングされたモデルである。 FeVOS-R1 は FeVOS の最先端性能を達成するだけでなく、既存の RVOS ベンチマークへの強力な一般化も示している。 この研究が、ビデオ知覚における予測推論に関するさらなる研究を促すことを願っている。

関連論文リスト

• Temporal Prompting Matters: Rethinking Referring Video Object Segmentation [64.82333675385802]
  Referring Video Object (RVOS) は、クエリ文によって参照されるオブジェクトをビデオにセグメントすることを目的としている。 既存のほとんどの方法は、密集したマスクアノテーションによるエンドツーエンドのトレーニングを必要とする。 本稿では,参照要因とビデオ要因に対処するテンポラル・プロンプト生成・選択(テネ)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-08T17:59:57Z)
• Object-centric Video Question Answering with Visual Grounding and Referring [43.963739052764595]
  我々は、ビデオ推論タスクにおいて、入力参照と出力のグラウンド化の両方を実行することができるビデオLLMモデルを提案する。 また、ビデオ内の残りのフレームに対して、任意の時間スタンプで任意の視覚的プロンプト入力を伝搬する新しいアプローチであるSTOMを提案する。 我々は、ビデオ質問応答やオブジェクトセグメンテーションを参照しながら、VideoInferや他の既存のベンチマークに関する包括的な実験を行う。
  論文  参考訳（メタデータ） (2025-07-25T18:11:23Z)
• ReferDINO: Referring Video Object Segmentation with Visual Grounding Foundations [33.74746234704817]
  ビデオオブジェクトセグメンテーション(RVOS)は、テキスト記述に基づいて、ビデオ全体を通してターゲットオブジェクトをセグメンテーションすることを目的としている。 これは、深い視覚レベルの理解、ピクセルレベルの高密度な予測、時間的推論を含むため、難しい。 基礎的な視覚基盤モデルから領域レベルの視覚テキストアライメントを継承するbfReferDINO RVOSを提案する。
  論文  参考訳（メタデータ） (2025-01-24T16:24:15Z)
• Object-Centric Temporal Consistency via Conditional Autoregressive Inductive Biases [69.46487306858789]
  Conditional Autoregressive Slot Attention (CA-SA) は、ビデオ中心の視覚タスクにおいて抽出されたオブジェクト中心の表現の時間的一貫性を高めるフレームワークである。 本稿では,提案手法が下流タスクのベースラインよりも優れていることを示す定性的,定量的な結果を示す。
  論文  参考訳（メタデータ） (2024-10-21T07:44:44Z)
• Appearance-Based Refinement for Object-Centric Motion Segmentation [85.2426540999329]
  本稿では,ビデオストリームの時間的一貫性を利用して,不正確なフローベース提案を補正する外観に基づく改善手法を提案する。 提案手法では,高精度なフロー予測マスクを模範として,シーケンスレベルの選択機構を用いる。 パフォーマンスは、DAVIS、YouTube、SegTrackv2、FBMS-59など、複数のビデオセグメンテーションベンチマークで評価されている。
  論文  参考訳（メタデータ） (2023-12-18T18:59:51Z)
• Object-centric Video Representation for Long-term Action Anticipation [33.115854386196126]
  主な動機は、オブジェクトが人間とオブジェクトの相互作用を認識し予測するための重要な手がかりを提供することである。 我々は、視覚言語事前学習モデルを利用して、オブジェクト中心のビデオ表現を構築することを提案する。 人間と物体の相互作用を認識し予測するために、Transformerベースのニューラルアーキテクチャを用いる。
  論文  参考訳（メタデータ） (2023-10-31T22:54:31Z)
• Let's Think Frame by Frame with VIP: A Video Infilling and Prediction Dataset for Evaluating Video Chain-of-Thought [62.619076257298204]
  我々は、少数のビデオ推論のシーケンシャルな理解として、フレーミングビデオ推論を動機付けている。 VIPは、ビデオチェーンオブ思考を通してモデルの推論能力を調べるために設計された、推論時の課題データセットである。 我々は、VIP上でGPT-4、GPT-3、VICUNAをベンチマークし、複雑なビデオ推論タスクのパフォーマンスギャップを実証し、今後の作業を促進する。
  論文  参考訳（メタデータ） (2023-05-23T10:26:42Z)
• Jointly Visual- and Semantic-Aware Graph Memory Networks for Temporal Sentence Localization in Videos [67.12603318660689]
  階層型ビジュアル・セマンティック・アウェア推論ネットワーク(HVSARN)を提案する。 HVSARNは、オブジェクトレベルからフレームレベルへの視覚的および意味論的クエリ推論を可能にする。 3つのデータセットの実験では、HVSARNが新しい最先端のパフォーマンスを達成することが示されています。
  論文  参考訳（メタデータ） (2023-03-02T08:00:22Z)
• STOA-VLP: Spatial-Temporal Modeling of Object and Action for Video-Language Pre-training [30.16501510589718]
  本研究では,空間的・時間的次元にまたがる対象情報と行動情報を協調的にモデル化する事前学習フレームワークを提案する。 我々は,ビデオ言語モデルの事前学習プロセスに,両方の情報をよりうまく組み込むための2つの補助タスクを設計する。
  論文  参考訳（メタデータ） (2023-02-20T03:13:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。