論文の概要: Key-Frame Reasoning with SAM3: Third Place Solution for the MeViS-Text Track of the 8th LSVOS Challenge

• arxiv url: http://arxiv.org/abs/2608.17279v1
• Date: Tue, 18 Aug 2026 02:11:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.183577
• Title: Key-Frame Reasoning with SAM3: Third Place Solution for the MeViS-Text Track of the 8th LSVOS Challenge
• Title（参考訳）: SAM3によるキーフレーム推論 - 第8回LSVOSチャレンジのMeViSテキストトラックの第3位-
• Abstract要約: 本報告では,第8回SVOSチャレンジのMeViS-Textトラックに対して,2段階のトレーニングフリーソリューションを提案する。 このタスクは、ビデオ全体を通して自然言語表現によって指定されたオブジェクトをローカライズし、セグメンテーションするモデルを必要とする。 J&F, J, F, N-acc, T-acc, and Final scores of 0.761, 0.7367, 0.7852, 0.8333, 0.9755, 0.856593。
• 参考スコア（独自算出の注目度）: 15.751702557806595
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This report presents a two-stage, training-free solution for the MeViS-Text track of the 8th LSVOS Challenge. The task requires a model to localize and segment the object specified by a natural-language expression throughout a video. Such expressions often depend on temporal cues, including actions, interactions, directions, and relative positions. Our first stage uses Gemini-3.1 Pro via API to decompose a video-level event into instance-level targets, select a key frame for each target, and generate a discriminative description aligned with that frame. In the second stage, SAM3-agent produces a pixel-level seed mask on the selected frame, and the SAM3 video tracker propagates the mask bidirectionally through the video. Valid instances are grounded and propagated independently before their frame-wise masks are merged. All local SAM3 processing runs on a single NVIDIA GeForce RTX 4090 without task-specific training or model ensembling. Our method ranked third on the challenge test set, obtaining J&F, J, F, N-acc., T-acc., and Final scores of 0.761, 0.7367, 0.7852, 0.8333, 0.9755, and 0.856593, respectively.
• Abstract（参考訳）: 本報告では,第8回SVOSチャレンジのMeViS-Textトラックに対して,2段階のトレーニングフリーソリューションを提案する。 このタスクは、ビデオ全体を通して自然言語表現によって指定されたオブジェクトをローカライズし、セグメンテーションするモデルを必要とする。 このような表現はしばしば、行動、相互作用、方向、相対的な位置を含む時間的手がかりに依存する。 最初のステージでは、API経由でGemini-3.1 Proを使用して、ビデオレベルのイベントをインスタンスレベルのターゲットに分解し、ターゲット毎にキーフレームを選択し、そのフレームに沿って識別的な記述を生成する。 第2段階では、SAM3エージェントが選択したフレーム上に画素レベルのシードマスクを生成し、SAM3ビデオトラッカーがビデオを介して双方向にマスクを伝搬する。 有効なインスタンスは、フレームワイドマスクがマージされる前に独立して接地され、伝播する。 すべてのローカルSAM3処理は、単一のNVIDIA GeForce RTX 4090上で、タスク固有のトレーニングやモデルアンサンブルなしで実行される。 本手法は,J&F,J,F,N-accの3位にランクインした。 、T-acc。 761点、0.7367点、0.7852点、0.8333点、0.9755点、0.856593点である。

関連論文リスト

• Report of the 8th LSVOS Challenge: Complex and Multimodal Video Object Segmentation [123.08518673784818]
  本報告では,ECCV 2026とともに開催された第8回大規模ビデオオブジェクト(LSVOS)チャレンジを要約する。 この課題は、MOSEv2上の複雑な半教師付きビデオオブジェクトセグメンテーション、MeViSv2-Text上のテキスト誘導参照ビデオオブジェクトセグメンテーション、MeViSv2-Audioにおけるオーディオ誘導参照ビデオオブジェクトセグメンテーションの3つの相補的な設定でビデオセグメンテーションを評価する。
  論文  参考訳（メタデータ） (2026-09-05T13:11:38Z)
• Agreement-Based Audio-Visual Segmentation:Champion Report for the MeViS-Audio Track in the 8th LSVOS Challenge [46.49526425182438]
  Qwen3-ASRはまず音声をテキストに変換する。 我々は、他の候補者と平均的なマスク契約を持つトラックを選択する。 ビデオレベルの分類器は、視覚的、音声的、およびビデオ内クエリスコアを組み合わせて、どのターゲットが存在するかを決定する。
  論文  参考訳（メタデータ） (2026-08-10T11:43:31Z)
• The 1st Winner for 5th PVUW MeViS-Text Challenge: Strong MLLMs Meet SAM3 for Referring Video Object Segmentation [65.24213788883016]
  本報告では,第5回PVUW MeViS-Text Challengeの優勝ソリューションについて述べる。 私たちは、強力なマルチモーダルな大規模言語モデルとSAM3を組み合わせた、完全にトレーニング不要なパイプラインを構築しています。 我々の手法はPVUW 2026 MeViS-Textテストセットで第1位であり、最終スコアは0.909064、J&Fスコアは0.7897026である。
  論文  参考訳（メタデータ） (2026-04-01T02:42:30Z)
• SegEarth-OV3: Exploring SAM 3 for Open-Vocabulary Semantic Segmentation in Remote Sensing Images [51.42466259821335]
  我々は, SAM 3 をリモートセンシング OVSS タスクに適用するための予備的な検討を行った。 まず,SAM 3のセマンティックセグメンテーションヘッドとトランスフォーマーデコーダの出力を組み合わせたマスク融合戦略を実装した。 第2に、シーンに存在しないカテゴリをフィルタリングするために、プレゼンスヘッドからのプレゼンススコアを利用する。
  論文  参考訳（メタデータ） (2025-12-09T15:42:28Z)
• Evaluating SAM2 for Video Semantic Segmentation [60.157605818225186]
  Anything Model 2 (SAM2)は、画像とビデオの両方において、迅速な視覚オブジェクトのセグメンテーションのための強力な基盤モデルであることが証明されている。 本稿では, SAM2 から高密度ビデオセマンティック (VSS) への拡張について検討する。 我々の実験は、SAM2を利用することでVSSの全体的な性能が向上することを示唆している。
  論文  参考訳（メタデータ） (2025-12-01T15:15:16Z)
• SAMITE: Position Prompted SAM2 with Calibrated Memory for Visual Object Tracking [58.35852822355312]
  Visual Object Tracking (VOT)は、ビデオ内のターゲットを継続的に追跡する自律運転のようなアプリケーションで広く使われている。 これらの問題に対処するために、ビデオ基盤モデルSAM2をVOTに適用し、各フレームの追跡結果をメモリとして符号化し、残りのフレームを自己回帰的に条件付けする手法を提案する。 これらの課題に対処するために,SAM2 上にモジュールを追加して構築した SAMITE モデルを提案する。
  論文  参考訳（メタデータ） (2025-07-29T12:11:56Z)
• The Instance-centric Transformer for the RVOS Track of LSVOS Challenge: 3rd Place Solution [9.282159019651433]
  2つのインスタンス中心モデルを構築し、フレームレベルとインスタンスレベルの予測結果を融合する。 検証段階では52.67 J&F, 試験段階では60.36 J&F, 第6回 LSVOS Challenge RVOS Track では3位となった。
  論文  参考訳（メタデータ） (2024-08-20T04:45:13Z)
• SAM-PD: How Far Can SAM Take Us in Tracking and Segmenting Anything in Videos by Prompt Denoising [37.216493829454706]
  ビデオ中のオブジェクトの追跡とセグメンテーションにセグメンション・任意のモデルを適用する可能性について検討する。 具体的には、次のフレームのプロンプトとして、前フレーム内の各オブジェクトのマスクのバウンディングボックスを反復的に伝播する。 そこで本研究では,SAMの位置と大きさの変動に対する認知能力を高めるために,マルチプロンプト戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-07T03:52:59Z)
• SAMPro3D: Locating SAM Prompts in 3D for Zero-Shot Instance Segmentation [24.733049281032272]
  3DシーンのゼロショットインスタンスセグメンテーションにSAMPro3Dを導入する。 提案手法は,2次元フレームに事前訓練されたセグメンション任意のモデル(SAM)を適用することで,3次元インスタンスをセグメント化する。 提案手法は,従来のゼロショットや完全教師付きアプローチと比較して,同等あるいは優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-11-29T15:11:03Z)
• Segment Anything Meets Point Tracking [116.44931239508578]
  本稿では,SAMと長期点追跡を併用した,ポイント中心の対話型ビデオセグメンテーションの新たな手法を提案する。 ゼロショットオープンワールドUnidentified Video Objects(UVO)ベンチマークで直接評価することで,ポイントベーストラッキングのメリットを強調した。 DAVIS, YouTube-VOS, BDD100Kなどの人気ビデオオブジェクトのセグメンテーションと多目的セグメンテーションのベンチマーク実験により, ポイントベースセグメンテーショントラッカーがより優れたゼロショット性能と効率的なインタラクションをもたらすことが示唆された。
  論文  参考訳（メタデータ） (2023-07-03T17:58:01Z)
• 3rd Place Solution for PVUW2023 VSS Track: A Large Model for Semantic Segmentation on VSPW [68.56017675820897]
  本稿では,PVUW2023 VSSトラックの3位解について紹介する。 ビデオセマンティックセグメンテーションの課題を解決するために,様々な画像レベルの視覚的バックボーンとセグメンテーションヘッドを探索した。
  論文  参考訳（メタデータ） (2023-06-04T07:50:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。