論文の概要: SteerSeg: Attention Steering for Reasoning Video Segmentation

• arxiv url: http://arxiv.org/abs/2605.14908v1
• Date: Thu, 14 May 2026 14:42:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.885948
• Title: SteerSeg: Attention Steering for Reasoning Video Segmentation
• Title（参考訳）: SteerSeg:ビデオセグメンテーションをリアクションするアテンションステアリング
• Authors: Ali Cheraghian, Hamidreza Dastmalchi, Abdelwahed Khamis, Morteza Saberi, Aijun An, Lars Petersson,
• Abstract要約: ビデオセグメンテーションは、しばしば空間的推論と暗黙的な参照を含む自然言語表現からビデオフレームをまたいだオブジェクトをローカライズする必要がある。 近年のアプローチでは、注意マップを抽出し、それらをセグメント化のための空間的先行情報として利用することにより、凍結した大規模視覚言語モデル(LVLM)を活用する。 我々はSteerSegという軽量なフレームワークを紹介し、注意欠陥を注意ベースグラウンドにおける重要なボトルネックとして認識する。
• 参考スコア（独自算出の注目度）: 15.05328473013055
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video reasoning segmentation requires localizing objects across video frames from natural language expressions, often involving spatial reasoning and implicit references. Recent approaches leverage frozen large vision-language models (LVLMs) by extracting attention maps and using them as spatial priors for segmentation, enabling training-free grounding. However, these attention maps are optimized for text generation rather than spatial localization, often resulting in diffuse and ambiguous grounding signals. In this work, we introduce SteerSeg, a lightweight framework that identifies attention misalignment as the key bottleneck in attention-based grounding and proposes to steer attention at its source through input-level conditioning. SteerSeg combines learnable soft prompts with reasoning-guided Chain-of-Thought (CoT) prompting. The soft prompts reshape the attention distribution to produce more spatially concentrated maps, while CoT-derived attributes resolve ambiguity among similar objects by guiding attention toward the correct instance. The resulting attention maps are converted into point prompts across keyframes to guide a segmentation model, while candidate tracklets are ranked and selected using correlation-based scoring. Our approach freezes the LVLM and segmentation model parameters and learns only a small set of soft prompts, preserving the model's pretrained reasoning capabilities while significantly improving grounding. Despite being trained only on Ref-YouTube-VOS, SteerSeg generalizes well across diverse benchmarks, significantly improving the spatial grounding capability of LVLMs. Project page: https://steerseg.github.io
• Abstract（参考訳）: ビデオ推論セグメンテーションは、しばしば空間的推論と暗黙的な参照を含む自然言語表現からビデオフレームをまたいだオブジェクトをローカライズする必要がある。 近年のアプローチでは、注意マップを抽出し、それらをセグメント化の空間的先行として利用することにより、凍結した大規模視覚言語モデル(LVLM)を活用することで、トレーニング不要なグラウンド化を実現している。 しかし、これらのアテンションマップは空間的局所化よりもテキスト生成に最適化されており、しばしば拡散と曖昧な接地信号をもたらす。 本稿では,注目に基づくグラウンドニングにおける重要なボトルネックとして,注意ミスアライメントを識別する軽量フレームワークであるSteerSegを紹介し,入力レベルのコンディショニングを通じて,そのソースに注意を向けることを提案する。 SteerSegは学習可能なソフトプロンプトと推論誘導型Chain-of-Thought(CoT)プロンプトを組み合わせる。 ソフトプロンプトは、より空間集中した地図を生成するために、注意分布を再形成する一方、CoT由来の属性は、正しいインスタンスに注意を向けることで、類似したオブジェクト間のあいまいさを解消する。 得られたアテンションマップをキーフレーム全体でポイントプロンプトに変換してセグメンテーションモデルを導出する一方、候補トラックレットは相関に基づくスコアリングによってランク付けされ、選択される。 提案手法はLVLMとセグメンテーションモデルパラメータを凍結し,少量のソフトプロンプトのみを学習し,事前学習した推論能力を保ちながらグラウンド化を大幅に改善する。 SteerSegはRef-YouTube-VOSでしか訓練されていないが、様々なベンチマークでよく一般化されており、LVLMの空間グラウンド機能を大幅に改善している。 プロジェクトページ: https://steerseg.github.io

関連論文リスト

• Compositional Video Generation via Inference-Time Guidance [69.53614395025632]
  テキストからビデオへの拡散モデルは、しばしば構成的理解を必要とするプロンプトで失敗する。 凍結したテキスト・ビデオモデルにおける合成忠実度を改善するための推定時間誘導法であるtextbfCVG を提案する。
  論文  参考訳（メタデータ） (2026-05-14T15:50:25Z)
• Bridging Semantics and Geometry: A Decoupled LVLM-SAM Framework for Reasoning Segmentation in Remote Sensing [8.731693840957716]
  Think2Seg-RSはLVLMプロンプトをトレーニングし、構造化された幾何学的プロンプトを介して凍ったセグメンション・アプライシング・モデル(SAM)を制御するフレームワークである。 このフレームワークは、EarthReasonデータセット上で最先端のパフォーマンスを達成する。 コンパクトセグメンタは、意味レベルの監督の下でより大きなセグメンタより優れており、異種空中背景において負のプロンプトは効果がない。
  論文  参考訳（メタデータ） (2025-12-22T11:46:42Z)
• MomentSeg: Moment-Centric Sampling for Enhanced Video Pixel Understanding [40.37010049965347]
  Referring Video Object (RefVOS)は、自然言語記述でガイドされたビデオにターゲットオブジェクトをセグメント化しようとする。 本稿では,時空間接地(TSG)とRefVOSを協調的に最適化し,キーモーメント接地機能を自然に組み込んだ統合フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-10T11:18:21Z)
• RefAM: Attention Magnets for Zero-Shot Referral Segmentation [103.98022860792504]
  本稿では,下流タスクの拡散変換器から特徴,注意点を活用できる新しい手法を提案する。 重要な洞察は、停止語は注意磁石として機能するということだ。 停止語を付加した背景アクティベーションを小さなクラスタに分割するアテンション再分配戦略を提案する。
  論文  参考訳（メタデータ） (2025-09-26T17:59:57Z)
• TAG: A Simple Yet Effective Temporal-Aware Approach for Zero-Shot Video Temporal Grounding [12.57589714067771]
  Video Temporal Groundingは、与えられた自然言語クエリに基づいて、関連するビデオセグメントを抽出することを目的としている。 従来のアプローチでは、同じ意味論を共有する時間的に連続したフレームが複数のセグメントに分割されるセマンティックな断片化に悩まされていた。 本稿では、時間プーリング、時間的コヒーレンスクラスタリング、類似度調整を取り入れた、ゼロショットビデオ時間的グラウンディングのための、シンプルで効果的な時間的認識アプローチを提案する。
  論文  参考訳（メタデータ） (2025-08-11T12:38:46Z)
• Why Is Spatial Reasoning Hard for VLMs? An Attention Mechanism Perspective on Focus Areas [69.56484419619919]
  機械的解釈可能性のレンズによる空間的推論の課題について検討する。 空間的推論の成功は、実際の物体の位置と注意を一致させるモデルの能力と強く相関している。 本研究の目的は,ADAPTVISを用いて,信頼性の高い地域への注意を喚起することである。
  論文  参考訳（メタデータ） (2025-03-03T17:57:03Z)
• Location-Aware Self-Supervised Transformers [74.76585889813207]
  画像部品の相対的な位置を予測し,セマンティックセグメンテーションのためのネットワークを事前訓練する。 参照パッチのサブセットを問合せのサブセットにマスキングすることで,タスクの難しさを制御します。 実験により,この位置認識事前学習が,いくつかの難解なセマンティックセグメンテーションベンチマークに競合する表現をもたらすことが示された。
  論文  参考訳（メタデータ） (2022-12-05T16:24:29Z)
• PGL: Prior-Guided Local Self-supervised Learning for 3D Medical Image Segmentation [87.50205728818601]
  本稿では,潜在特徴空間における局所的一貫性を学習するPGL(PresideedGuided Local)自己教師モデルを提案する。 我々のPGLモデルは、局所領域の特異な表現を学習し、したがって構造情報を保持できる。
  論文  参考訳（メタデータ） (2020-11-25T11:03:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。