論文の概要: ATLAS: Learning to Adapt LVLM Attention for Reasoning Video Segmentation

• arxiv url: http://arxiv.org/abs/2610.24783v1
• Date: Sat, 17 Oct 2026 17:03:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-22 16:19:37.807313
• Title: ATLAS: Learning to Adapt LVLM Attention for Reasoning Video Segmentation
• Title（参考訳）: ATLAS:ビデオセグメンテーションにLVLMアテンションを適応させる学習
• Abstract要約: ATLASは、生のLVLMアテンションをオブジェクト中心のローカライゼーションキューに変換することを学ぶアテンション適応フレームワークである。 時間的注意とFiLMに基づく変調を備えた軽量なU-Netは、これらの相補表現を融合させ、粗いセグメンテーション熱マップを生成する。 ビデオセグメンテーションベンチマークの参照と推論に挑戦する実験は、ATLASが既存のフリーズバックボーン法より優れていることを示している。
• 参考スコア（独自算出の注目度）: 13.731294766288784
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reasoning Video Object Segmentation (RVOS) aims to localize and segment objects referred to by natural-language expressions throughout a video. Although large vision-language models (LVLMs) implicitly encode localization cues in their attention maps, these attentions are often noisy, diffuse, and scattered across layers, heads, and modalities, limiting their direct use for segmentation. Existing methods typically rely on handcrafted attention-selection heuristics or computationally expensive attention refinement. We propose ATLAS, an attention adaptation framework that learns to transform raw LVLM attentions into object-centric localization cues. ATLAS treats attentions from all layers, heads, and modalities as structured features, combining high-resolution frame-level attentions that capture spatial information with low-resolution video-level attentions that encode temporal context. A lightweight U-Net equipped with temporal attention and FiLM-based modulation fuses these complementary representations to generate coarse segmentation heatmaps, which are propagated across the video using SAM2. Extensive experiments on challenging referring and reasoning video segmentation benchmarks show that ATLAS outperforms existing frozen-backbone methods. Code and models are available at \url{https://hamidreza-136.github.io/atlas/}.
• Abstract（参考訳）: Reasoning Video Object Segmentation (RVOS)は、ビデオ全体を通して自然言語表現によって参照されるオブジェクトのローカライズとセグメンテーションを目的としている。 大きな視覚言語モデル(LVLM)は、注意マップの局所化キューを暗黙的に符号化するが、これらの注意は、しばしばうるさい、拡散し、層、頭、モダリティに分散し、セグメンテーションの直接的な使用を制限する。 既存の手法は通常、手作りの注意選択ヒューリスティックや計算に高価な注意改善に依存している。 我々は,LVLMの注目をオブジェクト中心のローカライゼーションキューに変換するためのアテンション適応フレームワークであるATLASを提案する。 ATLASは、すべてのレイヤ、ヘッド、モダリティからの注意を構造化された特徴として扱い、空間情報をキャプチャする高解像度のフレームレベルの注意と、時間文脈をエンコードする低解像度のビデオレベルの注意を組み合わせる。 時間的注意とFiLMに基づく変調を備えた軽量なU-Netは、これらの相補表現を融合させ、SAM2を用いてビデオ中に伝播する粗いセグメンテーション熱マップを生成する。 ビデオセグメンテーションベンチマークの参照と推論に関する大規模な実験により、ATLASは既存のフリーズバックボーン法よりも優れていることが示された。 コードとモデルは \url{https://hamidreza-136.github.io/atlas/} で公開されている。

関連論文リスト

• Training-Free Open-Vocabulary Visual Grounding for Remote Sensing Images and Videos [52.516842108549135]
  リモートセンシングビジュアルグラウンドティングは、自然言語表現に従って、参照対象をリモートセンシング画像やビデオにローカライズすることを目的としている。 既存のRSVGメソッドは通常、タスク固有の手動アノテーションに依存しており、実際の地理空間シナリオの多様性をカバーするのにコストがかかり、必然的に制限される。 RSVGZeroOV は,ゼロショットオープン語彙 RSVG のフリージェネリック基盤モデルを利用する学習自由フレームワークである。
  論文  参考訳（メタデータ） (2026-06-15T02:31:32Z)
• SteerSeg: Attention Steering for Reasoning Video Segmentation [15.05328473013055]
  ビデオセグメンテーションは、しばしば空間的推論と暗黙的な参照を含む自然言語表現からビデオフレームをまたいだオブジェクトをローカライズする必要がある。 近年のアプローチでは、注意マップを抽出し、それらをセグメント化のための空間的先行情報として利用することにより、凍結した大規模視覚言語モデル(LVLM)を活用する。 我々はSteerSegという軽量なフレームワークを紹介し、注意欠陥を注意ベースグラウンドにおける重要なボトルネックとして認識する。
  論文  参考訳（メタデータ） (2026-05-14T14:42:15Z)
• From Drop-off to Recovery: A Mechanistic Analysis of Segmentation in MLLMs [50.185593677108436]
  マルチモーダル大言語モデル(MLLM)は、ピクセルレベルの視覚タスクにますます適用されているが、空間的理解の本質的な能力は理解されていない。 本稿では,MLLMパイプライン全体(ビジョンエンコーダ,アダプタ,LSM)の階層的線形探索によるセグメント化能力について検討する。
  論文  参考訳（メタデータ） (2026-03-18T00:22:15Z)
• Decomposed Attention Fusion in MLLMs for Training-Free Video Reasoning Segmentation [31.448022100834823]
  本稿では,2つのメカニズムを通じて注意マップを改良するDecomposed Attention Fusion (DecAF)を提案する。 この方法は、無関係なアクティベーションを抑制し、オブジェクト中心のキューを強化し、アテンションマップを粗いセグメンテーションマスクへ直接変換する。 DecAFはトレーニングフリーのメソッドより優れており、VOSベンチマークの参照と推論の両方でトレーニングベースのメソッドに匹敵するパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-10-22T13:42:59Z)
• Aligning Effective Tokens with Video Anomaly in Large Language Models [42.99603812716817]
  本稿では,様々なビデオにおける異常事象の要約と局所化を目的とした新しいMLLMであるVA-GPTを提案する。 提案手法は,視覚エンコーダとLCM間の有効トークンを2つの重要なモジュールを通して効率的に整列する。 本研究では,ビデオアノマ対応MLLMの微調整のための命令追従データセットを構築した。
  論文  参考訳（メタデータ） (2025-08-08T14:30:05Z)
• Open-Vocabulary Camouflaged Object Segmentation with Cascaded Vision Language Models [35.947354809849166]
  Open-Vocabulary Camouflaged Objectは、任意のカテゴリからカモフラージュされたオブジェクトを分類し分類しようとする。 最近のアプローチでは一般的に2段階のパラダイムが採用されている。 本稿では,OVCOSにおけるこれらの問題に対処する新しいVLM誘導型ケースドフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-24T04:16:41Z)
• Structured Video-Language Modeling with Temporal Grouping and Spatial Grounding [112.3913646778859]
  簡単なビデオ言語モデリングフレームワークであるS-ViLMを提案する。 これには、学習領域オブジェクトのアライメントと時間認識機能を促進するために、クリップ間の空間的接地と、クリップ内の時間的グループ化という、2つの新しい設計が含まれている。 S-ViLMは4つの下流タスクにおいて、最先端の手法を大幅に超えている。
  論文  参考訳（メタデータ） (2023-03-28T22:45:07Z)
• Attention in Attention: Modeling Context Correlation for Efficient Video Classification [47.938500236792244]
  本稿では,注目度向上のためのAIA手法を提案する。 ビデオ特徴コンテキストを,グローバル平均およびプール操作を伴う特定の軸に沿って集約されたダイナミックスとしてインスタンス化する。 注意ユニット内の全ての計算処理は、プール化された次元に作用し、計算コストの増大は極めて少ない。
  論文  参考訳（メタデータ） (2022-04-20T08:37:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。