論文の概要: Shift-Aware Identity-Guided Latent Refinement for Referring Audio--Visual Segmentation

• arxiv url: http://arxiv.org/abs/2610.12783v1
• Date: Thu, 08 Oct 2026 22:39:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.308509
• Title: Shift-Aware Identity-Guided Latent Refinement for Referring Audio--Visual Segmentation
• Title（参考訳）: シフト・アウェア・アイデンティティ誘導型オーディオ・ビジュアル・セグメンテーションのための潜時リファインメント
• Abstract要約: Ref-AVSは視覚、音声、言語をまたいだ細粒な三モーダル相互作用を必要とする。 現在のメソッドは、ターゲットシフトを受けると、一貫性を維持するのに失敗することが多い。 シフト・アウェア・アイデンティティーを意識したラテント・リファインメント・フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 13.757806950813995
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Referring Audio--Visual Segmentation (Ref-AVS) is an emergent multimodal task requiring the precise identification and segmentation of a specific object based on a natural language expression grounded in both visual and auditory cues. Unlike traditional AVS, which segments generic sound sources, or referring video object segmentation (Ref-VOS), which relies solely on visual--textual grounding, Ref-AVS necessitates fine-grained tri-modal interaction across vision, audio, and language. However, existing methods often fail to maintain consistency when subjected to target shift, a phenomenon where the model erroneously transfers its focus between objects due to transient occlusions, acoustic fading, or identity ambiguities. To address this, we propose a novel Shift-Aware Identity-guided Latent (SAIL) refinement framework. It introduces a dual-token strategy that decouples frame-level dynamics from a global semantic anchor to explicitly model target-shift cues. We design a shift-aware refinement module that rectifies drift by aligning tokens with domain-specific evidence. Finally, we leverage a decoder that integrates the refined embeddings with a continuous memory update to maintain spatio-temporal coherence and identity consistency throughout the video sequence. Extensive experiments conducted on two Ref-AVS benchmarks demonstrate the effectiveness of our proposed method, significantly outperforming existing AVS, Ref-VOS, and Ref-AVS approaches. The code will be released after publication.
• Abstract（参考訳）: Referring Audio--Visual Segmentation (Ref-AVS)は、視覚と聴覚の両方に基礎を置く自然言語表現に基づいて、特定のオブジェクトの正確な識別とセグメンテーションを必要とする創発的マルチモーダルタスクである。 一般的な音源をセグメンテーションする従来のAVSや、視覚-テキストグラウンドのみに依存するビデオオブジェクトセグメンテーション(Ref-VOS)の参照とは異なり、Ref-AVSは視覚、音声、言語をまたいだ細粒度のトリモーダル相互作用を必要とする。 しかし、既存の手法は、過渡的な閉塞、音響的なフェーディング、またはアイデンティティの曖昧さにより、モデルがオブジェクト間で誤って焦点を移す現象である、目標シフトを受けると、一貫性を維持することができないことが多い。 そこで我々は, シフト・アウェア・アイデンティティ・ガイダンス(SAIL)の改良フレームワークを提案する。 グローバルなセマンティックアンカーからターゲットシフトキューを明示的にモデル化するために、フレームレベルのダイナミクスを分離するデュアルトークン戦略を導入している。 トークンをドメイン固有の証拠と整列させることでドリフトを補正するシフト対応リファインメントモジュールを設計する。 最後に、精細化された埋め込みと連続したメモリ更新を統合したデコーダを活用して、ビデオシーケンス全体の時空間コヒーレンスとアイデンティティの整合性を維持する。 2つのRef-AVSベンチマークにおいて、提案手法の有効性を実証し、既存のAVS、Ref-VOS、Ref-AVSアプローチを大幅に上回る結果を得た。 コードは公開後に公開される。

関連論文リスト

• Vorch-Omni: Multi-Task Orchestration of Sight and Sound [51.39284238118125]
  Vorch-Omniは任意の条件から任意言語への定式化に基づく音声・視覚合成のための統一されたフレームワークである。 ビデオや音声の信号を入力や生成ターゲットの条件付けとして柔軟に扱う。 テキスト・トゥ・ビデオ、テキスト・トゥ・オーディオ・ビデオ、イメージ・アンド・レファレンス・コンディショナード・ジェネレーション、時間拡張、音声駆動生成、ビデオ変換、オーディオ・ビジュアル編集を含む10以上のタスクをサポートする。
  論文  参考訳（メタデータ） (2026-08-06T09:38:30Z)
• Hierarchical Semantic-Constrained Heterogeneous Graph for Audio-Visual Event Localization [69.67186845167568]
  Open-vocabulary Audio-visual Event Localization (OV-AVEL) は、音声と視覚のキューを共同でモデル化し、イベントを認識および時間的にローカライズする。 既存の手法は主にユークリッド空間における共同視覚表現を学習する。 音声・視覚イベントの局所化のための階層的セマンティック制約ヘテロジニアスグラフ(HSCHG)を提案する。
  論文  参考訳（メタデータ） (2026-06-05T08:23:58Z)
• DreamID-Omni: Unified Framework for Controllable Human-Centric Audio-Video Generation [23.171175300622675]
  制御可能な人中心オーディオビデオ生成のための統一的なフレームワークを提案する。 DreamID-Omniは、ビデオ、オーディオ、オーディオ・ビジュアルの一貫性をまたいだ総合的な最先端のパフォーマンスを実現する。 学術研究と商用レベルのアプリケーションの間のギャップを埋めるために、コードを公開します。
  論文  参考訳（メタデータ） (2026-02-12T16:41:52Z)
• Implicit Counterfactual Learning for Audio-Visual Segmentation [50.69377287012591]
  我々は,非バイアスの相互理解を実現するために,暗黙の対実的枠組み(ICF)を提案する。 意味論の欠如により、異種表現は誤った一致につながる可能性がある。 モダリティ共有空間を確立するために,ビデオ,セグメント,フレームレベルを含む多粒性暗黙テキスト(MIT)をブリッジとして導入する。
  論文  参考訳（メタデータ） (2025-07-28T11:46:35Z)
• SAM2-LOVE: Segment Anything Model 2 in Language-aided Audio-Visual Scenes [30.870903750545004]
  本稿では,テキスト,音声,視覚表現を学習可能なトークンに統合する新しいフレームワークSAM2-LOVEを紹介する。 技術的には、SAM2のマルチモーダル理解を改善することを目的としたマルチモーダル融合モジュールを含む。 SAM2-LOVEは、Ref-AVSベンチマークにおいて、$calmathJ&F$において、SOTAよりも8.5%高い性能を示した。
  論文  参考訳（メタデータ） (2025-06-02T11:36:25Z)
• QDFormer: Towards Robust Audiovisual Segmentation in Complex Environments with Quantization-based Semantic Decomposition [47.103732403296654]
  マルチソース意味空間は、単一ソース部分空間のカルテシアン積として表すことができる。 安定なグローバルな(クリップレベルの)特徴から,局所的な(フレームレベルの)特徴に知識を蒸留する,グローバルから局所的な量子化機構を導入する。 意味的に分解された音声表現がAVSの性能を大幅に向上させることを示す実験を行った。
  論文  参考訳（メタデータ） (2023-09-29T20:48:44Z)
• Leveraging Foundation models for Unsupervised Audio-Visual Segmentation [49.94366155560371]
  AVS (Audio-Visual) は、可聴物体をピクセルレベルの視覚シーンで正確に概説することを目的としている。 既存のAVS手法では、教師付き学習方式でオーディオマスク対の細かいアノテーションを必要とする。 タスク固有のデータアノテーションやモデルトレーニングを必要とせず、教師なしの音声-視覚的セグメンテーションを導入する。
  論文  参考訳（メタデータ） (2023-09-13T05:05:47Z)
• Improving Audio-Visual Segmentation with Bidirectional Generation [40.78395709407226]
  音声・視覚的セグメンテーションのための双方向生成フレームワークを提案する。 この枠組みは、物体の視覚的特徴と関連する音との堅牢な相関関係を確立する。 また、時間力学を扱う暗黙の体積運動推定モジュールも導入する。
  論文  参考訳（メタデータ） (2023-08-16T11:20:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。