論文の概要: Frequency-Domain Decomposition and Recomposition for Robust Audio-Visual Segmentation

• arxiv url: http://arxiv.org/abs/2509.18912v1
• Date: Tue, 23 Sep 2025 12:33:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-24 20:41:27.830586
• Title: Frequency-Domain Decomposition and Recomposition for Robust Audio-Visual Segmentation
• Title（参考訳）: ロバスト・オーディオ・ビジュアル・セグメンテーションのための周波数領域分割と再構成
• Authors: Yunzhe Shen, Kai Peng, Leiye Liu, Wei Ji, Jingjing Li, Miao Zhang, Yongri Piao, Huchuan Lu,
• Abstract要約: 本稿では2つの主要なモジュールからなる周波数対応オーディオ・ビジュアルコンポスタ(FAVS)フレームワークを紹介する。 FAVSフレームワークは、3つのベンチマークデータセットで最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 60.9960601057956
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Audio-visual segmentation (AVS) plays a critical role in multimodal machine learning by effectively integrating audio and visual cues to precisely segment objects or regions within visual scenes. Recent AVS methods have demonstrated significant improvements. However, they overlook the inherent frequency-domain contradictions between audio and visual modalities--the pervasively interfering noise in audio high-frequency signals vs. the structurally rich details in visual high-frequency signals. Ignoring these differences can result in suboptimal performance. In this paper, we rethink the AVS task from a deeper perspective by reformulating AVS task as a frequency-domain decomposition and recomposition problem. To this end, we introduce a novel Frequency-Aware Audio-Visual Segmentation (FAVS) framework consisting of two key modules: Frequency-Domain Enhanced Decomposer (FDED) module and Synergistic Cross-Modal Consistency (SCMC) module. FDED module employs a residual-based iterative frequency decomposition to discriminate modality-specific semantics and structural features, and SCMC module leverages a mixture-of-experts architecture to reinforce semantic consistency and modality-specific feature preservation through dynamic expert routing. Extensive experiments demonstrate that our FAVS framework achieves state-of-the-art performance on three benchmark datasets, and abundant qualitative visualizations further verify the effectiveness of the proposed FDED and SCMC modules. The code will be released as open source upon acceptance of the paper.
• Abstract（参考訳）: オーディオ・ビジュアル・セグメンテーション(AVS)は、音声と視覚の手がかりを効果的に統合し、視覚シーン内のオブジェクトや領域を正確にセグメンテーションすることで、マルチモーダル・機械学習において重要な役割を果たす。 最近のAVS法は大幅に改善されている。 しかし、彼らはオーディオの高周波数信号における広範に干渉するノイズと、視覚の高周波数信号における構造的にリッチな詳細との、固有の周波数領域の矛盾を見落としている。 これらの違いを無視することは、最適以下のパフォーマンスをもたらす可能性がある。 本稿では、AVSタスクを周波数領域分解・再分割問題として再検討し、より深い視点からAVSタスクを再考する。 そこで本研究では、FDEDモジュールとSCMCモジュールという2つの主要なモジュールからなる新しい周波数対応オーディオ・ビジュアル・セグメンテーション(FAVS)フレームワークを紹介する。 FDEDモジュールは、残差に基づく反復周波数分解を用いて、モダリティ固有の意味論と構造的特徴を識別し、SCMCモジュールは、動的エキスパートルーティングを通じて、セマンティクスの一貫性とモダリティ固有の特徴の保存を強化するために、Mixed-of-expertsアーキテクチャを活用する。 大規模な実験により,我々のFAVSフレームワークは3つのベンチマークデータセット上で最先端のパフォーマンスを達成し,多くの定性的な可視化により提案したFDEDおよびSCMCモジュールの有効性が検証された。 コードは、論文の受理時にオープンソースとしてリリースされる。

関連論文リスト

• Dual Semantic-Aware Network for Noise Suppressed Ultrasound Video Segmentation [21.117226880898418]
  超音波ビデオセグメンテーションにおける雑音の頑健性を高めるための新しいフレームワークを提案する。 Dual Semantic-Aware Network (DSANet)は、局所的特徴とグローバル的特徴の相互意味認識を促進する。 我々のモデルは画素レベルの特徴依存を回避し、ビデオベース手法よりもはるかに高い推論FPSを実現し、画像ベースモデルを超えている。
  論文  参考訳（メタデータ） (2025-07-10T05:41:17Z)
• FreSca: Scaling in Frequency Space Enhances Diffusion Models [55.75504192166779]
  本稿では,潜時拡散モデルにおける周波数制御について検討する。 本稿では,低周波成分と高周波成分にノイズ差を分解する新しいフレームワークFreScaを紹介する。 FreScaはモデルの再トレーニングやアーキテクチャの変更なしに動作し、モデルとタスクに依存しない制御を提供する。
  論文  参考訳（メタデータ） (2025-04-02T22:03:11Z)
• Frequency Domain Modality-invariant Feature Learning for Visible-infrared Person Re-Identification [79.9402521412239]
  本稿では、周波数領域から見たモダリティの相違を低減するために、新しい周波数領域モダリティ不変特徴学習フレームワーク(FDMNet)を提案する。 我々のフレームワークでは、インスタンス適応振幅フィルタ(IAF)とPhrase-Preserving Normalization(PPNorm)という、2つの新しいモジュールを導入している。
  論文  参考訳（メタデータ） (2024-01-03T17:11:27Z)
• QDFormer: Towards Robust Audiovisual Segmentation in Complex Environments with Quantization-based Semantic Decomposition [47.103732403296654]
  マルチソース意味空間は、単一ソース部分空間のカルテシアン積として表すことができる。 安定なグローバルな(クリップレベルの)特徴から,局所的な(フレームレベルの)特徴に知識を蒸留する,グローバルから局所的な量子化機構を導入する。 意味的に分解された音声表現がAVSの性能を大幅に向上させることを示す実験を行った。
  論文  参考訳（メタデータ） (2023-09-29T20:48:44Z)
• Unified Frequency-Assisted Transformer Framework for Detecting and Grounding Multi-Modal Manipulation [109.1912721224697]
  本稿では、DGM4問題に対処するため、UFAFormerという名前のUnified Frequency-Assisted TransFormerフレームワークを提案する。 離散ウェーブレット変換を利用して、画像を複数の周波数サブバンドに分解し、リッチな顔偽造品をキャプチャする。 提案する周波数エンコーダは、帯域内およびバンド間自己アテンションを組み込んだもので、多種多様なサブバンド内および多種多様なフォージェリー特徴を明示的に集約する。
  論文  参考訳（メタデータ） (2023-09-18T11:06:42Z)
• Improving Audio-Visual Segmentation with Bidirectional Generation [40.78395709407226]
  音声・視覚的セグメンテーションのための双方向生成フレームワークを提案する。 この枠組みは、物体の視覚的特徴と関連する音との堅牢な相関関係を確立する。 また、時間力学を扱う暗黙の体積運動推定モジュールも導入する。
  論文  参考訳（メタデータ） (2023-08-16T11:20:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。