論文の概要: Aligning Audio-Visual Joint Representations with an Agentic Workflow

• arxiv url: http://arxiv.org/abs/2410.23230v2
• Date: Thu, 31 Oct 2024 04:20:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 09:55:04.073197
• Title: Aligning Audio-Visual Joint Representations with an Agentic Workflow
• Title（参考訳）: エージェントワークフローによる音声と視覚の関節表現の調整
• Authors: Shentong Mo, Yibing Song,
• Abstract要約: 視覚コンテンツと付随する音声信号は、自然に関節表現を定式化し、オーディオ視覚(AV)関連アプリケーションを改善する。 AVデータアライメントの重要性は、通常、高品質な表現を達成するために損なわれる。 本稿では,音声信号を視覚データに整列させることにより,データ中心の観点からのAV関節表現を改善することを提案する。
• 参考スコア（独自算出の注目度）: 34.4272246401837
• License:
• Abstract: Visual content and accompanied audio signals naturally formulate a joint representation to improve audio-visual (AV) related applications. While studies develop various AV representation learning frameworks, the importance of AV data alignment is usually undermined for achieving high-quality representation. We observe that an audio signal may contain background noise interference. Also, non-synchronization may appear between audio and video streams. These non-strict data alignment limits representation quality and downgrade application performance. In this paper, we propose to improve AV joint representations from a data-centric perspective by aligning audio signals to visual data. Our alignment is conducted in an agentic workflow controlled by an LLM-based assistant named AVAgent. For each input AV data pair, our AVAgent uses a multi-modal LLM to convert audio and visual data into language descriptions separately (i.e., tool use). Then, AVAgent reasons whether this paired data is aligned well and plans to edit the audio signal if needed (i.e., planning). The audio editing is executed by predefined actions that filter noise or augment data. Moreover, we use a VLM to evaluate how modified audio signals match the visual content and provide feedback to AVAgent (i.e., reflection). The tool use, planning, and reflection steps operate cyclically to become an agentic workflow where audio signals are gradually aligned to visual content. To this end, existing methods can directly leverage the aligned AV data via our agentic workflow to improve AV joint representations. The experimental results comprehensively demonstrate the state-of-the-art performance of the proposed approach against previous baselines in diverse downstream tasks.
• Abstract（参考訳）: 視覚コンテンツと付随する音声信号は、自然に関節表現を定式化し、オーディオ視覚(AV)関連アプリケーションを改善する。 研究は様々なAV表現学習フレームワークを開発しているが、AVデータアライメントの重要性は通常、高品質な表現を実現するために損なわれている。 音声信号が背景雑音干渉を含む可能性があることを観察する。 また、非同期化はオーディオストリームとビデオストリームの間に現れることがある。 これらの非制限データアライメントは、表現品質とダウングレードのアプリケーションパフォーマンスを制限する。 本稿では,音声信号を視覚データに整列させることにより,データ中心の観点からのAV関節表現の改善を提案する。 我々のアライメントは、ALMベースのAVAgentというアシスタントによって制御されるエージェントワークフローで行われる。 入力AVデータペアごとに、AVAgentはマルチモーダルLLMを使用して、音声と視覚データを言語記述(ツール使用)に別々に変換する。 そして、AVAgentは、このペア化されたデータが適切に整列されているかどうかを理由として、必要に応じて音声信号を編集する(プランニング)。 音声編集は、ノイズや拡張データをフィルタリングする予め定義された動作によって実行される。 さらに、VLMを用いて、修正された音声信号が視覚内容とどのように一致しているかを評価し、AVAgent(リフレクション)にフィードバックを提供する。 ツールの使用、計画、リフレクションのステップは、音声信号が徐々に視覚コンテンツに整列するエージェントワークフローとなるために循環的に動作する。 この目的を達成するため、既存の手法ではエージェントワークフローを介して、アライメントされたAVデータを直接利用して、AV関節表現を改善することができる。 実験結果は、様々な下流タスクにおける従来のベースラインに対する提案手法の最先端性能を包括的に実証した。

関連論文リスト

• Auto-ACD: A Large-scale Dataset for Audio-Language Representation Learning [50.28566759231076]
  高品質なキャプションを持つ音声データセットを構築するための,革新的で自動的なアプローチを提案する。 具体的には、150万以上のオーディオテキストペアからなる、大規模で高品質なオーディオ言語データセットをAuto-ACDとして構築する。 我々はLLMを用いて,抽出したマルチモーダルな手がかりによって導かれる,各音声の連接キャプションを言い換える。
  論文  参考訳（メタデータ） (2023-09-20T17:59:32Z)
• Text-to-feature diffusion for audio-visual few-shot learning [59.45164042078649]
  ビデオデータから学ぶことは難しいし、あまり研究されていないが、もっと安いセットアップだ。 3つのデータセットに対して,音声・視覚的数ショット映像分類ベンチマークを導入する。 AV-DIFFは,提案した音声・視覚的少数ショット学習のベンチマークにおいて,最先端の性能が得られることを示す。
  論文  参考訳（メタデータ） (2023-09-07T17:30:36Z)
• AdVerb: Visually Guided Audio Dereverberation [49.958724234969445]
  本稿では,新しいオーディオ・ビジュアル・デバーベレーション・フレームワークであるAdVerbを紹介する。 残響音に加えて視覚的手がかりを用いてクリーンオーディオを推定する。
  論文  参考訳（メタデータ） (2023-08-23T18:20:59Z)
• Audio-aware Query-enhanced Transformer for Audio-Visual Segmentation [22.28510611697998]
  本稿では,この課題に対処するための新しいtextbfAudio-aware query-enhanced textbfTRansformer (AuTR) を提案する。 既存の手法とは異なり,本手法では,音声・視覚機能の深層融合と集約を可能にするマルチモーダルトランスフォーマーアーキテクチャを導入している。
  論文  参考訳（メタデータ） (2023-07-25T03:59:04Z)
• Visually-Guided Sound Source Separation with Audio-Visual Predictive Coding [57.08832099075793]
  視覚誘導音源分離は、視覚特徴抽出、マルチモーダル特徴融合、音響信号処理の3つの部分からなる。 本稿では,この課題をパラメータ調和とより効果的な方法で解決するために,AVPC(Audio-visual predictive coding)を提案する。 さらに、同一音源の2つの音声視覚表現を共予測することにより、AVPCのための効果的な自己教師型学習戦略を開発する。
  論文  参考訳（メタデータ） (2023-06-19T03:10:57Z)
• Transavs: End-To-End Audio-Visual Segmentation With Transformer [33.56539999875508]
  本稿では,トランスフォーマーをベースとしたオーディオ・ビジュアルタスクのためのエンドツーエンドフレームワークであるTransAVSを提案する。 TransAVSはオーディオストリームをオーディオクエリとして切り離し、画像と対話し、セグメンテーションマスクにデコードする。 実験の結果,TransAVS は AVSBench データセット上で最先端の結果を得ることができた。
  論文  参考訳（メタデータ） (2023-05-12T03:31:04Z)
• Unraveling Instance Associations: A Closer Look for Audio-Visual Segmentation [18.001730255429347]
  オーディオ視覚セグメント化(AVS)は、音声視覚キューに基づいて、正確に音を分割する作業である。 我々は,難易度と比較的偏りのない高画質な視覚的セグメンテーション・ベンチマークを構築するための新たなコスト効率戦略を提案する。 既存のAVSデータセットおよび我々の新しいベンチマークで行った実験により、我々の手法は最先端(SOTA)セグメンテーションの精度を達成できた。
  論文  参考訳（メタデータ） (2023-04-06T09:54:06Z)
• AV-data2vec: Self-supervised Learning of Audio-Visual Speech Representations with Contextualized Target Representations [88.30635799280923]
  AV-data2vecを導入し、文脈化表現の予測に基づいて音声・視覚表現を構築する。 LRS3の結果は、AV-data2vecが、同じ量のデータとモデルサイズで既存のメソッドを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2023-02-10T02:55:52Z)
• Visual Context-driven Audio Feature Enhancement for Robust End-to-End Audio-Visual Speech Recognition [29.05833230733178]
  音声・視覚対応の助けを借りて、入力ノイズの多い音声音声を強化するために、視覚コンテキスト駆動型音声特徴強調モジュール(V-CAFE)を提案する。 The proposed V-CAFE is designed to capture the transition of lip movement、すなわち visual context, and to generate a noise reduction mask by consider the obtained visual context。 提案手法の有効性は,2大音声視覚データセットであるLSS2とLSS3を用いて,雑音の多い音声認識および重複音声認識実験において評価される。
  論文  参考訳（メタデータ） (2022-07-13T08:07:19Z)
• Learning Representations from Audio-Visual Spatial Alignment [76.29670751012198]
  音声・視覚コンテンツから表現を学習するための新しい自己教師型プレテキストタスクを提案する。 提案したプリテキストタスクの利点は、様々なオーディオおよびビジュアルダウンストリームタスクで実証される。
  論文  参考訳（メタデータ） (2020-11-03T16:20:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。