論文の概要: Uncovering Ordinal-Matching Bias in Audio-Visual LLMs

• arxiv url: http://arxiv.org/abs/2609.34223v1
• Date: Mon, 28 Sep 2026 03:28:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 22:47:55.166222
• Title: Uncovering Ordinal-Matching Bias in Audio-Visual LLMs
• Title（参考訳）: オーディオ・ビジュアル LLM における正規整合バイアスの発見
• Abstract要約: 本研究の目的は,多話者シーンにおける音声・視覚的大言語モデルが音声と正しい可視話者を関連付ける方法を改善することである。 複数の可視話者が1つの単語を発声する合成診断データセットを構築した。 このコーパスの解析により、3つの最近のオープンソースAVLLM間の一貫したエラーパターンが明らかになった。
• 参考スコア（独自算出の注目度）: 32.554433077805555
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work aims to improve how audio-visual large language models (AVLLMs) associate speech with the correct visible speaker in multi-speaker scenes. We find that current AVLLMs frequently fail at this task, and analyze the nature of these failures. To this end, we construct a synthetic diagnostic dataset in which multiple visible speakers each utter a single word. Analysis on this corpus reveals a consistent error pattern across three recent open-source AVLLMs: models attribute utterances by simply matching the order of spoken sentences with the left-to-right, top-to-bottom arrangement of visible faces, rather than relying on audio-visual cues such as lip synchronization. We term this behavior \emph{ordinal-matching bias}. We further show that this bias can be substantially mitigated through a simple remedy, Ordinal-Decoupled Fine-Tuning (OD-FT), in which models are fine-tuned on synthetic videos where spatial positions of speakers and speaking order are independently randomized. Despite using only 400 synthetic training videos, OD-FT not only suppresses ordinal-matching bias but also improves audio-visual understanding on real-world videos, yielding average gains of 8.27\% for Qwen2.5-Omni and 2.57\% for video-SALMONN2+ across three audio-visual benchmarks.
• Abstract（参考訳）: 本研究の目的は,音声-視覚的大言語モデル(AVLLM)が,複数話者シーンにおける正しい可視話者と音声を関連付ける方法を改善することである。 現在のAVLLMは、このタスクで頻繁に失敗し、これらの障害の性質を分析する。 この目的のために、複数の可視話者が1つの単語を発声する合成診断データセットを構築した。 このコーパスを解析したところ、最近の3つのオープンソースのAVLLMに一貫した誤りパターンが明らかとなった。 この振舞いを emph{ordinal-matching bias} と呼ぶ。 さらに, このバイアスは, 話者の空間的位置と発話順序が独立にランダム化される合成ビデオ上で, モデルが微調整される, 簡単な修正法である Ordinal-Decoupled Fine-Tuning (OD-FT) によって実質的に緩和可能であることを示す。 400本の合成トレーニングビデオしか使用していないにも関わらず、OD-FTは通常のマッチングバイアスを抑えるだけでなく、実世界のビデオに対する音声視覚的理解も改善し、Qwen2.5-Omniでは平均8.27 %、オーディオ視覚的ベンチマークでは2.57 %となる。

関連論文リスト

• SyncRA: Learning Temporal Correspondence in Omni-Modal Models [4.652935587195116]
  音声と視覚の時間的対応を強化する軽量なSyncRAを提案する。 5つの公開ビデオベンチマークで、異なるサイズとアーキテクチャにまたがる4つのオープンオムニモーダルモデルに対してSyncRAを評価した。
  論文  参考訳（メタデータ） (2026-09-28T05:40:09Z)
• Adding Voice Cloning to Text-to-Audio-Video Models with a Single Zero-Initialised Layer [1.5678079269619796]
  ベースとなるT2AVモデルは,音声バックボーン上に1つのゼロ次元線形層を追加することで,音声閉包モデルに変換可能であることを示す。 アーキテクチャの副産物は、推論時にビデオパスなしでオーディオパスを評価することができ、完全なオーディオビデオ拡散ループよりも30倍のスピードアップが得られることである。
  論文  参考訳（メタデータ） (2026-08-16T11:40:20Z)
• When Vision Speaks for Sound [31.08404410801052]
  ビデオ対応MLLMの急速な進歩にもかかわらず、ビデオにおける明らかな音声理解はビジョン駆動であることが多い。 この問題は、最先端のオープンソースオムニモデルと、GoogleやOpenAIといったプロバイダによるクローズドソースモデルの両方にまたがっている。 我々は、この障害モードを、モデルが(頻繁に)オーディオグラウンドに現れるが、実際にオーディオとビジュアルストリームが本当に一致しているかどうかを検証せずに、視覚-音響相関を利用する、オーディオ-ビジュアル・クリーバー・ハンス効果として特徴付けている。
  論文  参考訳（メタデータ） (2026-05-13T05:00:19Z)
• SightSound-R1: Cross-Modal Reasoning Distillation from Vision to Audio Language Models [18.802543558300044]
  より強力なLVLM教師から弱いLALM学生に高度な推論を伝達するクロスモーダル蒸留フレームワークであるSightSound-R1を提案する。 その結果、SightSound-R1は、ドメイン内AVQAテストセットと見えない聴覚シーンと疑問の両方においてLALM推論性能を改善した。
  論文  参考訳（メタデータ） (2025-09-19T06:39:39Z)
• From Alignment to Advancement: Bootstrapping Audio-Language Alignment with Synthetic Data [55.2480439325792]
  音声対応の大規模言語モデル(ALLM)は近年,音声入力の理解と処理において大きな進歩を遂げている。 これらのモデルは典型的にはテキストベースの大規模言語モデル(LLM)に適応し、音声関連タスクのさらなるトレーニングを行う。 本研究では、現在と欠落した音を区別するALLMの能力を高めるために、コントラッシブな訓練データを生成するデータ生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-26T16:08:41Z)
• FastLTS: Non-Autoregressive End-to-End Unconstrained Lip-to-Speech Synthesis [77.06890315052563]
  我々は、低レイテンシで非拘束音声から高品質な音声を直接合成できる非自己回帰的エンドツーエンドモデルであるFastLTSを提案する。 実験により,本モデルは3秒の入力シーケンスにおける現在の自己回帰モデルと比較して,音声生成の19.76倍の高速化を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-07-08T10:10:39Z)
• SVTS: Scalable Video-to-Speech Synthesis [105.29009019733803]
  本稿では,ビデオ・トゥ・スペクトログラム予測器と事前学習したニューラルボコーダの2つのコンポーネントからなるスケーラブルなビデオ音声合成フレームワークを提案する。 私たちは、挑戦的なLSS3データセットで不可解な結果を示す最初の人です。
  論文  参考訳（メタデータ） (2022-05-04T13:34:07Z)
• Self-Supervised Predictive Learning: A Negative-Free Method for Sound Source Localization in Visual Scenes [91.59435809457659]
  自己監督予測学習(英: Self-Supervised Predictive Learning, SSPL)は、音像定位法である。 SSPLはSoundNet-Flickrの8.6% cIoUと3.4% AUCの大幅な改善を実現している。
  論文  参考訳（メタデータ） (2022-03-25T01:42:42Z)
• Audio-Visual Synchronisation in the wild [149.84890978170174]
  我々は,VGG-Sound Syncという,高い音声・視覚相関を持つテストセットを同定し,キュレートする。 任意の長さの音響信号と視覚信号のモデル化に特化して設計された,トランスフォーマーに基づく多数のアーキテクチャ変種を比較した。 我々は,新しいVGG-Sound Syncビデオデータセットにおいて,160以上の多様なクラスと一般的な音声-視覚同期のための最初のベンチマークを設定した。
  論文  参考訳（メタデータ） (2021-12-08T17:50:26Z)
• End-to-End Video-To-Speech Synthesis using Generative Adversarial Networks [54.43697805589634]
  GAN(Generative Adversarial Networks)に基づくエンドツーエンドビデオ音声合成モデルを提案する。 本モデルは,生映像を入力として受信し,音声を生成するエンコーダ・デコーダアーキテクチャで構成されている。 このモデルは,グリッドなどの制約付きデータセットに対して,顕著なリアリズムで音声を再構成できることを示す。
  論文  参考訳（メタデータ） (2021-04-27T17:12:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。