論文の概要: Attention-Guided Reliability Scaling for Contrastive Decoding in Robust Audio-Visual Speech Recognition

• arxiv url: http://arxiv.org/abs/2608.26213v1
• Date: Wed, 26 Aug 2026 08:25:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.122921
• Title: Attention-Guided Reliability Scaling for Contrastive Decoding in Robust Audio-Visual Speech Recognition
• Title（参考訳）: ロバスト音声認識におけるコントラスト復号のための注意誘導型信頼性スケーリング
• Abstract要約: コントラストデコーディング (CD) は、元々は大型言語モデル (LLM) ベースの音声視覚音声認識 (AVSR) システムを安定化するために導入された。 AVSR用CDの信頼性を考慮したスケーリングを提案する。
• 参考スコア（独自算出の注目度）: 50.15288513086986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model (LLM)-based audio-visual speech recognition (AVSR) systems are robust under noise. Contrastive decoding (CD), originally introduced to stabilize LLM generation by contrasting a weaker model against a stronger one at inference time, adjusts predictions without additional training. In this work, we apply CD to AVSR by contrasting audio-only conditioning with full audio-visual conditioning within the same underlying model. However, using a fixed contrastive strength introduces a trade-off across noise levels: stronger intervention helps under severe noise but may over-correct reliable predictions in clean conditions. We propose reliability-aware scaling of CD for AVSR. Instead of using a fixed strength, we adaptively modulate the contrastive influence at each token based on reliability signals derived from attention dynamics and inter-model predictive divergence. Experiments on LRS3 show consistent improvements across clean and low-SNR conditions.
• Abstract（参考訳）: 大規模言語モデル (LLM) に基づく音声視覚音声認識 (AVSR) システムは雑音下で頑健である。 コントラストデコーディング(CD)は、当初、弱いモデルと強いモデルとを推論時に対比することでLCM生成を安定化するために導入され、追加のトレーニングなしで予測を調整する。 本研究では,AVSR に CD を適用し,音声のみの条件付けと,同じモデル内での完全な視覚的条件付けを対比する。 強い介入は厳しい騒音の下では役立つが、クリーンな環境では信頼性の高い予測を過度に修正する可能性がある。 AVSR用CDの信頼性を考慮したスケーリングを提案する。 固定強度を使用する代わりに、注意力学とモデル間予測分岐から導かれる信頼性信号に基づいて、各トークンにおけるコントラストの影響を適応的に変調する。 LRS3の実験では、クリーンおよび低SNR条件で一貫した改善が見られた。

関連論文リスト

• Equilibrium Forcing: Adaptive Video Generation Without Noise Conditioning [85.93126001283169]
  ノイズレベル条件のない生成モデルを映像化するためのフレームワークであるEquilibrium Forcing (EqF)を紹介する。 この柔軟性により、サンプルからのフィードバックに適応してクローズドループで動作する推論時アルゴリズムが実現される。
  論文  参考訳（メタデータ） (2026-08-11T00:02:32Z)
• SATB-VR: Training Few-Step Video Restoration Diffusion Model using SNR-Aware Trajectory Blending [55.764018145256216]
  本稿では,補助予測器を介してデノナイジングプロセスを開始する数ステップのパラダイムであるSATB-VRを提案する。 我々は,SATB-VRが,合成,実世界,AIGCベンチマークにおける既存のアプローチに対して良好に動作することを示す。
  論文  参考訳（メタデータ） (2026-06-27T01:32:16Z)
• Test-Time Self-Adaptive Conditioning for Stable Audio-Driven Talking-Head Generation [28.732587811107777]
  パラメータフリーな推論フレームワークであるTest-Time Self-Adaptive Conditioning (TT-SAC)を導入する。 単一適応ステップは、生成過程の自己整合平衡を近似し、時間にわたってアイデンティティと動きを安定化する。 最先端のトーキングヘッドジェネレータとベンチマークデータセットの実験では、リップシンクの精度、時間的コヒーレンス、アイデンティティの保存、知覚の忠実さが一貫した改善を示している。
  論文  参考訳（メタデータ） (2026-05-25T06:45:29Z)
• Adaptive Guidance for Retrieval-Augmented Masked Diffusion Models [60.25003813232697]
  本稿では,Masked Diffusion Models (MDMs) のトレーニング自由適応ガイダンスフレームワークとして,適応検索型Masked Diffusion (ARAM) を提案する。 ARAMは、検索した文脈によって誘導される分布シフトのSNR(Signal-to-Noise Ratio)に従って、雑音発生時の誘導スケールを校正する。 複数の知識集約型QAベンチマークの実験は、ARAMが競争力のあるRAGベースラインよりも全体的なQA性能を改善することを示している。
  論文  参考訳（メタデータ） (2026-03-18T12:54:50Z)
• Boosting ASR Robustness via Test-Time Reinforcement Learning with Audio-Text Semantic Rewards [8.109014000578766]
  ASR-TRAは、因果介入に触発された新しいテストタイム強化適応フレームワークである。 提案手法は,既存のTTAベースラインよりも低レイテンシを維持しながら高い精度を実現する。 我々のアプローチは、現実の状況に挑戦する上で、ASRシステムをデプロイするための実用的で堅牢なソリューションを提供する。
  論文  参考訳（メタデータ） (2026-03-05T14:43:15Z)
• NAACL: Noise-AwAre Verbal Confidence Calibration for LLMs in RAG Systems [53.52419750390942]
  大型言語モデル(LLM)はミッションクリティカルな事実領域で使用される。 LLMのキャリブレーション性能は, ノイズが回復した状況によって低下する。 我々は、ノイズ下での過信を解決するための原則的基盤を提供するため、NAACLルール(Noise-AwAre Confidence CaLibration Rules)を提案する。
  論文  参考訳（メタデータ） (2026-01-16T05:38:25Z)
• Test-time Adaptive Hierarchical Co-enhanced Denoising Network for Reliable Multimodal Classification [55.56234913868664]
  マルチモーダルデータを用いた信頼性学習のためのTAHCD(Test-time Adaptive Hierarchical Co-enhanced Denoising Network)を提案する。 提案手法は,最先端の信頼性の高いマルチモーダル学習手法と比較して,優れた分類性能,堅牢性,一般化を実現する。
  論文  参考訳（メタデータ） (2026-01-12T03:14:12Z)
• Improving Noise Robust Audio-Visual Speech Recognition via Router-Gated Cross-Modal Feature Fusion [46.072071890391356]
  本稿では,トークンレベルの音響劣化スコアに基づいて,音声と視覚の特徴を適応的に重み付けする新しいフレームワークを提案する。 音声-視覚機能融合型ルータを用いて、信頼できない音声トークンをダウンウェイトし、各デコーダ層にゲートされたクロスアテンションを通じて視覚的手がかりを補強する。 LRS3の実験では,AV-HuBERTと比較して単語誤り率を16.51-42.67%削減できることが示されている。
  論文  参考訳（メタデータ） (2025-08-26T07:05:48Z)
• Noise Augmented Fine Tuning for Mitigating Hallucinations in Large Language Models [1.0579965347526206]
  大規模言語モデル(LLM)は、しばしば不正確な、または誤解を招くコンテンツ・ハロシンを生成する。 noise-Augmented Fine-Tuning (NoiseFiT) は適応ノイズ注入を利用してモデルロバスト性を高める新しいフレームワークである。 NoiseFiTは、動的にスケールしたガウス雑音を用いて、高SNR(より堅牢)または低SNR(潜在的に過正規化)と同定された層を選択的に摂動する。
  論文  参考訳（メタデータ） (2025-04-04T09:27:19Z)
• Variational Autoencoder for Speech Enhancement with a Noise-Aware Encoder [30.318947721658862]
  本稿では,ノイズ対応エンコーダを用いて,学習段階での雑音情報を含むことを提案する。 提案するノイズ認識vaeは,モデルパラメータ数を増加させることなく,全体的な歪みの観点から標準vaeを上回っている。
  論文  参考訳（メタデータ） (2021-02-17T11:40:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。