論文の概要: Temporal Contrastive Decoding: A Training-Free Method for Large Audio-Language Models

• arxiv url: http://arxiv.org/abs/2604.15383v1
• Date: Thu, 16 Apr 2026 02:30:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-20 22:00:19.575478
• Title: Temporal Contrastive Decoding: A Training-Free Method for Large Audio-Language Models
• Title（参考訳）: 時間的コントラストデコーディング:大規模オーディオ言語モデルの学習自由化
• Authors: Yanda Li, Yuhan Liu, Zirui Song, Yunchao Wei, Martin Takáč, Salem Lahlou,
• Abstract要約: 大規模な音声言語モデル(LALM)は、音声、音声、音楽にまたがって一般化される。 統一デコーダは 時空間のスムーズなバイアスを示します LALMの学習自由復号法であるemphTemporal Contrastive Decoding (TCD)を提案する。
• 参考スコア（独自算出の注目度）: 56.91801348360746
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large audio-language models (LALMs) generalize across speech, sound, and music, but unified decoders can exhibit a \emph{temporal smoothing bias}: transient acoustic cues may be underutilized in favor of temporally smooth context that is better supported by language priors, leading to less specific audio-grounded outputs. We propose \emph{Temporal Contrastive Decoding} (TCD), a training-free decoding method for unified LALMs that mitigates this effect at inference time. TCD constructs a temporally blurred slow-path view by smoothing the input waveform and re-encoding it, then contrasts next-token logits from the original and slow-path views. The contrastive signal is applied as a token-level logit update restricted to a small candidate set. A self-normalized stability score sets the blur window and update scale, and a step-wise gate based on uncertainty and audio reliance activates the update only when needed. Experiments on MMAU and AIR-Bench show consistent improvements on strong unified LALMs. We further conduct ablations and an architectural applicability study to analyze the contributions of key components and how TCD behaves across large audio-language model designs.
• Abstract（参考訳）: 大規模な音声言語モデル(LALM)は、音声、音声、音楽にまたがって一般化されるが、統一デコーダは \emph{temporal smoothing bias} を示すことができる。 本稿では,この効果を推論時に緩和するLALMの学習自由復号法である \emph{Temporal Contrastive Decoding} (TCD) を提案する。 TCDは入力波形を滑らかにし、再エンコードすることで、時間的にぼやけたスローパスビューを構築し、その後、元のスローパスビューと次のツーケンロジットを対比する。 コントラスト信号は、小さな候補セットに制限されたトークンレベルのロジット更新として適用される。 自己正規化された安定性スコアは、ブラーウィンドウと更新スケールを設定し、不確実性およびオーディオ依存に基づくステップワイズゲートは、必要に応じてのみ更新を起動する。 MMAUとAIR-Benchの実験では、強力な統一LALMに一貫した改善が見られた。 さらに,重要なコンポーネントのコントリビューションと,大規模オーディオ言語モデル設計におけるTCDの挙動を分析するために,アブリケーションとアーキテクチャの適用性について検討する。

関連論文リスト

• STDec: Spatio-Temporal Stability Guided Decoding for dLLMs [49.55447757907809]
  大規模拡散言語モデル(dLLM)は、自己回帰パラダイムに代わる有望な選択肢と見なされ、急速な進歩を遂げている。 ほとんどのdLLMデコーダは依然としてグローバルな信頼しきい値を採用しており、近隣のデコード状態や予測トークンIDの時間的一貫性からローカルコンテキストをモデル化していない。 我々は,dLLMデコーディングにおいて時間的安定性に近い強い安定性を観察し,そのアプローチには空間的認識復号と時間的認識復号が含まれる。
  論文  参考訳（メタデータ） (2026-04-07T18:13:31Z)
• TASTE-Streaming: Towards Streamable Text-Aligned Speech Tokenization and Embedding for Spoken Language Modeling [52.519745466772825]
  テキスト音声による音声合成は、自然とインテリジェントな音声に基づく対話を指向する。 TASTEは音声トークンを生成し、テキストのトークンと長さを一致させる。 本稿ではリアルタイム利用に適したTASTEの拡張であるTASTE-Sを提案する。
  論文  参考訳（メタデータ） (2026-03-12T18:13:48Z)
• Frame-Level Internal Tool Use for Temporal Grounding in Audio LMs [48.50855715191533]
  大規模な音声言語モデルは、複雑な音声理解タスクにますます使われている。 彼らは、単語アライメントや話者ダイアリゼーションのような正確な時間的根拠を必要とする時間的タスクに苦労する。 本稿では,フレームレベルの内部ツール使用法を提案する。これは,内部の音声表現を用いて時間的グラウンドを直接行うように音声LMを訓練する手法である。
  論文  参考訳（メタデータ） (2026-02-10T19:19:52Z)
• Beyond Fixed Frames: Dynamic Character-Aligned Speech Tokenization [27.32235541083431]
  動的キャラクタアライズされた音声トケナイザであるDyCASTを紹介する。 DyCASTは、訓練中にトークンと文字レベルの言語単位を関連付けることを学ぶ。 また,不確かさを増大させることなく再現性を高める検索拡張復号機構を導入する。
  論文  参考訳（メタデータ） (2026-01-30T16:58:40Z)
• From Alignment to Advancement: Bootstrapping Audio-Language Alignment with Synthetic Data [55.2480439325792]
  音声対応の大規模言語モデル(ALLM)は近年,音声入力の理解と処理において大きな進歩を遂げている。 これらのモデルは典型的にはテキストベースの大規模言語モデル(LLM)に適応し、音声関連タスクのさらなるトレーニングを行う。 本研究では、現在と欠落した音を区別するALLMの能力を高めるために、コントラッシブな訓練データを生成するデータ生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-26T16:08:41Z)
• VALL-E R: Robust and Efficient Zero-Shot Text-to-Speech Synthesis via Monotonic Alignment [101.2489492032816]
  VALL-E Rは、堅牢で効率的なゼロショットテキスト音声合成システムである。 この研究は、失語症に罹患した人々のためのスピーチの作成を含む有意義なプロジェクトに適用される可能性がある。
  論文  参考訳（メタデータ） (2024-06-12T04:09:44Z)
• Autoregressive Diffusion Transformer for Text-to-Speech Synthesis [39.32761051774537]
  連続空間$mathbb Rd$のベクトル列として音響を符号化し、これらの列を自己回帰的に生成する。 高ビットレート連続音声表現は、ほとんど欠陥のない再構成を可能にし、我々のモデルは、ほぼ完璧な音声編集を実現できる。
  論文  参考訳（メタデータ） (2024-06-08T18:57:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。