論文の概要: Correlation-Guided Encoder Selection for Multi-Encoder Large Audio-Language Models

• arxiv url: http://arxiv.org/abs/2609.18041v1
• Date: Wed, 16 Sep 2026 02:41:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.614436
• Title: Correlation-Guided Encoder Selection for Multi-Encoder Large Audio-Language Models
• Title（参考訳）: マルチエンコーダ大規模オーディオ言語モデルの相関型エンコーダ選択法
• Abstract要約: CUES (Correlation-gUided Selection) は、単エンコーダ評価のみから選択中の融合訓練なしで設定された候補をスコアする。 広いトラックAスイートでは、CUESはクロスファミリートリオ(Whisper-medium、mHuBERT-147、Dasheng-base)を選択する。 TrackBテキスト生成では、フォーカスされた音声のみのペア(mHuBERT-147とWavLM-base-plus)で再アンカーする。
• 参考スコア（独自算出の注目度）: 52.59216139491759
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-encoder fusion extends Large Audio-Language Models (LALMs) beyond speech-centric recognition, but selecting encoders via intuition or exhaustive search often introduces redundant representations and inflates an already constrained compute budget. We propose CUES (Correlation-gUided Encoder Selection), a lightweight heuristic that estimates complementarity through task- and category-level Pearson correlations between encoders' performance profiles, scoring a candidate set from single-encoder evaluations alone--without fusion training during selection. Evaluated on the XARES-LLM benchmark with a frozen SmolLM2-135M backbone (LoRA-adapted) via five-fold cross-validation, CUES consistently identifies the same configuration per track from held-out development splits alone, without using test data for selection. For the broad Track~A suite, CUES selects a cross-family trio (Whisper-medium, mHuBERT-147, and Dasheng-base), achieving a 4.3% relative gain over Whisper-medium (0.771 vs. 0.739). For Track~B text generation, it re-anchors on a focused, speech-only pair (mHuBERT-147 and WavLM-base-plus) and actively abstains from adding a divergent encoder, outperforming mHuBERT-147 by 6.3% (0.589 vs. 0.554). Rather than a failure to scale, this divergence is consistent with a diversity--interference trade-off that CUES navigates per track from correlation signals alone: across the evaluated pool, added cross-family diversity tends toward an inverted-U on broad audio tasks but toward steady degradation on text generation, which favors a focused, speech-anchored set.
• Abstract（参考訳）: マルチエンコーダ融合は、音声中心認識を超えてLarge Audio-Language Models (LALM) を拡張するが、直感や徹底的な探索によるエンコーダの選択は、しばしば冗長な表現を導入し、既に制約されている計算予算を膨らませる。 本稿では,タスクレベルとカテゴリレベルのピアソン相関による補完性を推定する軽量ヒューリスティックCUES(Correlation-gUided Encoder Selection)を提案する。 XARES-LLMベンチマークで、凍結したSmolLM2-135Mバックボーン(LoRA適応)を5倍のクロスバリデーションで評価し、CUESはテストデータを使用して選択することなく、保持された開発スプリットからトラック毎に同じ構成を一貫して特定する。 広いトラック〜Aスイートでは、CUESはクロスファミリートリオ(Whisper-medium、mHuBERT-147、Dasheng-base)を選択し、Whisper-medium(0.771対0.739)よりも4.3%の利得を達成した。 Track~B テキスト生成では、フォーカスされた音声のみのペア(mHuBERT-147 と WavLM-base-plus )を再アンカーし、発散エンコーダの追加を積極的に禁止し、mHuBERT-147 を6.3%(0.589 vs. 0.554)上回る。 評価されたプールを通して、クロスファミリーの多様性を追加することは、幅広い音声タスクでは逆Uになる傾向にあるが、テキスト生成では安定的に劣化する傾向にあり、焦点を絞った音声合成セットが好まれる。

関連論文リスト

• Privacy-Preserving Deep Joint Source-Channel Coding with In-Loop Concept Erasure [1.7849339006560665]
  可変情報ボトルネック (VIB) エンコーダ内でのループ内最小二乗概念消去 (LEACE) の統合に寄与するLEAPSCを提案する。 追加のコンポーネント、すなわち、CVaR(Con Conditional Value-at-risk)のテール感度プライバシー、FiLM(Feature-wise linear modulation)信号-トノア比条件付け、チャンネル条件間の堅牢性の改善。 CelebA、FairFace、Google Speech Commandsでは、LEAPSCがそれぞれ0.862、0.755、0.925のタスク精度に達し、ラベルのみのフロアの前後で攻撃者の精度が向上した。
  論文  参考訳（メタデータ） (2026-09-11T18:02:27Z)
• Architecture-Dependent Causal Transfer of Activation States Across Large Language Models [51.56484100374058]
  内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。 生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。 現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
  論文  参考訳（メタデータ） (2026-08-17T09:53:27Z)
• Frequency-Decorrelated Temporal Ensembles for EEG--fNIRS Imagined-Handwriting Decoding [5.096813697804564]
  Multimodal Brain-Computer Interface Grand Challenge(英語版)は、4種類の主観非依存手書き-軌道分類のための同期脳波とfNIRSを提供する。 我々は,3つの相補的な脳波の周波数ビューに基づいて,コンパクトなマルチスケール時間ネットワークを訓練するタスク適応型システムFREDを提案する。 モダリティ監査では、fNIRSのみの復号が偶然(全体の0.2511)、fNIRSをEEGに追加すると精度が0.0025に変化している。
  論文  参考訳（メタデータ） (2026-08-04T06:08:11Z)
• Taste-aware music retrieval from audio embeddings [1.2031796234206136]
  音と味の相互対応は心理学や神経科学において確立されている。 我々は、コンテンツに基づく音楽情報検索ベンチマークとして味覚予測を定式化する。
  論文  参考訳（メタデータ） (2026-07-03T13:06:40Z)
• TRADE: Transducer-Augmented Decoder for Speech LLM [52.69726809996728]
  音声大言語モデル(Speech LLM)は、ストリーミング推論の原理的なメカニズムを欠いている。 音声エンコーダを共有するトランスデューサブランチでマルチモーダルLLMを増強するTRADE TRansducer-Augmented DEcoderを提案する。 3つの設計上の選択により、システムは正確で、ストリーミング可能で、長い形にすることができる。
  論文  参考訳（メタデータ） (2026-06-07T07:15:34Z)
• Deterministic Fuzzy Triage for Legal Compliance Classification and Evidence Retrieval [0.0]
  法律チームはますます、大量の契約上の証拠をトリアージするために機械学習を使用している。 多くのモデルは不透明で非決定論的であり、HIPAAやNERC-CIPのようなフレームワークと整合するのは難しい。 決定論的双対エンコーダと透明なファジィトリアージバンドに基づく簡単な再現可能な代替法について検討する。
  論文  参考訳（メタデータ） (2026-03-08T00:31:34Z)
• Decoder-only Conformer with Modality-aware Sparse Mixtures of Experts for ASR [9.626217175791572]
  本稿では,外部の音声エンコーダや事前訓練された大言語モデル(LLM)を使わずに,音声とテキストを単一のスタックで処理する,自動音声認識(ASR)のためのデコーダのみのコンバータを提案する。 モデルは、モダリティを意識した専門家のスパース混合(MoE: Disjoint expert pools for speech and text with hard routing and top-1 selection, embedded in hybrid-causality Conformer block)を使用する。 5言語に1つの多言語モデルを持つCommon Voice 16.1では、平均WERを12.2%から10.6%に削減する。
  論文  参考訳（メタデータ） (2026-02-13T02:53:54Z)
• OV-DINO: Unified Open-Vocabulary Detection with Language-Aware Selective Fusion [88.59397418187226]
  我々はOV-DINOと呼ばれる新しいオープン語彙検出手法を提案する。 言語対応の選択的融合を統一フレームワークに組み込んだ、さまざまな大規模データセットで事前トレーニングされている。 提案するOV-DINOのオープン語彙検出ベンチマークにおける性能評価を行った。
  論文  参考訳（メタデータ） (2024-07-10T17:05:49Z)
• Speaker Embedding-aware Neural Diarization: a Novel Framework for Overlapped Speech Diarization in the Meeting Scenario [51.5031673695118]
  重なり合う音声のダイアリゼーションを単一ラベル予測問題として再構成する。 話者埋め込み認識型ニューラルダイアリゼーション(SEND)システムを提案する。
  論文  参考訳（メタデータ） (2022-03-18T06:40:39Z)
• Any-to-Many Voice Conversion with Location-Relative Sequence-to-Sequence Modeling [61.351967629600594]
  本稿では,非並列音声変換手法である非並列音声変換法(seq2seq)を提案する。 本手法では,ボトルネック特徴抽出器(BNE)とセック2セック合成モジュールを組み合わせる。 主観的および主観的評価は,提案手法が自然性と話者類似性の両方において優れた音声変換性能を有することを示す。
  論文  参考訳（メタデータ） (2020-09-06T13:01:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。