論文の概要: Dual Task Vector Merging: Leveraging Emotion and ASR Knowledge for Low-Resource Alzheimer's Disease Detection

• arxiv url: http://arxiv.org/abs/2610.24870v1
• Date: Sat, 17 Oct 2026 21:19:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-22 15:39:27.754361
• Title: Dual Task Vector Merging: Leveraging Emotion and ASR Knowledge for Low-Resource Alzheimer's Disease Detection
• Title（参考訳）: Dual Task Vector Merging:低リソースアルツハイマー病検出のための感情とASR知識の活用
• Abstract要約: 大規模な事前訓練された音声エンコーダの微調整は容易に過度に行われ、凍結プローブはエンコーダのタスク関連知識を未利用のまま残す。 本稿では,凍結したwav2vec 2.0バックボーンに適応するパラメータ効率の高いDual Task Vector Mergingを提案する。 ADReSSとADReSSoの実験では、二重マージはメインバイナリ設定で凍結プローブ、LoRA、フル微調整よりも改善されている。
• 参考スコア（独自算出の注目度）: 55.990179160175444
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Alzheimer's Disease (AD) detection from speech benefits from both paralinguistic and linguistic cues, yet model training is frequently constrained by limited data. Fine-tuning a large pretrained speech encoder can easily overfit, while a frozen probe leaves the encoder's task-relevant knowledge underutilized. Therefore, we propose Dual Task Vector Merging, a parameter-efficient method that adapts a frozen wav2vec 2.0 backbone using task knowledge learned outside the AD task. Specifically, we inject two task vectors, derived as weight deltas from emotion- and ASR-fine-tuned wav2vec 2.0 models, into each transformer layer. During AD training, only layer-wise merging coefficients and a linear classification head are optimized, updating less than 0.1% of the parameters required for full fine-tuning. Speaker-independent experiments on ADReSS and ADReSSo show that dual merging improves over frozen probes, LoRA, and full fine-tuning, in the main binary settings, and gives the best results when combined with LoRA. Evaluation on PROCESS further shows that our advantages transfer to three-class HC/MCI/dementia classification when paired with LoRA. Experiments under reduced training data (20%, 40%, and 80%) confirm reliable gains in low-resource settings.
• Abstract（参考訳）: Alzheimer's Disease (AD) は、パラ言語と言語の両方による音声の利点から検出されるが、モデルトレーニングは限られたデータによってしばしば制限される。 大規模な事前訓練された音声エンコーダの微調整は容易に過度に行われ、凍結プローブはエンコーダのタスク関連知識を未利用のまま残す。 そこで本研究では,ADタスクの外で学習したタスク知識を用いて,凍結したwav2vec 2.0バックボーンに適応するパラメータ効率の高いDual Task Vector Mergingを提案する。 具体的には、感情から重みデルタとして導出される2つのタスクベクトルと、ASRで調整したwav2vec 2.0モデルを各トランス層に注入する。 ADトレーニング中、レイヤーワイズマージ係数と線形分類ヘッドのみを最適化し、完全な微調整に必要なパラメータの0.1%未満を更新する。 ADReSSとADReSSoの話者非依存実験は、凍結プローブ、LoRA、およびフル微調整を主バイナリ設定で改善し、LoRAと組み合わせることで最良の結果が得られることを示した。 また,3クラスHC/MCI/dementia分類にLoRAを併用した場合の利点が示唆された。 トレーニングデータ(20%、40%、80%)の削減による実験では、低リソース環境での信頼性の向上が確認されている。

関連論文リスト

• Leakage-Robust Evaluation and Data-Scale Sensitivity of Attention-Enhanced Multi-Task Learning for Joint Fault Diagnosis and Remaining Useful Life Estimation [0.0]
  マルチタスクディープラーニングモデルは、スライディングウィンドウシーケンスがトレーニングとテストセットにどのように分割されるかによって影響を受ける可能性がある。 ナイーブな分割は、真の20-60%から99.9%に分類精度を低下させる可能性がある。 チャンクベース・リーク監査分割プロトコルを導入し,5種の種子,片方向ANOVA,Tukey HSDテストを用いて全モデルを評価した。
  論文  参考訳（メタデータ） (2026-07-17T20:33:36Z)
• Compressing Multi-Task Model for Autonomous Driving via Pruning and Knowledge Distillation [23.08627330312648]
  本稿では,タスク認識型安全なプルーニングと特徴レベルの知識蒸留を組み合わせたマルチタスクモデル圧縮フレームワークを提案する。 BDD100Kデータセットの実験では、圧縮されたモデルがパラメータの32.7%の削減を実現している。 圧縮されたモデルは、リアルタイムに32.7 FPSで動作する。
  論文  参考訳（メタデータ） (2025-11-03T18:43:15Z)
• Towards Robust and Parameter-Efficient Knowledge Unlearning for LLMs [25.91643745340183]
  大規模言語モデル(LLM)は、大量のテキストコーパスの事前学習を通じて、強い推論と記憶能力を示す。 これはプライバシーと著作権侵害のリスクを生じさせ、効率的な機械学習手法の必要性を強調している。 LLMの堅牢かつ効率的なアンラーニングを可能にする新しいフレームワークであるLoKUを提案する。
  論文  参考訳（メタデータ） (2024-08-13T04:18:32Z)
• Low-rank Adaptation Method for Wav2vec2-based Fake Audio Detection [57.537583869961885]
  自己教師型音声モデルは、偽音声検出において急速に発展している研究トピックである。 我々は、wav2vec2モデルにローランク適応(LoRA)を適用し、トレーニング済みモデルの重みを凍結し、トランスアーキテクチャの各層にトレーニング可能なランク分解行列を注入する。 317Mのトレーニングパラメータを含むwav2vec2モデルのAdamの微調整と比較して、LoRAはトレーニング可能なパラメータの数を198倍減らして同様の性能を実現した。
  論文  参考訳（メタデータ） (2023-06-09T01:43:41Z)
• Retrieval-Augmented Reinforcement Learning [63.32076191982944]
  過去の経験のデータセットを最適な行動にマップするために、ネットワークをトレーニングします。 検索プロセスは、現在のコンテキストで有用なデータセットから情報を取得するために訓練される。 検索強化R2D2はベースラインR2D2エージェントよりもかなり高速に学習し,より高いスコアを得ることを示す。
  論文  参考訳（メタデータ） (2022-02-17T02:44:05Z)
• Efficient Adapter Transfer of Self-Supervised Speech Models for Automatic Speech Recognition [0.1909808926064466]
  wav2vec 2.0やHuBERTといったトランスフォーマーベースのモデルが、音声領域の分野をリードしている。 本稿では,wav2vec 2.0 へのアダプタの適用により,下流 ASR タスクに必要なパラメータ数を削減することを提案する。
  論文  参考訳（メタデータ） (2022-02-07T14:20:54Z)
• Activation to Saliency: Forming High-Quality Labels for Unsupervised Salient Object Detection [54.92703325989853]
  本稿では,高品質なサリエンシキューを効果的に生成する2段階アクティベーション・ツー・サリエンシ(A2S)フレームワークを提案する。 トレーニングプロセス全体において、私たちのフレームワークにヒューマンアノテーションは関与していません。 本フレームワークは,既存のUSOD法と比較して高い性能を示した。
  論文  参考訳（メタデータ） (2021-12-07T11:54:06Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。