論文の概要: Adaptive Fisher-Whitened Cross-Covariance for Low-Resource Speech Recognition

• arxiv url: http://arxiv.org/abs/2609.29800v1
• Date: Thu, 24 Sep 2026 13:37:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.956327
• Title: Adaptive Fisher-Whitened Cross-Covariance for Low-Resource Speech Recognition
• Title（参考訳）: 低音源音声認識のための適応型魚毛交叉共振器
• Abstract要約: タスクインフォームド・サブスペースの構築は低音源音声適応に有効であることを示す。 本研究は, 事前学習において, 表現が不十分な言語に対して, 適切に表現された言語とともにこれらのアプローチを評価することを目的とする。
• 参考スコア（独自算出の注目度）: 2.2945816941393766
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adapting multilingual speech foundation models to low-resource languages remains difficult, especially for languages that are poorly represented during pre-training. While parameter-efficient fine-tuning (PEFT) reduces the cost of adapting large models, conventional approaches such as LoRA rely on generic low-rank parameterizations and do not explicitly use downstream task information to define the adaptation subspace. To investigate whether task-informed PEFT can better support low-resource ASR, we apply Fisher-Whitened Cross-Covariance Analysis (FCCA) to Whisper and Qwen3-ASR, and introduce two complementary extensions: Asymmetric-Coupled FCCA (AC-FCCA), which exploits structured cross-layer sharing, and Adaptive-Rank FCCA (AR-FCCA), which reallocates adaptation capacity across projection matrices under a fixed parameter budget. Under controlled multilingual experiments, we evaluate these approaches on languages that are poorly represented or unsupported during pre-training alongside well-represented languages. Standard FCCA is competitive with, and usually outperforms, trainable-parameter-budget-matched LoRA. AR-FCCA provides the most consistent improvement over standard FCCA across both model architectures, with statistically significant gains in several evaluation settings, while retaining the same number of trainable parameters. These results show that task-informed subspace construction can be effective for low-resource speech adaptation, and that adaptive rank allocation provides a robust way to improve parameter efficiency without increasing model capacity.
• Abstract（参考訳）: 低リソース言語への多言語音声基礎モデルの適応は依然として困難であり、特に事前学習中に表現が不十分な言語ではなお困難である。 パラメータ効率の細かい調整(PEFT)は大きなモデルを適用するコストを削減するが、LoRAのような従来の手法は一般的な低ランクパラメータ化に依存しており、適応部分空間を定義するためにダウンストリームタスク情報を明示的に使用していない。 タスクインフォームのPEFTが低リソースASRをサポートできるかを検討するため、WhisperとQwen3-ASRにFisher-Whitened Cross-Covariance Analysis (FCCA)を適用し、構造化層間共有を利用するAsymmetric-Coupled FCCA (AC-FCCA)と、固定パラメータ予算の下でプロジェクション行列間の適応能力を実現するAdaptive-Rank FCCA (AR-FCCA)の2つの補完的拡張を導入する。 制御された多言語実験では, 事前学習中に表現が不十分な言語や, サポートされていない言語に対して, 適切に表現された言語とともにこれらのアプローチを評価する。 標準のFCCAは、訓練可能なパラメートル予算のLoRAと競合し、通常より優れています。 AR-FCCAは、両方のモデルアーキテクチャで標準のFCCAよりも一貫した改善を提供する。 これらの結果から,タスクインフォームド・サブスペース構築は低リソース音声適応に有効であり,適応的ランクアロケーションはモデルキャパシティを増大させることなくパラメータ効率を向上するための堅牢な方法であることがわかった。

関連論文リスト

• Small Data, Big Noise: Adversarial Training for Robust Parameter-Efficient Fine-Tuning [3.0344469521198003]
  我々は,PEFTに敵対的訓練をもたらす統一的な枠組みを提案する。 このフレームワークは、敵の訓練とパラメータ効率の適応の、あまり議論のつかない交差点に対処する。 PEFTのデプロイメントは、データの不足と言語的多様性が共存する実世界のシナリオにおいて、より信頼性の高いものになる。
  論文  参考訳（メタデータ） (2026-06-09T09:11:33Z)
• PERL: Parameter Efficient Reasoning in CLIP Latent Space [11.607257085664727]
  PERLは、凍結したCLIPモデルを拡張し、コンパクトな共用推論モジュールを繰り返し適用する軽量適応フレームワークである。 PerLは、高速適応数ショット設定で比較した手法の中で最高のパラメータ性能トレードオフを達成する。 以上の結果から,反復潜在推論は,ディスクネイティブな視覚言語モデルにおけるパラメータスケーリングに相補的適応機構を提供する可能性が示唆された。
  論文  参考訳（メタデータ） (2026-05-18T14:25:25Z)
• MiCA Learns More Knowledge Than LoRA and Full Fine-Tuning [0.4010598744735378]
  MiCA(Minor Component Adaptation)は、大規模言語モデルのための新しいパラメータ効率の高い微調整手法である。 MiCAはモデル表現の未使用部分空間の適応にフォーカスしている。
  論文  参考訳（メタデータ） (2026-04-02T06:52:44Z)
• Adapting Where It Matters: Depth-Aware Adaptation for Efficient Multilingual Speech Recognition in Low-Resource Languages [11.808922632545874]
  我々は多言語自動音声認識モデルを分析し、U字型適応パターンを明らかにする。 本稿では,各レイヤの役割に応じて適応能力を割り当てる,深層対応モデル適応フレームワークDAMAを提案する。 Damaは、最先端の精度とトレーニング可能なパラメータを80%削減し、極端なデータ不足下で29%のエラー削減を実現し、ベースラインよりもメモリ、トレーニング時間、計算効率を大幅に改善する。
  論文  参考訳（メタデータ） (2026-02-01T04:18:31Z)
• SSVD-O: Parameter-Efficient Fine-Tuning with Structured SVD for Speech Recognition [65.90944188787786]
  本稿では,構造化SVD誘導(SSVD)ファインチューニング法の拡張であるSSVD-Outer(SSVD-O)を紹介する。 自動音声認識のためのPEFTにおいて,モデル部分空間間のパラメータ予算配分を初めて体系的に解析する。 その結果, SSVD-O は連続的に性能ギャップを細調整に狭めつつ, 一般化を改善し, 破滅的な忘れを軽減できることが示唆された。
  論文  参考訳（メタデータ） (2026-01-18T22:16:44Z)
• High-Rank Structured Modulation for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 textbfStructured textbfMOdulation textbfAdapterは、より高いランクを維持しながらトレーニング可能なパラメータを少なくする。
  論文  参考訳（メタデータ） (2026-01-12T13:06:17Z)
• Adapformer: Adaptive Channel Management for Multivariate Time Series Forecasting [49.40321003932633]
  Adapformerは、効果的なチャネル管理を通じてCIとCD方法論のメリットをマージする、トランスフォーマーベースの高度なフレームワークである。 Adapformerは既存のモデルよりも優れた性能を実現し、予測精度と計算効率の両方を向上させる。
  論文  参考訳（メタデータ） (2025-11-18T16:24:05Z)
• Regularizing Subspace Redundancy of Low-Rank Adaptation [54.473090597164834]
  本稿では、マッピング部分空間間の冗長性を明示的にモデル化し、低ランク適応のサブスペース冗長性を適応的に正規化する手法であるReSoRAを提案する。 提案手法は、視覚言語検索や標準的な視覚分類ベンチマークにおいて、様々なバックボーンやデータセットにまたがる既存のPETL手法を一貫して促進する。 トレーニングの監督として、ReSoRAは追加の推論コストなしで、プラグイン・アンド・プレイ方式で既存のアプローチにシームレスに統合することができる。
  論文  参考訳（メタデータ） (2025-07-28T11:52:56Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。