論文の概要: SkillFormer: Skill-Decomposed Adaptation for Audio Language Models

• arxiv url: http://arxiv.org/abs/2610.07533v1
• Date: Tue, 06 Oct 2026 00:00:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.720034
• Title: SkillFormer: Skill-Decomposed Adaptation for Audio Language Models
• Title（参考訳）: SkillFormer: 音声言語モデルのためのスキル分解型適応
• Abstract要約: 我々は、音の理解をスキル固有の低ランクアダプターに分解するtextbfSkillFormerを提案する。 SkillFormerはベースモデルのパラメータの4%未満を追加し、オーディオエンコーダや言語バックボーンを変更する必要はない。 平均精度は2.5から4.1ポイント向上し、知覚、推論、意味的なサブカテゴリ間での利得のバランスがとれる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Audio language models must handle dozens of distinct skills, from pitch comparison and speaker counting to musical tempo estimation and emotion recognition. Joint training on all skills at once causes interference: gains on one skill often come at the cost of another. We propose \textbf{SkillFormer}, which decomposes audio understanding into skill-specific low-rank adapters and composes them at inference time through a learned router. The router examines the question to decide which adapters to activate and how much weight each should carry, so that a pitch query engages different parameters than a genre classification query. An alternating training schedule updates each adapter on its own skill cluster before jointly calibrating the router, preventing the gradient conflicts that arise in standard multi-task optimization. SkillFormer adds fewer than 4\% of the base model's parameters and requires no changes to the audio encoder or language backbone. Evaluated on three architecturally distinct models across MMSU, MMAU-Pro, and MMAR, it raises the average accuracy by 2.5 to 4.1 points, with balanced gains across perception, reasoning, and semantic subcategories.
• Abstract（参考訳）: 音声言語モデルは、ピッチ比較や話者カウントから音楽テンポ推定や感情認識まで、何十もの異なるスキルを扱わなければならない。 一度にすべてのスキルの合同トレーニングは干渉を引き起こす:あるスキルの獲得は、しばしば別のスキルのコストで行われる。 本稿では,スキル固有の低ランクアダプタに音声理解を分解し,学習ルータを介して推論時に合成する。 ルータは、どのアダプタをアクティベートするか、どのくらいの重量を持てば良いかを決定するための質問を調べ、ピッチクエリはジャンル分類クエリとは異なるパラメータを係わる。 異なるトレーニングスケジュールは、ルータを共同調整する前に、それぞれのアダプタを独自のスキルクラスタで更新する。 SkillFormerは、ベースモデルのパラメータの4\%未満を追加し、オーディオエンコーダや言語バックボーンを変更する必要はない。 MMSU(英語版)、MMAU-Pro(英語版)、MMAR(英語版)の3つの異なるアーキテクチャモデルに基づいて評価され、平均精度を2.5から4.1ポイント上げ、知覚、推論、セマンティックサブカテゴリ間での利得が均衡している。

関連論文リスト

• AdaLoop: Adaptive-Depth Latent Reasoning for Audio Language Models [0.0]
  我々はAdaLoopを紹介した。AdaLoopは軽量のリカレントモジュールで、与えられたオーディオ-クエクションペアが要求する遅延改善ステップの数を学習する。 AdaLoopは平均精度を2.9から3.8ポイント上げ、知覚量の多いサブタスクでは最大となる。
  論文  参考訳（メタデータ） (2026-10-03T11:27:41Z)
• Improving Dialectal Slot and Intent Detection with Auxiliary Tasks: A Multi-Dialectal Bavarian Case Study [22.89563355840371]
  スロット・インテント検出(SID)のためのゼロショット変換学習の検討 複数のバイエルン方言に焦点を当て、ミュンヘン方言の新しいデータセットをリリースする。 バイエルンにおける補助的なタスクで訓練されたモデルを評価し,共同マルチタスク学習と中間タスク学習を比較した。 補助タスクは意図分類よりもスロットフィリングに肯定的な効果があり,中間タスクトレーニングはより一貫したパフォーマンス向上をもたらすことがわかった。
  論文  参考訳（メタデータ） (2025-01-07T15:21:07Z)
• ADAPTERMIX: Exploring the Efficacy of Mixture of Adapters for Low-Resource TTS Adaptation [18.84413550077318]
  本研究では,異なる話者の独特の特徴を学習するために「アダプタの混合」手法を提案する。 提案手法は,話者選好試験において5%の顕著な改善がみられ,ベースラインよりも優れていた。 これはパラメータ効率のよい話者適応において重要な成果であり、この種の最初のモデルの1つである。
  論文  参考訳（メタデータ） (2023-05-29T11:39:01Z)
• Pre-Finetuning for Few-Shot Emotional Speech Recognition [20.894029832911617]
  我々は話者適応を数発の学習問題と見なしている。 そこで本研究では,知識を数発の下流分類対象に抽出する難解な課題に対する事前学習音声モデルを提案する。
  論文  参考訳（メタデータ） (2023-02-24T22:38:54Z)
• Continual Learning for On-Device Speech Recognition using Disentangled Conformers [54.32320258055716]
  本稿では,LibriVoxオーディオブックから派生した話者固有領域適応のための連続学習ベンチマークを提案する。 本稿では,DistangledCLと呼ばれる計算効率のよい連続学習アルゴリズムを提案する。 実験の結果, DisConformer モデルは一般的な ASR のベースラインよりも有意に優れていた。
  論文  参考訳（メタデータ） (2022-12-02T18:58:51Z)
• Know your audience: specializing grounded language models with listener subtraction [20.857795779760917]
  我々はDixitからインスピレーションを得て、マルチエージェント画像参照ゲームを定式化する。 この対照的なマルチエージェント設定において,CLIPビジョンエンコーダと大規模言語モデル間の注意ベースのアダプタを微調整することで,文脈依存の自然言語特殊化がもたらされることを示す。
  論文  参考訳（メタデータ） (2022-06-16T17:52:08Z)
• Self-supervised Learning with Random-projection Quantizer for Speech Recognition [51.24368930992091]
  音声認識のためのシンプルで効果的な自己教師型学習手法を提案する。 このアプローチは、離散ラベルの形で、マスキングされた音声信号を予測するモデルを学ぶ。 非ストリーミングモデルを用いた自己教師付き学習を用いて、従来の作業と同じような単語エラー率を達成する。
  論文  参考訳（メタデータ） (2022-02-03T21:29:04Z)
• Composable Sparse Fine-Tuning for Cross-Lingual Transfer [56.86192078426372]
  事前学習されたモデルのパラメータを微調整することが、伝達学習の主流のアプローチとなっている。 本稿では,これら2つの望ましい特性を持つファインチューニング手法を提案する。 これは、ゼロショットのクロスランガル転送において、大きなマージンでアダプタを上回ります。
  論文  参考訳（メタデータ） (2021-10-14T17:27:29Z)
• Many-to-Many Voice Transformer Network [55.17770019619078]
  本稿では,S2S学習フレームワークに基づく音声変換(VC)手法を提案する。 これにより、音声特性、ピッチ輪郭、入力音声の持続時間の同時変換が可能となる。
  論文  参考訳（メタデータ） (2020-05-18T04:02:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。