論文の概要: PW-Pruning: Phase-Aware Expert Selection for Speech-Centric Omni-Modal Models

• arxiv url: http://arxiv.org/abs/2610.26891v1
• Date: Thu, 15 Oct 2026 12:36:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.377773
• Title: PW-Pruning: Phase-Aware Expert Selection for Speech-Centric Omni-Modal Models
• Title（参考訳）: PW-Pruning:音声中心のOmni-Modalモデルのためのフェーズアウェアエキスパート選択
• Abstract要約: 音声中心のオムニモーダルモデルに対するエキスパートプルーニングについて検討する。 DO-ACPの位相認識拡張であるPW-Pruningを提案する。 1層あたり128人のうち32人を保持することで、マッチングしたプール選択よりもMMAU-miniとMMSUの精度が向上することを示す。
• 参考スコア（独自算出の注目度）: 40.252816108043774
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse routing reduces per-token computation but leaves the full expert bank resident in memory. We study expert pruning for speech-centric omni-modal models, where pooling calibration statistics can obscure the different expert demands of acoustic-input processing and text-answer generation. We propose PW-Pruning, a phase-aware extension of DO-ACP that constructs separate importance-weighted kernels for acoustic-prefill and teacher-forced answer tokens, then combines phase-weighted log-determinant marginal gains to select one static expert bank. On Qwen3-Omni, retaining 32 of 128 experts per layer improves MMAU-mini and MMSU accuracy over matched pooled selection by 3.20 and 4.38 percentage points, respectively, after supervised fine-tuning, averaged over three runs. Single-phase and shuffled-label controls on this public backbone suggest that semantic phase information contributes to these gains. Experiments on a non-public Qwen3.5-Omni backbone and English-only zero-shot evaluation of Nemotron provide complementary evidence. Across the tested Qwen budgets, AU gains are larger under stronger pruning, without inference-time mask switching.
• Abstract（参考訳）: スパースルーティングは、トーケン毎の計算を削減しますが、完全に専門の銀行をメモリに残します。 本研究では,言語中心のオムニモーダルモデルのエキスパート・プルーニングについて検討し,キャリブレーション統計をプールすることで,音響入力処理とテキスト・アンサー生成の異なる専門家の要求を曖昧にすることができることを示した。 DO-ACPの位相対応拡張であるPW-Pruningを提案し、音響補充用カーネルと教師強化型応答トークンを分離し、位相重み付き対数決定限界ゲインを組み合わせて1つの静的エキスパートバンクを選択する。 Qwen3-Omniでは、1層あたり128人のうち32人がMMAU-miniとMMSUの精度を3.20と4.38のパーセンテージで改善している。 この公的なバックボーン上の単一位相およびシャッフルラベル制御は、意味相情報がこれらの利得に寄与することを示唆している。 非公的なQwen3.5-Omniバックボーンの実験と、英語のみによるネモトロンのゼロショット評価は、補完的な証拠となる。 試験されたQwen予算全体では、AUゲインはより強いプルーニングよりも大きく、仮面切替は行わない。

関連論文リスト

• recAMPLIFY: Large-Scale Pretraining of Recursive Protein Language Models [17.477704822494523]
  recAMPLIFYは、AMPLIFY-350Mと同じ2Tトークンでトレーニングされた155Mのユニークなパラメータを持つpLMである。 CASPコンタクトリカバリを改善し、4つのうち3つを教師付きタスクとし、特に折りたたみ精度を22.5%向上させた。 GMR (Gated Mixture Recurrence) は、それぞれのタンパク質を、再帰中に訪れた隠れた状態の確率重み付け混合物からデコードする。
  論文  参考訳（メタデータ） (2026-10-19T17:12:55Z)
• Smoothing the Top-k Exposure Boundary for Sparse Mixture-of-Experts [45.31502436468577]
  本稿では, 分散分布の局所化から, アクティブなエキスパート予算を$k$とするElastic Expert Routingを提案する。 サンプリング近傍は対称のままであるため、この手法は決定論的トレーニングの予測計算コストと一致する。 オフスクラッチ事前トレーニングでは、検証LM損失を0.04ドルまで減らし、静的のトップ$k$ベースラインを平均16ドルポイント上回る。
  論文  参考訳（メタデータ） (2026-10-08T09:31:19Z)
• Correlation-Guided Encoder Selection for Multi-Encoder Large Audio-Language Models [52.59216139491759]
  CUES (Correlation-gUided Selection) は、単エンコーダ評価のみから選択中の融合訓練なしで設定された候補をスコアする。 広いトラックAスイートでは、CUESはクロスファミリートリオ(Whisper-medium、mHuBERT-147、Dasheng-base)を選択する。 TrackBテキスト生成では、フォーカスされた音声のみのペア(mHuBERT-147とWavLM-base-plus)で再アンカーする。
  論文  参考訳（メタデータ） (2026-09-16T02:41:41Z)
• Flash-BoN: Instant Drafts for Inference-Time Scaling in Diffusion Models [91.19049123903137]
  テキストから画像への推論時間のスケーリングは、単純なBest-of-N$サンプリングからガイド付き検索方法まで進歩している。 これらのアプローチは、いつ、どの程度の頻度でデノベーションを行うかに焦点が当てられているが、生成自体のコストを固定として扱うのがほとんどである。 ウォールクロック評価では、単純なBoNが既にいくつかのガイド付き検索手法に適合または優れていたことを示す。
  論文  参考訳（メタデータ） (2026-07-05T19:02:32Z)
• TAME: Test-Time Adversarial Prompt Tuning via Mixture-of-Experts for Vision-Language Models [76.92890872338235]
  大規模事前学習型ビジョンランゲージモデル(VLM)は、強いゼロショット一般化を示すが、知覚不能な逆方向の摂動に対して非常に脆弱である。 ダウンストリームタスク固有のリトレーニングを必要とせずに堅牢性を高めるため,新しいテストタイムディフェンスであるTAMEを提案する。
  論文  参考訳（メタデータ） (2026-05-17T18:07:08Z)
• From Diet to Free Lunch: Estimating Auxiliary Signal Properties using Dynamic Pruning Masks in Speech Enhancement Networks [4.219150964619931]
  音声デバイスにおける音声強調(SE)は、しばしばVoice Activity Detection (VAD)、SNR推定、音響シーン分類のための補助モジュールによって支援される。 その結果,VADでは93%,ノイズ分類では84%,F0では0.86であった。 コントリビューションは2つあり、一方、下流予測タスクのレンズを通してDynCPモデルの創発的挙動を調べ、それらが何を学習しているかを明らかにし、他方、効率的なSEと同時推定のための総合解としてDynCPを再利用し、再提案する。
  論文  参考訳（メタデータ） (2026-02-11T09:09:20Z)
• DASA: Difficulty-Aware Semantic Augmentation for Speaker Verification [55.306583814017046]
  本稿では,話者認証のための難易度認識型セマンティック拡張(DASA)手法を提案する。 DASAは、話者埋め込み空間における多様なトレーニングサンプルを、無視できる余分な計算コストで生成する。 最も良い結果は、CN-Celeb評価セット上でのEER測定値の14.6%の相対的な減少を達成する。
  論文  参考訳（メタデータ） (2023-10-18T17:07:05Z)
• Bayesian Learning for Deep Neural Network Adaptation [57.70991105736059]
  音声認識システムにおける重要な課題は、しばしば話者差に起因する訓練データと評価データとのミスマッチを減らすことである。 モデルに基づく話者適応手法は、ロバスト性を確保するために十分な量のターゲット話者データを必要とすることが多い。 本稿では,話者依存型(SD)パラメータの不確かさをモデル化するための,ベイズ学習に基づくDNN話者適応フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-12-14T12:30:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。