論文の概要: On the Utility and Factual Reliability of Pruned Mixture-of-Experts Models in the Biomedical Domain

• arxiv url: http://arxiv.org/abs/2607.01444v1
• Date: Wed, 01 Jul 2026 20:08:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-03 19:45:08.585387
• Title: On the Utility and Factual Reliability of Pruned Mixture-of-Experts Models in the Biomedical Domain
• Title（参考訳）: バイオメディカル領域におけるプレナートミクチャー・オブ・サーキットモデルの有用性と信頼性について
• Abstract要約: 構造化されたエキスパートプルーニングは、リソース制約された設定におけるデプロイメントコストを削減するための実践的なアプローチである。 ドメイン固有プルーニングが実用性と信頼性の両方に与える影響について検討する。
• 参考スコア（独自算出の注目度）: 29.502211172525563
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture-of-Experts (MoE) models offer inference speedups via selective activation but impose substantial memory requirements because the whole network must remain loaded. Structured expert pruning is a practical approach for reducing deployment costs in resource-constrained settings. However, prior studies primarily evaluate benchmark utility, leaving the effect of pruning on factual reliability underexplored, particularly in high-stakes domains such as biomedicine. In this paper, we investigate how domain-specific expert pruning affects both utility and reliability. We assess four MoE models, six pruning methods, and multiple pruning ratios across generation and classification tasks under in-domain (biomedical) and cross-domain settings. Results reveal that moderate pruning preserves in-domain utility without immediate reliability decline, although hallucination risks increase at extreme pruning ratios. When shifting to the general domain, both utility and reliability degrade rapidly. These findings indicate that safe compression depends heavily on the task and domain. Evaluating pruned MoE models solely on utility is inadequate for high-stakes deployment without reliability assessment.
• Abstract（参考訳）: Mixture-of-Experts (MoE)モデルは、選択的アクティベーションによって推論の高速化を提供するが、ネットワーク全体がロードされなければならないため、かなりのメモリ要件を課す。 構造化されたエキスパートプルーニングは、リソース制約された設定におけるデプロイメントコストを削減するための実践的なアプローチである。 しかし、先行研究は主にベンチマークの有用性を評価し、特にバイオメディシンのような高濃度の領域において、実際の信頼性にプルーニングが与える影響を過小評価している。 本稿では,ドメイン固有プルーニングが実用性と信頼性の両方に与える影響について検討する。 我々は,4つのMoEモデル,6つのプルーニング手法,および生成タスクと分類タスクにおける複数プルーニング比率を,ドメイン内(バイオメディカル)およびクロスドメイン設定下で評価した。 その結果、中程度の刈り込みは即時信頼性の低下を伴わずにドメイン内の実用性を保ちつつも、極度の刈り込み比で幻覚リスクは増大することがわかった。 一般ドメインに移行すると、ユーティリティと信頼性の両方が急速に低下する。 これらの結果は、安全な圧縮はタスクとドメインに大きく依存していることを示している。 実用性にのみ依存したプルーニングされたMoEモデルの評価は、信頼性評価なしでの高スループットデプロイメントには不十分である。

関連論文リスト

• When Load-Balancing Goes Too Far: Expert Pruning in Over-Dispersed Mixture-of-Experts Models [14.959514582161956]
  エキスパートプルーニングは、Mixture-of-Experts(MoE)モデルのメモリとサービスコストを削減します。 この仮定は、トークンがほぼ一様に専門家に分散される過分散ルーティングの下で分解されるのを観察する。 筆者らは,現在最も影響の低いドメインに対して,重要度を反復的に向上させるドメイン認識手法であるMinimax Expert Score Allocation (MESA)を提案する。
  論文  参考訳（メタデータ） (2026-09-03T20:21:20Z)
• The Impact of CutMix on Reliability and Robustness in Semantic Segmentation [8.896968234159788]
  セマンティックセグメンテーションの精度,キャリブレーション,不確実性に及ぼすCutMixの影響について検討した。 以上の結果から,CutMixはセグメンテーション精度にわずかしか影響を与えていないが,信頼性は一貫して向上していることがわかった。 この区別は、信頼性の高い信頼性見積が生のパフォーマンスと同じくらい重要である、安全クリティカルなデプロイメントにとって重要である。
  論文  参考訳（メタデータ） (2026-08-19T09:16:12Z)
• It Takes a MAESTRO To Prune Bad Experts [23.29849824707685]
  スパースアクティベートされたMixture-of-Experts (MoE) 言語モデルはトークン当たりのパラメータをわずかに活性化することで、顕著な推論効率を達成する。 既存の構造化プルーニング法は、主に高密度変圧器用に設計されており、MoEルーティングの相互依存性に欠ける局所的導出を用いて、専門家の重要度を評価する。 自動回帰エキスパートアクティベーショントラジェクトリをモデル化するMOEアーキテクチャ用に設計された構造化プルーニングフレームワークであるMAESTROを紹介する。
  論文  参考訳（メタデータ） (2026-07-09T15:32:54Z)
• Attribution-Guided and Coverage-Maximized Pruning for Structural MoE Compression [74.00650541246374]
  そこで本研究では,MoEモデルに適した構造解析フレームワークを提案する。 我々のアプローチはメモリフットプリントを5.27$times削減し、最先端のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-06-16T06:53:27Z)
• AnchorMoE: Interpretable Time Series Classification via Anchor-Routed MoE [51.994752158953084]
  AnchorMoEは、解釈可能な構成別分類フレームワークである。 ローカルパッチのマルチビュー表現をエンコードし、専門の専門家にルーティングする。 実世界のベンチマークと合成ベンチマークの実験は、AnchorMoEが非常に競争力のある分類性能を達成することを示した。
  論文  参考訳（メタデータ） (2026-06-02T13:30:54Z)
• Probabilistic Feature Imputation and Uncertainty-Aware Multimodal Federated Aggregation [0.2283362795949404]
  Probabilistic Feature Imputation Network は不確実性推定をインプット特徴とともに生成する。 CheXpert,NIH Open-I,PadChestを用いた人工胸部X線分類実験は決定論的基準線よりも一貫した改善を示した。
  論文  参考訳（メタデータ） (2026-04-14T17:03:14Z)
• Pruning Cannot Hurt Robustness: Certified Trade-offs in Reinforcement Learning [6.883578421923203]
  我々は,国家のマルコフ決定プロセスにおけるプルーニングの下での確証された堅牢性に関する最初の理論的枠組みを開発する。 クリーンタスク性能,プルーニングによるパフォーマンス損失,ロバスト性向上を両立させる新しい3段階の後悔分解を導出する。
  論文  参考訳（メタデータ） (2025-10-14T19:35:27Z)
• Aurora: Are Android Malware Classifiers Reliable and Stable under Distribution Shift? [51.12297424766236]
  AURORAは、その信頼性と運用上のレジリエンスに基づいて、マルウェア分類器を評価するためのフレームワークである。 AURORAは、ポイント・イン・タイムのパフォーマンスを超えるように設計されたメトリクスのセットによって補完される。 さまざまなドリフトのデータセットにわたるSOTAフレームワークの脆弱性は、ホワイトボードへの復帰の必要性を示唆している。
  論文  参考訳（メタデータ） (2025-05-28T20:22:43Z)
• An Uncertainty-guided Tiered Self-training Framework for Active Source-free Domain Adaptation in Prostate Segmentation [10.061310311839856]
  Source-free Domain Adaptation (SFDA)は、プライバシとセキュリティ上の問題に対処するために、深いセグメンテーションモデルを適用するための有望なテクニックである。 安定したドメイン適応を実現するための新しい不確実性誘導型自己学習(UGTST)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-03T08:13:16Z)
• Generalizability of Adversarial Robustness Under Distribution Shifts [57.767152566761304]
  本研究は, 実証的, 証明された敵対的堅牢性間の相互作用と, ドメインの一般化を両立させるための第一歩を踏み出した。 複数のドメインでロバストモデルをトレーニングし、その正確性とロバスト性を評価する。 本研究は, 現実の医療応用をカバーするために拡張され, 敵の増大は, クリーンデータ精度に最小限の影響を伴って, 強靭性の一般化を著しく促進する。
  論文  参考訳（メタデータ） (2022-09-29T18:25:48Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• On the Practicality of Deterministic Epistemic Uncertainty [106.06571981780591]
  決定論的不確実性法(DUM)は,分布外データの検出において高い性能を達成する。 DUMが十分に校正されており、現実のアプリケーションにシームレスにスケールできるかどうかは不明だ。
  論文  参考訳（メタデータ） (2021-07-01T17:59:07Z)
• Blind Adversarial Pruning: Balance Accuracy, Efficiency and Robustness [3.039568795810294]
  本稿では, 段階的プルーニング過程において, 圧縮比が異なるプルーニングモデルのロバスト性について検討する。 次に、クリーンなデータと逆の例を段階的なプルーニングプロセスに混合する性能を検証し、逆プルーニング(英語版)と呼ぶ。 AERのバランスを改善するために,視覚的対位法(BAP)というアプローチを提案し,段階的対位法に視覚的対位法を取り入れた。
  論文  参考訳（メタデータ） (2020-04-10T02:27:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。