Fugu-MT 論文翻訳(概要): A Heterogeneous Mixture of Experts Framework for Interpretable Machine Learning

論文の概要: A Heterogeneous Mixture of Experts Framework for Interpretable Machine Learning

arxiv url: http://arxiv.org/abs/2608.24195v1
Date: Tue, 25 Aug 2026 08:00:40 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-26 14:09:34.865304
Title: A Heterogeneous Mixture of Experts Framework for Interpretable Machine Learning
Title（参考訳）: 解釈可能な機械学習のためのエキスパートフレームワークの不均一な混合
Abstract要約: Mixture-of-Experts (MoE)モデルは、複雑な予測問題を単純なローカル学習タスクに分割するための柔軟なフレームワークを提供する。既存の解釈可能なMoEアプローチであるMixture of Decision Trees (MoDT)は、均質な決定木の専門家を採用することで透明性を実現する。我々は、決定木、線形支持ベクトルマシン、二次判別分析を含む不均一な専門家ファミリーを導入することで、MoDTフレームワークを拡張した。
参考スコア（独自算出の注目度）: 0.30586855806896035
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Mixture-of-Experts (MoE) models provide a flexible framework for partitioning complex prediction problems into simpler local learning tasks through an input-dependent gating mechanism. Existing interpretable MoE approaches, such as Mixture of Decision Trees (MoDT), achieve transparency by employing homogeneous decision-tree experts, but this restricts the model to a single inductive bias across all regions of the feature space. We extend the MoDT framework by introducing heterogeneous expert families comprising decision trees, linear support vector machines, and quadratic discriminant analysis under a common probabilistic gating mechanism. To ensure coherent likelihood-based inference, non-probabilistic experts are calibrated to produce conditional class probabilities, allowing parameter estimation within the generalized Expectation-Maximization framework of MoDT. We further establish theoretical monotone ascent guarantees for the proposed heterogeneous gating updates, providing a justification for the optimization procedure. Experiments on a diverse collection of synthetic and real-world benchmark datasets demonstrate that the proposed framework adaptively specializes experts according to local data geometry, yielding interpretable expert assignments while achieving predictive performance competitive with homogeneous MoDT and Random Forests. The proposed approach combines interpretability, adaptive inductive bias selection, and probabilistic coherence within a unified mixture-of-experts framework.
Abstract（参考訳）: Mixture-of-Experts (MoE)モデルは、複雑な予測問題を入力依存ゲーティング機構を通じてより単純なローカル学習タスクに分割するための柔軟なフレームワークを提供する。既存の解釈可能なMoEアプローチであるMixture of Decision Trees (MoDT)は、均質な決定木の専門家を採用することで透明性を実現するが、これは特徴空間のすべての領域にまたがる単一の帰納バイアスにモデルを制限している。我々は、決定木、線形支持ベクトルマシン、および共通の確率ゲーティング機構の下での二次判別分析を含む不均一な専門家ファミリーを導入することで、MoDTフレームワークを拡張した。コヒーレントな確率に基づく推論を保証するため、非確率的専門家は条件付きクラス確率を生成するために校正され、MoDTの一般化期待最大化フレームワーク内でパラメータ推定が可能である。さらに、提案した異種ゲーティング更新の理論的単調上昇保証を確立し、最適化手順の正当化を提供する。多様な合成および実世界のベンチマークデータセットの収集実験により、提案するフレームワークは、局所データ幾何に基づいて専門家を適応的に専門化し、解釈可能な専門家の課題を導き、均質なMoDTやランダムフォレストと競合する予測性能を達成することを示した。提案手法は, 解釈可能性, 適応的帰納的バイアス選択, および実験用混合フレームワーク内での確率的コヒーレンスを組み合わせたものである。

関連論文リスト

AnchorMoE: Interpretable Time Series Classification via Anchor-Routed MoE [51.994752158953084]
AnchorMoEは、解釈可能な構成別分類フレームワークである。ローカルパッチのマルチビュー表現をエンコードし、専門の専門家にルーティングする。実世界のベンチマークと合成ベンチマークの実験は、AnchorMoEが非常に競争力のある分類性能を達成することを示した。
論文参考訳（メタデータ） (2026-06-02T13:30:54Z)
On Bayesian Softmax-Gated Mixture-of-Experts Models [95.06359956519759]
本研究では,ユビキタスソフトマックスに基づくゲーティング機構に着目し,実験モデルの混合について検討する。本稿では,パラメータ推定とボロノイ型損失に基づく収束保証の導出について分析する。これらの結果は、ソフトマックスゲーティングによる実験モデルの混合に関する最初の体系的理論的分析の1つである。
論文参考訳（メタデータ） (2026-04-22T13:37:00Z)
ABLE: Representing and Mapping LLMs via Attribution-Based Large-model Embedding [23.27523995613204]
本稿では、解釈可能性空間を利用してモデル表現を構築するフレームワークであるABLE(Attribution-based Large-model Embedding)を提案する。パラメーターに依存しない単語レベルのアライメントによって勾配に基づく特徴属性を集約することにより、ABLEはモデル固有の入力感度パターンをキャプチャする。我々のトレーニングフリーアプローチは、関係予測、モデルルーティング、ベンチマークスコア予測において、競争力または優れた性能を達成する。
論文参考訳（メタデータ） (2026-04-20T04:55:11Z)
Gaussian Joint Embeddings For Self-Supervised Representation Learning [0.0]
自己パラメトリック表現学習は、しばしば決定論的予測アーキテクチャに頼り、潜在空間におけるコンテキストとターゲットビューを整列させる。生成的関節モデルに基づく確率的代替案を提案する。
論文参考訳（メタデータ） (2026-03-26T00:54:54Z)
Mixture-of-experts Wishart model for covariance matrices with an application to Cancer drug screening [0.8594140167290097]
古典的混合モデルと新しい混合実験ウィッシュアートモデルの両方を通して異種共分散データを解析するための包括的ベイズフレームワークを提案する。 We developed a efficient Gibbs-within-Metropolis-Hastings sample algorithm to the geometry of the Wishart chance and the gating network。本稿では,がん薬剤感受性プロファイル(がん薬剤感受性プロファイル)という,我々の方法論の革新的な応用を挑戦的データセットに提示する。
論文参考訳（メタデータ） (2026-02-14T21:07:14Z)
Varying-Coefficient Mixture of Experts Model [0.0]
本稿では、ゲーティング関数とエキスパートモデルの両方におけるすべての係数効果をインデックス変数に沿って変化させることができるVarying-Coefficient Mixture of Experts (VCMoE)モデルを提案する。本稿では, 胚性マウスにおける単一遺伝子発現のデータセットを用いて, 遺伝子Satb2とBcl11bの関連性の時間的ダイナミクスを特徴づけるVCMoEモデルを提案する。
論文参考訳（メタデータ） (2026-01-05T00:23:30Z)
Hecto: Modular Sparse Experts for Adaptive and Interpretable Reasoning [0.0]
Hectoは軽量なMoEアーキテクチャで、時間的推論のためのGRUエキスパートと、スパースなTop-1ゲーティングメカニズムの下で静的抽象化のためのFFNNエキスパートを組み合わせる。ヘクトは、独立した入力表現を受け取っているにもかかわらず、パフォーマンスにおいて均質なベースラインにマッチまたは密接に追従する。 Hectoは条件計算の新しいベンチマークとして自らを確立している。
論文参考訳（メタデータ） (2025-06-28T15:03:43Z)
Convergence Rates for Softmax Gating Mixture of Experts [78.3687645289918]
機械学習モデルの効率性とスケーラビリティを向上するための効果的なフレームワークとして、Mixture of Expert (MoE)が登場した。 MoEの成功の中心は、適応的なソフトマックスゲーティングメカニズムであり、各専門家の入力に対する関連性を決定する責任を負い、それぞれの重みを動的に専門家に割り当てる。標準ソフトマックスゲーティングまたはその変種を備えたMoEの下で,パラメータ推定と専門家推定の収束解析を行い,密度とスパースゲーティングと階層ソフトマックスゲーティングを含む。
論文参考訳（メタデータ） (2025-03-05T06:11:24Z)
Generalization Error Analysis for Sparse Mixture-of-Experts: A Preliminary Study [65.11303133775857]
Mixture-of-Experts (MoE)計算アマルガメート予測 Sparse MoEは、限られた数、あるいは1つの専門家だけを選択的に扱うことで、経験的に保存され、時にはパフォーマンスが向上する一方で、オーバーヘッドを大幅に削減する。
論文参考訳（メタデータ） (2024-03-26T05:48:02Z)
Pseudo-Spherical Contrastive Divergence [119.28384561517292]
エネルギーベースモデルの最大学習確率を一般化するために,擬球面コントラスト分散(PS-CD)を提案する。 PS-CDは難解な分割関数を避け、学習目的の一般化されたファミリーを提供する。
論文参考訳（メタデータ） (2021-11-01T09:17:15Z)
Identification of Probability weighted ARX models with arbitrary domains [75.91002178647165]
PieceWise Affineモデルは、ハイブリッドシステムの他のクラスに対する普遍近似、局所線型性、同値性を保証する。本研究では,任意の領域を持つ固有入力モデル(NPWARX)を用いたPieceWise Auto Regressiveの同定に着目する。このアーキテクチャは、機械学習の分野で開発されたMixture of Expertの概念に従って考案された。
論文参考訳（メタデータ） (2020-09-29T12:50:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。