論文の概要: Exploring Expert Specialization through Unsupervised Training in Sparse Mixture of Experts

• arxiv url: http://arxiv.org/abs/2509.10025v1
• Date: Fri, 12 Sep 2025 07:45:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-15 16:03:08.006112
• Title: Exploring Expert Specialization through Unsupervised Training in Sparse Mixture of Experts
• Title（参考訳）: スパースミキサーにおける教師なし訓練によるエキスパートスペシャライゼーションの探求
• Authors: Strahinja Nikolic, Ilker Oguz, Demetri Psaltis,
• Abstract要約: 本稿では,SMOE-VAEアーキテクチャを新たに構築したSparse Mixture of Experts Variational Autoencoder(SMOE-VAE)について検討する。 我々は、クイックDrawデータセットを用いて、教師なしのエキスパートルーティングを、地上構造ラベルでガイドされた教師付きベースラインと比較する。 意外なことに、教師なしルーティングは、常に優れた再構築性能を実現する。
• 参考スコア（独自算出の注目度）: 1.6143062786972913
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding the internal organization of neural networks remains a fundamental challenge in deep learning interpretability. We address this challenge by exploring a novel Sparse Mixture of Experts Variational Autoencoder (SMoE-VAE) architecture. We test our model on the QuickDraw dataset, comparing unsupervised expert routing against a supervised baseline guided by ground-truth labels. Surprisingly, we find that unsupervised routing consistently achieves superior reconstruction performance. The experts learn to identify meaningful sub-categorical structures that often transcend human-defined class boundaries. Through t-SNE visualizations and reconstruction analysis, we investigate how MoE models uncover fundamental data structures that are more aligned with the model's objective than predefined labels. Furthermore, our study on the impact of dataset size provides insights into the trade-offs between data quantity and expert specialization, offering guidance for designing efficient MoE architectures.
• Abstract（参考訳）: ニューラルネットワークの内部構造を理解することは、ディープラーニングの解釈可能性における根本的な課題である。 本稿は,SMOE-VAEアーキテクチャ(Sparse Mixture of Experts Variational Autoencoder)を提案することで,この問題に対処する。 我々は、クイックDrawデータセットを用いて、教師なしのエキスパートルーティングを、地上構造ラベルでガイドされた教師付きベースラインと比較する。 意外なことに、教師なしルーティングは、常に優れた再構築性能を実現する。 専門家は、しばしば人間の定義したクラスの境界を超えた意味のあるサブカテゴリ構造を特定することを学ぶ。 t-SNEビジュアライゼーションと再構成解析により,MoEモデルが事前定義されたラベルよりもモデルの目的に整合した基本データ構造をいかに明らかにするかを検討する。 さらに,データセットサイズの影響について検討した結果,データ量と専門家の専門化のトレードオフに関する知見が得られ,効率的なMoEアーキテクチャ設計のためのガイダンスが提供される。

関連論文リスト

• The Illusion of Specialization: Unveiling the Domain-Invariant "Standing Committee" in Mixture-of-Experts Models [18.428606280260187]
  エキスパートモデルの混合は、スパースルーティングによってドメインの特殊化を実現すると広く仮定されている。 我々は,個別の専門家ではなく,専門家グループレベルでのルーティング行動を分析するフレームワークであるCOMMITTEEAUDITを紹介する。 私たちは、スタンドング委員会が、ドメイン、レイヤ、およびルーティング予算をまたいだルーティングマスの大部分を一貫して捉えていることに気付きました。
  論文  参考訳（メタデータ） (2026-01-06T21:29:45Z)
• Adaptive Graph Mixture of Residual Experts: Unsupervised Learning on Diverse Graphs with Heterogeneous Specialization [17.89950704690598]
  我々は、グラフ上の不均一なMoEの堅牢で完全に教師なしのトレーニングを可能にする、原則化されたフレームワークであるADaMoREを紹介する。 構造認識型ゲーティングネットワークは、きめ細かいノードルーティングを実行する。 私たちの設計はデータ効率とトレーニングの安定性を改善します。
  論文  参考訳（メタデータ） (2025-10-24T07:18:24Z)
• Guided by the Experts: Provable Feature Learning Dynamic of Soft-Routed Mixture-of-Experts [11.437368205968573]
  本稿では,非線形ルータと専門家によるソフトローイング型MoEモデルの連成訓練のための収束保証を提供することにより,MoE理論を推し進める。 訓練後プルーニングは、効果的に冗長ニューロンを除去し、続いて、大域的最適性に到達した、確実に収束した微調整プロセスを示す。
  論文  参考訳（メタデータ） (2025-10-08T16:40:31Z)
• RouteMark: A Fingerprint for Intellectual Property Attribution in Routing-based Model Merging [69.2230254959204]
  我々は,統合されたMoEモデルにおけるIP保護のためのフレームワークであるRouteMarkを提案する。 我々の重要な洞察は、タスク固有の専門家は、探索入力の下で安定かつ独特なルーティング行動を示すことである。 属性と改ざん検出のために,類似性に基づくマッチングアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2025-08-03T14:51:58Z)
• On DeepSeekMoE: Statistical Benefits of Shared Experts and Normalized Sigmoid Gating [75.29576838162714]
  DeepSeekMoEは、共有専門家戦略の展開と正規化されたシグモイドゲーティングメカニズムの2つのユニークな特徴から際立っている。 本研究では, 共有専門家戦略と正規化シグモイドゲーティングの両方において, サンプル効率の利得を明らかにするために, 専門家推定タスクの収束解析を行う。
  論文  参考訳（メタデータ） (2025-05-16T04:58:18Z)
• A Survey of Model Architectures in Information Retrieval [59.61734783818073]
  2019年から現在までの期間は、情報検索(IR)と自然言語処理(NLP)における最大のパラダイムシフトの1つとなっている。 従来の用語ベースの手法から現代のニューラルアプローチまで,特にトランスフォーマーベースのモデルとそれに続く大規模言語モデル(LLM)の影響が注目されている。 今後の課題と今後の方向性について、先見的な議論で締めくくります。
  論文  参考訳（メタデータ） (2025-02-20T18:42:58Z)
• TopoFR: A Closer Look at Topology Alignment on Face Recognition [58.45515807380505]
  PTSAと呼ばれるトポロジカル構造アライメント戦略とSDEという硬質試料マイニング戦略を利用する新しいFRモデルであるTopoFRを提案する。 PTSAは永続ホモロジーを用いて入力空間と潜在空間の位相構造を整列し、構造情報を効果的に保存し、FRモデルの一般化性能を向上させる。 一般的な顔のベンチマーク実験の結果は、最先端の手法よりもTopoFRの方が優れていることを示している。
  論文  参考訳（メタデータ） (2024-10-14T14:58:30Z)
• Generalization Error Analysis for Sparse Mixture-of-Experts: A Preliminary Study [65.11303133775857]
  Mixture-of-Experts (MoE)計算アマルガメート予測 Sparse MoEは、限られた数、あるいは1つの専門家だけを選択的に扱うことで、経験的に保存され、時にはパフォーマンスが向上する一方で、オーバーヘッドを大幅に削減する。
  論文  参考訳（メタデータ） (2024-03-26T05:48:02Z)
• Segment Any Building [8.12405696290333]
  この原稿は、画像にセグメンテーションを構築するための最先端表現学習パラダイムを用いて、多様なデータセットをタンデムで活用する能力をアクセント化する。 我々の前衛合同訓練体制は, 都市インフラ整備, 防災戦略, 生態モニタリングなど, 重要な分野に重大な影響を及ぼし, アプローチのメリットを浮き彫りにしている。 この研究の結果は、学術的な追求の基盤を固めることと、セグメンテーション構築の分野における革新的な応用による地平線を埋めることの両方に繋がる。
  論文  参考訳（メタデータ） (2023-10-02T12:49:20Z)
• Uncovering the Inner Workings of STEGO for Safe Unsupervised Semantic Segmentation [68.8204255655161]
  近年,コンピュータビジョンにおける汎用的特徴抽出バックボーンのトレーニングにおいて,自己指導型事前学習戦略が顕著な成果を上げている。 DINOの自己蒸留技術は、暗黙のラベルを使わずに、潜在空間における教師なしクラスタリングや生成した特徴の意味的対応など、興味深い特徴を持っている。 教師なしセマンティックセグメンテーションコントラストのSTEGO法は、DINO-pre-trained Vision Transformerの特徴対応を蒸留し、最近その新しい状態を設定した。
  論文  参考訳（メタデータ） (2023-04-14T15:30:26Z)
• Diversified Dynamic Routing for Vision Tasks [36.199659460868496]
  本稿では,各レイヤが専門家の集合で構成された新しいアーキテクチャを提案する。 本手法では,データのパーティショニングに関する課題を解決するために,モデルを明示的に訓練する。 都市景観のセマンティックセグメンテーションとMS-COCOのオブジェクト検出とインスタンスセグメンテーションについていくつかの実験を行った。
  論文  参考訳（メタデータ） (2022-09-26T23:27:51Z)
• MoEC: Mixture of Expert Clusters [93.63738535295866]
  Sparsely Mixture of Experts (MoE)は、安価な計算オーバーヘッドを持つ有望なスケーリング能力のため、大きな関心を集めている。 MoEは密度の高い層をスパースの専門家に変換し、ゲートルーティングネットワークを使用して専門家を条件付きで活性化させる。 しかし、専門家の数が増加するにつれて、乱雑なパラメータを持つMoEはデータアロケーションの過度な調整とスパースに悩まされる。
  論文  参考訳（メタデータ） (2022-07-19T06:09:55Z)
• Interpretable Mixture of Experts [71.55701784196253]
  Interpretable Mixture of Experts (IME)は本質的に解釈可能なモデリングフレームワークである。 IMEは単一の解釈可能なモデルよりも正確であることが示され、既存の最先端のDeep Neural Networks(DNN)と正確に比較できる。 IMEの説明は、ユーザスタディを通じて一般的に使われているポストホックな説明法と比較される。
  論文  参考訳（メタデータ） (2022-06-05T06:40:15Z)
• Sparsely-gated Mixture-of-Expert Layers for CNN Interpretability [3.021134753248103]
  小さいゲートのMixture of Expert (MoE)層が大きなトランスのスケーリングに成功している。 本研究では,コンピュータビジョンタスクのCNNに対して,スパースMOE層を適用し,モデル解釈性への影響を解析する。
  論文  参考訳（メタデータ） (2022-04-22T09:40:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。