論文の概要: Structure Aware Neural Architecture Search for Mixture of Experts
- arxiv url: http://arxiv.org/abs/2608.29817v1
- Date: Sun, 30 Aug 2026 14:37:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.084004
- Title: Structure Aware Neural Architecture Search for Mixture of Experts
- Title（参考訳）: エキスパートの混在に対する構造認識型ニューラルネットワーク探索
- Abstract要約: 本稿では,専門家とデータ構造との整合性を探索変数として提示するアーキテクチャ検索フレームワークを提案する。
本研究では,不完全値の最大値と潜在変数混合の最大値とが一致し,一般化された期待-最大化法により解かれることを示す。
我々は,サロゲート誤差が要約可能であれば繰り返し収束することが証明され,各極限点において探索が生成する候補が存在しないことにより,真の目的が向上されることを証明した。
- 参考スコア（独自算出の注目度）: 3.100317701802537
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural Architecture Search (NAS) has so far rarely been applied to Mixture-of-Experts (MoE) models, and existing MoE designs leave the alignment between experts and the structure of the data to emerge on its own. We propose an architecture search framework that makes this alignment an explicit search variable: the assignment of data clusters to experts is optimised jointly with the per-expert architectures. We cast the joint problem as a cluster-aware likelihood maximisation, show that it coincides with the incomplete-data maximum likelihood of a latent-variable mixture, and solve it by a generalised Expectation-Maximisation procedure whose otherwise intractable expert-quality term is supplied by an adaptively refined surrogate. We prove that the iterates converge whenever the surrogate errors are summable, and that at every limit point no candidate the search produces improves the true objective. On a heterogeneous image-classification mixture the method recovers the underlying domain partition on 95% of clusters without ever observing domain labels, and on that benchmark and a four-domain time-series forecasting one alike it outperforms the MoE and NAS baselines that likewise use no label information.
- Abstract（参考訳）: ニューラルアーキテクチャサーチ(NAS)はこれまでのところ、Mixture-of-Experts(MoE)モデルにはほとんど適用されていない。
本稿では,このアライメントを明示的な探索変数とするアーキテクチャ検索フレームワークを提案する。
我々は、結合問題をクラスタ対応の最大化として、潜在変数混合物の不完全データ最大値と一致することを示すとともに、適応的に洗練されたサロゲートによって、難解な専門家品質項が供給される一般化期待最大化法により解決することを示した。
我々は,サロゲート誤差が要約可能であれば繰り返し収束することが証明され,各極限点において探索が生成する候補が存在しないことにより,真の目的が向上されることを証明した。
不均一な画像分類混合では、この手法は、ドメインラベルを観測せずに95%のクラスタで基礎となるドメイン分割を回復し、そのベンチマークと4つのドメイン時系列で、ラベル情報を使用しないMoEとNASのベースラインを上回っている。
関連論文リスト
- AnchorMoE: Interpretable Time Series Classification via Anchor-Routed MoE [51.994752158953084]
AnchorMoEは、解釈可能な構成別分類フレームワークである。
ローカルパッチのマルチビュー表現をエンコードし、専門の専門家にルーティングする。
実世界のベンチマークと合成ベンチマークの実験は、AnchorMoEが非常に競争力のある分類性能を達成することを示した。
論文 参考訳（メタデータ） (2026-06-02T13:30:54Z) - DAG-MoE: From Simple Mixture to Structural Aggregation in Mixture-of-Experts [56.175408382091796]
本研究では, 標準重み付け集約を構造集約に置き換えることにより, 専門家やルータを変更することなく, 専門家合成空間を拡大することを示す。
DAG-MoEは軽量モジュールを用いて,選択した専門家の最適な集約構造を自動的に学習するスパースMoEフレームワークである。
論文 参考訳（メタデータ） (2026-05-31T07:08:16Z) - Domain-Specialized Object Detection via Model-Level Mixtures of Experts [10.43224188026554]
MoEは、特殊なニューラルネットワークを組み合わせるための構造化されたアプローチを提供し、従来のアンサンブルよりも高い解釈性を提供する。
本稿では,意味的に不連続なデータサブセットをトレーニングしたYOLOベースの検出器と,専門家の貢献を動的に重み付けする学習ゲーティングネットワークを組み合わせたMoEアーキテクチャを提案する。
BDD100Kデータセットの実験は、提案されたMoEが標準アンサンブルアプローチを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2026-04-20T13:30:40Z) - A Reference Architecture for Agentic Hybrid Retrieval in Dataset Search [0.6299766708197881]
アドホックデータセット検索では、未特定の自然言語クエリとスパースで異質なメタデータレコードとをマッチングする必要がある。
本稿では,BM25語彙探索と密埋め込み検索を組み合わせたエージェントハイブリッド検索のための有界・監査可能な参照アーキテクチャを提案する。
ユーザ意図とプロバイダが承認したメタデータとの語彙ミスマッチを低減するために、オフラインメタデータ拡張ステップが導入される。
論文 参考訳（メタデータ） (2026-03-28T22:56:57Z) - Aggregation Alignment for Federated Learning with Mixture-of-Experts under Data Heterogeneity [27.791732281031695]
大規模言語モデル(LLM)は、計算量を削減しつつモデルのキャパシティをスケールするために、Mixture-of-Experts (MoE)アーキテクチャを採用するようになっている。
これらのMoEベースのLPMを微調整するには、分散データとプライバシに敏感なデータにアクセスする必要があることが多いため、集中的な微調整は現実的ではない。
我々は、ルーティングの一貫性と専門的なセマンティックアライメントを共同で実施するフェデレーションアライメントアライメントアライメントフレームワークであるFedAlign-MoEを提案する。
論文 参考訳（メタデータ） (2026-03-22T15:07:39Z) - Generative Data Transformation: From Mixed to Unified Data [57.84692191369066]
textscTaesarはtextbftarget-textbfal textbfregenerationのためのEmphdata中心のフレームワークである。
ドメイン間のコンテキストを対象のシーケンスにエンコードすることで、複雑な融合アーキテクチャを使わずに、標準的なモデルで複雑な依存関係を学習することができる。
論文 参考訳（メタデータ） (2026-02-26T08:30:09Z) - OFA-MAS: One-for-All Multi-Agent System Topology Design based on Mixture-of-Experts Graph Generative Models [57.94189874119267]
マルチエージェントシステム(MAS)は複雑な問題を解決するための強力なパラダイムを提供する。
現在のグラフ学習に基づく設計手法は、しばしば「1対1」のパラダイムに準拠している。
自然言語で記述されたタスクに対して適応的な協調グラフを生成する一対一のフレームワークOFA-TADを提案する。
論文 参考訳（メタデータ） (2026-01-19T12:23:44Z) - Federated Multi-Task Clustering [44.73672172790804]
本稿では,Federated Multi-Task Clustering(FMTC)という新しいフレームワークを提案する。
クライアント側パーソナライズされたクラスタリングモジュールとサーバ側テンソル相関モジュールの2つの主要コンポーネントで構成されている。
乗算器の交互方向法に基づく,効率的なプライバシ保護分散アルゴリズムを導出する。
論文 参考訳（メタデータ） (2025-12-28T12:02:32Z) - Automatic Expert Discovery in LLM Upcycling via Sparse Interpolated Mixture-of-Experts [6.091286069993439]
SIMoEは、高密度トレーニング済みのLarge Language Model(LLM)をMoEスタイルのモデルに微調整するために設計されたエンドツーエンドのアルゴリズムである。
命令チューニング中、SIMoEは指定された空間制約の下で複数の専門専門家を自動的に識別する。
論文 参考訳（メタデータ） (2025-06-14T18:34:38Z) - Personalized Federated Fine-Tuning for LLMs via Data-Driven Heterogeneous Model Architectures [23.45003063073793]
フェデレートラーニング(FL)は、生データにアクセスすることなく、大規模言語モデルの協調的な微調整を可能にする。
既存のファインチューニングへのアプローチは通常、一様モデルアーキテクチャを採用する。
データ駆動の異種モデルアーキテクチャを実現する軽量なパーソナライズFLフレームワークであるFedAMoLEを提案する。
論文 参考訳（メタデータ） (2024-11-28T13:20:38Z) - RGM: A Robust Generalizable Matching Model [49.60975442871967]
RGM(Robust Generalist Matching)と呼ばれる疎密マッチングのための深部モデルを提案する。
合成トレーニングサンプルと実世界のシナリオのギャップを狭めるために、我々は、疎対応基盤真理を持つ新しい大規模データセットを構築した。
さまざまな密集したスパースなデータセットを混ぜ合わせることができ、トレーニングの多様性を大幅に改善しています。
論文 参考訳（メタデータ） (2023-10-18T07:30:08Z) - Neural Ensemble Search for Uncertainty Estimation and Dataset Shift [67.57720300323928]
ニューラルネットワークのアンサンブルは、データセットシフトに対する精度、不確実性キャリブレーション、堅牢性の観点から、スタンドアロンネットワークよりも優れたパフォーマンスを実現する。
本稿では,アンサンブルをアンサンブルで自動構築する2つの手法を提案する。
得られたアンサンブルは、精度だけでなく、不確実なキャリブレーションやデータセットシフトに対する堅牢性の観点からも、深いアンサンブルよりも優れていることを示す。
論文 参考訳（メタデータ） (2020-06-15T17:38:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。