論文の概要: MME: Mixture of Mesh Experts with Random Walk Transformer Gating
- arxiv url: http://arxiv.org/abs/2603.00828v1
- Date: Sat, 28 Feb 2026 22:13:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-03 19:50:56.377358
- Title: MME: Mixture of Mesh Experts with Random Walk Transformer Gating
- Title(参考訳): MME:ランダムウォークトランスゲーティングによるメッシュエキスパートの混在
- Authors: Amir Belder, Ayellet Tal,
- Abstract要約: 本稿では,多種多様なアプローチの相補的強みを生かした,新たなMixture of Experts(MoE)フレームワークを提案する。
そこで我々は,各専門家が優れたクラスを専門に扱うことを奨励する新しいゲートアーキテクチャを提案する。
我々のフレームワークはメッシュ分類、検索、セマンティックセグメンテーションタスクにおける最先端の結果を達成する。
- 参考スコア(独自算出の注目度): 13.564417897372875
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, various methods have been proposed for mesh analysis, each offering distinct advantages and often excelling on different object classes. We present a novel Mixture of Experts (MoE) framework designed to harness the complementary strengths of these diverse approaches. We propose a new gate architecture that encourages each expert to specialise in the classes it excels in. Our design is guided by two key ideas: (1) random walks over the mesh surface effectively capture the regions that individual experts attend to, and (2) an attention mechanism that enables the gate to focus on the areas most informative for each expert's decision-making. To further enhance performance, we introduce a dynamic loss balancing scheme that adjusts a trade-off between diversity and similarity losses throughout the training, where diversity prompts expert specialization, and similarity enables knowledge sharing among the experts. Our framework achieves state-of-the-art results in mesh classification, retrieval, and semantic segmentation tasks. Our code is available at: https://github.com/amirbelder/MME-Mixture-of-Mesh-Experts.
- Abstract(参考訳): 近年,メッシュ解析のための様々な手法が提案されている。
本稿では,これらの多種多様なアプローチの相補的強みを生かした,新たなMixture of Experts(MoE)フレームワークを提案する。
そこで我々は,各専門家が優れたクラスを専門に扱うことを奨励する新しいゲートアーキテクチャを提案する。
設計には,(1)メッシュ表面をランダムに歩くことにより,個々の専門家が参加する領域を効果的に捉え,(2)ゲートが各専門家の意思決定に最も有意義な領域に集中できるようにする,という2つの重要なアイデアが導かれる。
さらに,多様性と類似性損失のトレードオフをトレーニング全体を通して調整し,多様性が専門家の専門化を促し,類似性が専門家間の知識共有を可能にする動的損失分散方式を導入する。
我々のフレームワークはメッシュ分類、検索、セマンティックセグメンテーションタスクにおける最先端の結果を達成する。
私たちのコードは、https://github.com/amirbelder/MME-Mixture-of-Mesh-Expertsで利用可能です。
関連論文リスト
- pMoE: Prompting Diverse Experts Together Wins More in Visual Adaptation [68.3777121585281]
pMoEと呼ばれる新しいMixture-of-Expertsプロンプトチューニング手法を提案する。
提案したpMoEは、幅広いタスクに対するモデルの汎用性と適用性を著しく向上させる。
本研究は,一般領域と医療領域の分類・分節を含む47の適応タスクにまたがる広範囲な実験を行った。
論文 参考訳(メタデータ) (2026-02-26T12:27:06Z) - Training Diverse Graph Experts for Ensembles: A Systematic Empirical Study [15.65200571307458]
本研究は,GNNアンサンブルのためのエキスパートレベルの多様化技術に関する最初の系統的研究である。
14のノード分類ベンチマークで20の多様化戦略を評価した。
総合評価では,各手法を専門家の多様性,相補性,アンサンブル性能の観点から検討した。
論文 参考訳(メタデータ) (2025-10-21T07:40:51Z) - Generalized Fine-Grained Category Discovery with Multi-Granularity Conceptual Experts [81.68203255687051]
Generalized Category Discoveryは、部分的にラベル付けされたカテゴリの知識を活用することでラベル付けされていないデータをクラスタリングする、オープンワールドな問題である。
既存のアプローチでは、視覚データにおいて複数の粒度の概念情報を活用できない。
精度の高いカテゴリ発見のための多粒度知識を統合した多粒度エキスパートフレームワークを提案する。
論文 参考訳(メタデータ) (2025-09-30T13:25:11Z) - Multi-Task Dense Prediction Fine-Tuning with Mixture of Fine-Grained Experts [22.936728143586443]
密集予測のためのマルチタスク学習(MTL)は有望な結果を示しているが、タスク固有の特殊化と共有表現のバランスをとる上ではまだ課題に直面している。
3つの重要なイノベーションとファインチューニングを組み合わせることで、MoEベースのMTLモデルを探索する、ファイングラインド・ミックス・オブ・エキスパートアーキテクチャを導入する。
論文 参考訳(メタデータ) (2025-07-25T08:59:30Z) - Advancing Expert Specialization for Better MoE [22.88847592702946]
Mixture-of-Experts (MoE)モデルは、入力毎に専門家のサブセットだけを活性化することにより、大きな言語モデル(LLM)の効率的なスケーリングを可能にする。
一般的に使用される補助負荷分散損失は、しばしば専門家の重複と過度に均一なルーティングをもたらす。
本稿では,2つの相補的目的を取り入れた,シンプルで効果的な解を提案する。
論文 参考訳(メタデータ) (2025-05-28T13:09:47Z) - On DeepSeekMoE: Statistical Benefits of Shared Experts and Normalized Sigmoid Gating [75.29576838162714]
DeepSeekMoEは、共有専門家戦略の展開と正規化されたシグモイドゲーティングメカニズムの2つのユニークな特徴から際立っている。
本研究では, 共有専門家戦略と正規化シグモイドゲーティングの両方において, サンプル効率の利得を明らかにするために, 専門家推定タスクの収束解析を行う。
論文 参考訳(メタデータ) (2025-05-16T04:58:18Z) - LFME: A Simple Framework for Learning from Multiple Experts in Domain Generalization [61.16890890570814]
ドメイン一般化(Domain Generalization, DG)手法は、複数のソースドメインからのトレーニングデータを使用することで、目に見えないターゲットドメインにおける優れたパフォーマンスを維持することを目的としている。
この作業では、DGを改善するために、ターゲットモデルをすべてのソースドメインの専門家にすることを目的とした、複数の専門家(LFME)からの学習と呼ばれる、シンプルだが効果的なフレームワークを導入している。
論文 参考訳(メタデータ) (2024-10-22T13:44:10Z) - MEDOE: A Multi-Expert Decoder and Output Ensemble Framework for
Long-tailed Semantic Segmentation [36.03023287593103]
セマンティックカテゴリの長期分布は、セマンティックセグメンテーションにおいて不満足なパフォーマンスを引き起こす。
本稿では,コンテキスト情報アンサンブル・グループ化による長期的セマンティックセマンティックセグメンテーションのための新しいフレームワークMEDOEを提案する。
実験の結果,提案フレームワークは,CityscapesとADE20Kデータセットの両方において,現在の手法よりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-08-16T08:30:44Z) - Unpaired Multi-modal Segmentation via Knowledge Distillation [77.39798870702174]
本稿では,不対向画像分割のための新しい学習手法を提案する。
提案手法では,CTおよびMRI間での畳み込みカーネルの共有により,ネットワークパラメータを多用する。
我々は2つの多クラスセグメンテーション問題に対するアプローチを広範囲に検証した。
論文 参考訳(メタデータ) (2020-01-06T20:03:17Z) - Learning From Multiple Experts: Self-paced Knowledge Distillation for
Long-tailed Classification [106.08067870620218]
我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。
提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。
提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
論文 参考訳(メタデータ) (2020-01-06T12:57:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。