論文の概要: Overcoming Data Imbalances with Expert Selection Biases

• arxiv url: http://arxiv.org/abs/2610.13370v1
• Date: Fri, 09 Oct 2026 10:45:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.539738
• Title: Overcoming Data Imbalances with Expert Selection Biases
• Title（参考訳）: エキスパート選択バイアスによるデータ不均衡の克服
• Abstract要約: カテゴリー条件付きエキスパート選択バイアスは、異なるカテゴリから専門的な専門家プールへトークンを優先的にルーティングできることを示す。 モダリティ、低リソース言語、最大10.6Bパラメータのモデルにおけるコードのパフォーマンス改善を観察する。
• 参考スコア（独自算出の注目度）: 34.74625987025275
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-Experts (MoE) models have become the standard architecture for frontier LLMs. The multiple parallel experts in each transformer block theoretically enable expert specialization according to categories such as domains, languages, or modalities during pretraining. However, when data is imbalanced across categories, minority categories can become concentrated in a small fraction of the expert pool or spread inefficiently across them, effectively limiting their available capacity. In this work, we demonstrate that category-conditioned expert-selection biases can preferentially route tokens from different categories toward specialized expert pools. By applying biases based on input category, we provide a simple way to induce soft category-aligned specialization. This intervention encourages categories toward distinct expert subsets while retaining cross-category sharing when useful. More importantly, it enables the over-allocation of expert capacity to categories that would otherwise be disadvantaged by data scarcity. We observe performance improvements across modalities, low-resource languages, and code in models up to 10.6B parameters. At our smallest and largest model scales, these gains are equivalent to allocating 18.5% and 2.7% additional baseline training tokens, respectively. Overall, our results show that expert biases can serve as a lightweight control for category-level expert allocation, making room for low-resource categories while retaining standard MoE inference.
• Abstract（参考訳）: Mixture-of-Experts (MoE) モデルはフロンティアLSMの標準アーキテクチャとなっている。 各変圧器ブロックの複数の並列専門家は、理論上、事前訓練中にドメイン、言語、モダリティなどのカテゴリに応じて専門家の特殊化を可能にする。 しかし、データがカテゴリ間で不均衡な場合、少数派カテゴリは専門家プールのごく一部に集中するか、非効率に分散し、利用可能な容量を効果的に制限することができる。 本研究では、カテゴリー条件付きエキスパート選択バイアスが、異なるカテゴリから専門的な専門家プールへトークンを優先的にルーティングできることを実証する。 入力カテゴリに基づくバイアスを適用することで、ソフトなカテゴリ対応の特殊化を誘導する簡単な方法を提供する。 この介入は、異なる専門家のサブセットに対してカテゴリを奨励し、有用であればカテゴリ間の共有を維持する。 さらに重要なのは、データ不足によって不利になる可能性のあるカテゴリに、専門家のキャパシティを過度に割り当てることを可能にすることだ。 モダリティ、低リソース言語、最大10.6Bパラメータのモデルにおけるコードのパフォーマンス改善を観察する。 私たちの最小のモデルスケールと最大のモデルスケールでは、これらのゲインはそれぞれ18.5%と2.7%のベースライントレーニングトークンを割り当てている。 全体として,専門家バイアスは,標準のMoE推論を保ちながら,低リソースのカテゴリに余裕を持たせるために,カテゴリレベルのエキスパートアロケーションの軽量な制御として機能することを示す。

関連論文リスト

• Beyond Routing: Characterising Expert Tuning and Representation in Vision Mixture-of-Experts [0.0]
  Mixture-of-Experts (MoE)モデルは、専門家にルートされるカテゴリの分析によってしばしば解釈される。 我々は、自然画像と専門家の専門性に対して対照的な目標を掲げて、スパースゲートの畳み込み型MoEモデルを訓練する。 我々は、最もエキサイティングな入力を用いて、専門家ごとのカテゴリ分離性、および専門家ごとのチューニングを測定する。
  論文  参考訳（メタデータ） (2026-05-20T01:55:40Z)
• A Square Peg in a Square Hole: Meta-Expert for Long-Tailed Semi-Supervised Learning [18.911712371699263]
  本研究では,Long-tailed semi-supervised learning (LTSSL) を分布ミスマッチを用いて検討し,そこでラベル付き学習データのクラス分布がLong-tailed Distributionに従っていることを示す。 サンプルのクラスメンバシップを推定できる動的専門家割当てモジュールを提案する。 異なる専門家の強みを統合することで、より小さな一般化誤差が生じることを示す。
  論文  参考訳（メタデータ） (2025-05-22T07:56:44Z)
• Lory: Fully Differentiable Mixture-of-Experts for Autoregressive Language Model Pre-training [73.90260246781435]
  私たちは、このようなアーキテクチャを自動回帰言語モデルに拡張する最初のアプローチであるLoryを紹介します。 パラメータマッチングされた高密度モデルよりも、多種多様な下流タスクにおいて顕著な性能向上を示す。 セグメントレベルのルーティングにもかかわらず、Loryモデルはトークンレベルのルーティングを備えた最先端のMoEモデルと比較して、競合的なパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-05-06T03:06:33Z)
• Multilinear Mixture of Experts: Scalable Expert Specialization through Factorization [51.98792406392873]
  Mixture of Experts (MoE)は、高密度層をより小さくモジュール化された計算に分解する強力な方法を提供する。 大きな課題は、きめ細かい特殊化を達成するのに十分高い専門家の数をスケーリングする計算コストである。 視覚モデルに焦点をあて、この問題に対処するため、Multilinear Mixture of Experts(mu$MoE)層を提案する。
  論文  参考訳（メタデータ） (2024-02-19T21:20:22Z)
• Balanced Classification: A Unified Framework for Long-Tailed Object Detection [74.94216414011326]
  従来の検出器は、分類バイアスによる長期データを扱う際の性能劣化に悩まされる。 本稿では,カテゴリ分布の格差に起因する不平等の適応的是正を可能にする,BAlanced CLassification (BACL) と呼ばれる統一フレームワークを提案する。 BACLは、さまざまなバックボーンとアーキテクチャを持つさまざまなデータセット間で、一貫してパフォーマンス改善を実現している。
  論文  参考訳（メタデータ） (2023-08-04T09:11:07Z)
• Learning Optimal Fair Scoring Systems for Multi-Class Classification [0.0]
  機械学習モデルには、解釈可能性の欠如と、それらが生成または再現できる望ましくないバイアスに関する懸念が高まっている。 本稿では,混合整数線形計画法(MILP)を用いて,分散性と公正性制約下で本質的に解釈可能なスコアリングシステムを生成する。
  論文  参考訳（メタデータ） (2023-04-11T07:18:04Z)
• MoEC: Mixture of Expert Clusters [93.63738535295866]
  Sparsely Mixture of Experts (MoE)は、安価な計算オーバーヘッドを持つ有望なスケーリング能力のため、大きな関心を集めている。 MoEは密度の高い層をスパースの専門家に変換し、ゲートルーティングネットワークを使用して専門家を条件付きで活性化させる。 しかし、専門家の数が増加するにつれて、乱雑なパラメータを持つMoEはデータアロケーションの過度な調整とスパースに悩まされる。
  論文  参考訳（メタデータ） (2022-07-19T06:09:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。