論文の概要: Probing Semantic Routing in Large Mixture-of-Expert Models

• arxiv url: http://arxiv.org/abs/2502.10928v2
• Date: Wed, 21 May 2025 16:32:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:57.598115
• Title: Probing Semantic Routing in Large Mixture-of-Expert Models
• Title（参考訳）: 大規模混合実験モデルにおける意味的ルーティングの提案
• Authors: Matthew Lyle Olson, Neale Ratzlaff, Musashi Hinck, Man Luo, Sungduk Yu, Chendi Xue, Vasudev Lal,
• Abstract要約: 大規模MoEモデルにおけるエキスパートルーティングが,入力のセマンティクスに影響されているかを検討する。 大規模MoEモデルにおいて意味的ルーティングの統計的に有意な証拠を示す。
• 参考スコア（独自算出の注目度）: 7.457737671087695
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the past year, large (>100B parameter) mixture-of-expert (MoE) models have become increasingly common in the open domain. While their advantages are often framed in terms of efficiency, prior work has also explored functional differentiation through routing behavior. We investigate whether expert routing in large MoE models is influenced by the semantics of the inputs. To test this, we design two controlled experiments. First, we compare activations on sentence pairs with a shared target word used in the same or different senses. Second, we fix context and substitute the target word with semantically similar or dissimilar alternatives. Comparing expert overlap across these conditions reveals clear, statistically significant evidence of semantic routing in large MoE models.
• Abstract（参考訳）: 過去1年間で、オープンドメインでは、大規模な(>100Bパラメータ)混合専門家(MoE)モデルがますます一般的になっている。 それらの利点は効率の観点から表されることが多いが、以前の研究はルーティングの振る舞いを通じて機能的な微分についても検討してきた。 大規模MoEモデルにおけるエキスパートルーティングが,入力のセマンティクスに影響されているかを検討する。 これをテストするために、我々は2つの制御された実験を設計した。 まず、文対のアクティベーションと、同じまたは異なる感覚で使用される共有対象語を比較する。 第二に、コンテキストを修正し、目的語を意味論的に類似または異種な代替語に置き換える。 これらの条件間の専門家の重複を比較すると、大きなMoEモデルにおける意味的ルーティングの明確で統計的に有意な証拠が示される。

関連論文リスト

• BehaviorBox: Automated Discovery of Fine-Grained Performance Differences Between Language Models [55.2480439325792]
  本稿では,性能を考慮した文脈埋め込みを用いた言語モデルの自動比較手法を提案する。 提案手法は,2つのLM間の生成容易性について,その相違点を示すコヒーレントな特徴を抽出する。 本研究では,サイズ,モデルファミリ,ポストトレーニングの異なるモデルを比較し,コーパスレベルの難易度だけでは見つからないパフォーマンスの有意義な違いを示す,特定のコンテキストに対する洞察を列挙する。
  論文  参考訳（メタデータ） (2025-06-02T19:44:06Z)
• Unveiling Hidden Collaboration within Mixture-of-Experts in Large Language Models [5.211806751260724]
  本稿では,専門家間の協調パターンを明らかにする階層型スパース辞書学習法を提案する。 また、コントリビューション・アウェア・エキスパート・プルーニング(CAEP)アルゴリズムを導入し、低コントリビューション・エキスパートを効果的に育成する。
  論文  参考訳（メタデータ） (2025-04-16T04:06:15Z)
• Domain-Specific Pruning of Large Mixture-of-Experts Models with Few-shot Demonstrations [48.890534958441016]
  大規模MOEモデルにおける領域の特殊化と専門的冗長性について検討する。 本稿では,最も関係のある専門家のみを識別・保持するための簡易で効果的な刈取フレームワークであるEASY-EPを提案する。 提案手法は,DeepSeek-R1を完全かつ半分のエキスパートで,同じメモリ予算で同等の性能と2.99タイムのスループットを達成できる。
  論文  参考訳（メタデータ） (2025-04-09T11:34:06Z)
• DeepSeek-R1 Thoughtology: Let's <think> about LLM Reasoning [31.805726635329595]
  本稿では,DeepSeek-R1の思考長,長期的・紛らわしい文脈の管理,文化的・安全性に関する影響と制御性について検討する。 DeepSeek-R1には、余分な推論時間によってモデルパフォーマンスが損なわれるような推論の‘スイートスポット’がある。 また、DeepSeek-R1の安全性上の脆弱性は、非合理的な脆弱性と比べても大きい。
  論文  参考訳（メタデータ） (2025-04-02T00:36:08Z)
• DeepPerception: Advancing R1-like Cognitive Visual Perception in MLLMs for Knowledge-Intensive Visual Grounding [61.26026947423187]
  人間の専門家は、ドメイン知識を活用して知覚的特徴を洗練することによって、きめ細かい視覚的識別に長けている。 現在のMLLM(Multimodal Large Language Models)は、推論を視覚的知覚に統合するのに苦労している。 本稿では,認知的視覚能力を強化したMLLMであるDeepPerceptionを提案する。
  論文  参考訳（メタデータ） (2025-03-17T04:06:34Z)
• Mixture of Tunable Experts - Behavior Modification of DeepSeek-R1 at Inference Time [1.1655046053160683]
  本稿では,Large Language Models(LLMs)のMixture-of-Expertsアーキテクチャを拡張する手法を提案する。 MoTEは、推論時間中のLLMにおける有意義で集中的な振る舞い変化を可能にする。
  論文  参考訳（メタデータ） (2025-02-16T12:24:39Z)
• DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning [147.16121855209246]
  第一世代の推論モデルであるDeepSeek-R1-ZeroとDeepSeek-R1を紹介します。 DeepSeek-R1-Zeroは大規模な強化学習を通じて訓練されている。 DeepSeek-R1は、RLの前にマルチステージトレーニングとコールドスタートデータを組み込んでいる。
  論文  参考訳（メタデータ） (2025-01-22T15:19:35Z)
• GSSF: Generalized Structural Sparse Function for Deep Cross-modal Metric Learning [51.677086019209554]
  ペアワイド類似性学習のためのモダリティ間の強力な関係を捕捉する汎用構造スパースを提案する。 距離メートル法は、対角線とブロック対角線の2つの形式を微妙にカプセル化する。 クロスモーダルと2つの余分なユニモーダル検索タスクの実験は、その優位性と柔軟性を検証した。
  論文  参考訳（メタデータ） (2024-10-20T03:45:50Z)
• Attention Heads of Large Language Models: A Survey [10.136767972375639]
  我々は,大規模言語モデル (LLM) の内部的推論過程を体系的に検討し,その役割と機構を解明することを目的としている。 まず,人間の思考プロセスにインスパイアされた新しい4段階のフレームワーク,知識のリコール,文脈内同定,潜在推論,表現準備を紹介する。 本稿では,これらの特殊ヘッドの発見に使用する実験手法を,モデリング自由法とモデリング要求法という2つのカテゴリに分けて分析する。
  論文  参考訳（メタデータ） (2024-09-05T17:59:12Z)
• Diversifying the Expert Knowledge for Task-Agnostic Pruning in Sparse Mixture-of-Experts [75.85448576746373]
  本稿では,モデルのパラメータ効率を向上させるために,類似の専門家をグループ化し,グループ化する方法を提案する。 提案手法の有効性を3つの最先端MoEアーキテクチャを用いて検証する。 評価の結果,本手法は自然言語タスクにおいて,他のモデルプルーニング手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-07-12T17:25:02Z)
• A Closer Look into Mixture-of-Experts in Large Language Models [26.503570706063634]
  エクササイズ・オブ・エクササイズ(Mixture-of-experts, MOE)は,その特性と顕著な性能から注目を集めている。 MoEアーキテクチャは計算効率を犠牲にすることなくモデルサイズを増大させることができる。 本稿は,MoEベースの大規模言語モデルの内部動作を理解するための最初の試みである。
  論文  参考訳（メタデータ） (2024-06-26T10:07:57Z)
• Unchosen Experts Can Contribute Too: Unleashing MoE Models' Power by Self-Contrast [58.98411447739218]
  Mixture-of-Experts (MoE) は、計算効率を保ちながら、モデルサイズをスケールするための顕著なアーキテクチャとして登場した。 本研究では,無声専門家を推論中に自己コントラスト的に活用する学習自由戦略である自己コントラスト混合(SCMoE)を提案する。 我々の手法は概念的には単純で計算量も軽量であり、グリージー復号法に比べて最小限の遅延を発生させる。
  論文  参考訳（メタデータ） (2024-05-23T12:45:29Z)
• Generalization Error Analysis for Sparse Mixture-of-Experts: A Preliminary Study [65.11303133775857]
  Mixture-of-Experts (MoE)計算アマルガメート予測 Sparse MoEは、限られた数、あるいは1つの専門家だけを選択的に扱うことで、経験的に保存され、時にはパフォーマンスが向上する一方で、オーバーヘッドを大幅に削減する。
  論文  参考訳（メタデータ） (2024-03-26T05:48:02Z)
• Diversifying the Mixture-of-Experts Representation for Language Models with Orthogonal Optimizer [59.43462055143123]
  The Mixture of Experts (MoE)は、ディープラーニングにおいて非常に成功したテクニックとして登場した。 本研究では,MoEの専門家が多様性の専門化や欠如に失敗した同質表現問題に光を当てた。 我々は,各専門家が他の専門家に分散された部分空間への方向を更新するように促す訓練戦略を交互に提案する。
  論文  参考訳（メタデータ） (2023-10-15T07:20:28Z)
• Dual Path Modeling for Semantic Matching by Perceiving Subtle Conflicts [14.563722352134949]
  トランスフォーマーベースの事前学習モデルではセマンティックマッチングが大幅に改善されている。 既存のモデルでは微妙な違いを捉える能力が不足している。 本稿では、微妙な違いを知覚するモデルの能力を高めるために、新しいデュアルパスモデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-24T09:29:55Z)
• Using Deep Mixture-of-Experts to Detect Word Meaning Shift for TempoWiC [0.9543943371833467]
  本稿では、マクロF1スコア77.05%のTempoWiCタスクへのdma提出について述べる。 さらに改良するために,Mixture-of-Experts (MoE) アプローチを用いてPOS情報と単語意味表現を統合する。
  論文  参考訳（メタデータ） (2022-11-07T11:28:34Z)
• Probing Semantic Grounding in Language Models of Code with Representational Similarity Analysis [0.11470070927586018]
  本稿では,コード言語モデルにおける意味的グラウンドリングの探索にRepresentational similarity Analysisを用いることを提案する。 我々は,IBM CodeNetデータセットのデータを用いて,意味的接地のためのCodeBERTモデルから表現を探索する。 コード中の意味的摂動による実験により、CodeBERTは意味論的に正しいコードと正しくないコードとをしっかりと区別できることがわかった。
  論文  参考訳（メタデータ） (2022-07-15T19:04:43Z)
• Efficient Large Scale Language Modeling with Mixtures of Experts [61.45159383372181]
  エキスパート層(MoE)の混合により、条件付き計算による言語モデルの効率的なスケーリングが可能になる。 本稿では, 自己回帰型 MoE 言語モデルが, 広範囲な環境下での高密度モデルと比較して, どのようにスケールするかを示す実験的検討を行った。
  論文  参考訳（メタデータ） (2021-12-20T17:05:11Z)
• Taming Sparsely Activated Transformer with Stochastic Experts [76.0711573018493]
  わずかに活性化されたモデル(SAM)は、計算コストを大幅に増加させることなく、非常に大量のパラメータを持つように容易にスケールすることができる。 本稿では,新しいエキスパートベースモデルTHOR(Transformer witH StOchastic ExpeRts)を提案する。 Switch Transformerのような古典的なエキスパートベースのモデルとは異なり、THORの専門家はトレーニングと推論の間、各入力に対してランダムにアクティベートされる。
  論文  参考訳（メタデータ） (2021-10-08T17:15:47Z)
• A comprehensive comparative evaluation and analysis of Distributional Semantic Models [61.41800660636555]
  我々は、静的DSMによって生成されたり、BERTによって生成された文脈化されたベクトルを平均化して得られるような、型分布ベクトルの包括的評価を行う。 その結果、予測ベースモデルの優越性は現実よりも明らかであり、ユビキタスではないことが明らかとなった。 我々は認知神経科学からRepresentational similarity Analysis(RSA)の方法論を借りて、分布モデルによって生成された意味空間を検査する。
  論文  参考訳（メタデータ） (2021-05-20T15:18:06Z)
• When Hearst Is not Enough: Improving Hypernymy Detection from Corpus with Distributional Models [59.46552488974247]
  本稿では,大きなテキストコーパスの助けを借りて,単語 (x, y) 間のis-a関係が存在するかどうかを論じる。 近年の研究では、大規模なハーストペアを抽出して給餌し、目に見えない(x, y)ペアの親和性が緩和された場合、パターンベースのペアの方が優れていることが示唆されている。 本稿では,これらの特定の事例の非無視的存在を初めて定量化し,その場合の分布法がパターンベースの事例を補うのに最適であることを示す。
  論文  参考訳（メタデータ） (2020-10-10T08:34:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。