論文の概要: Knowledge Injection Exists in MoE? Exploring Expert-Aware Contrast Decoding in MoE for Mitigating LLMs'Hallucinations

• arxiv url: http://arxiv.org/abs/2607.20426v1
• Date: Fri, 08 May 2026 16:30:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:13.154713
• Title: Knowledge Injection Exists in MoE? Exploring Expert-Aware Contrast Decoding in MoE for Mitigating LLMs'Hallucinations
• Title（参考訳）: MoEにおける知識注入の存在 : LLMのハロシン化を緩和するMOEにおけるエキスパート・アウェア・コントラストデコーディングの探索
• Abstract要約: 本稿では,QAタスクにおける幻覚を軽減するために,MoEの上位層における専門家差を利用した適応型コントラスト復号法を提案する。 EAACDは高層の専門家を信頼性の高いグループと信頼性の高いグループに分割する。 注意とマスキングを通じて、信頼性の低い専門家からの幻覚を増幅し、より強いネガティブな参照を提供する。
• 参考スコア（独自算出の注目度）: 32.546150761916785
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing LLM hallucination mitigation methods, including prompt engineering and model optimization, either hardly alter models'internal knowledge or have poor cross-domain generalization. Contrastive decoding mitigates hallucinations by using layer-wise differences in LLMs. However, prior studies only explore transformer-based models (e.g., GPT), ignoring other effective frameworks like mixture-of-experts (MoE) models. Since MoE alters the traditional transformer architecture, we conduct empirical studies to investigate whether similar layer-wise differences exist in MoEs. Our results show that they do not exist in MoE with shared experts; nevertheless, across different MoEs, higher layers exhibit distinct expert activation patterns between factual and non-factual outputs. Building on these, we propose EAACD, an expert-aware adaptive contrast decoding that uses expert differences in MoE's higher layers to mitigate hallucinations on QA tasks. EAACD splits high-layer experts into a higher-reliability group and several lower-reliability groups based on their confidence and consistency. It contrasts the higher-reliability group's prediction with each lower-reliability group's prediction to calibrate the model's original predictions. To strengthen this contrast, EAACD amplifies hallucinations from lower-reliability experts via attention and masking to provide stronger negative references. EAACD outperforms all baselines on four datasets.
• Abstract（参考訳）: 既存のLLM幻覚緩和法は、迅速な工学とモデル最適化を含む、モデルの内部知識の変更がほとんどないか、ドメイン間の一般化が不十分である。 対照的な復号法はLLMの層差を利用して幻覚を緩和する。 しかし、先行研究はトランスフォーマーベースのモデル(例えば、GPT)のみを探求し、Mix-of-experts(MoE)モデルのような他の効果的なフレームワークを無視した。 MoEは従来のトランスアーキテクチャを変更するため、同様の層間差が存在するかどうかを実証研究する。 以上の結果から,MoEは共有専門家と共有専門家の間には存在せず,しかしながら,高い層は実物と非実物の間に異なる専門家アクティベーションパターンを示すことが明らかとなった。 そこで本研究では,QAタスクにおける幻覚を軽減するために,MoEの上位層における専門家差を利用した適応型コントラスト復号法であるERACDを提案する。 EAACDは高層の専門家を信頼性の高いグループと信頼性の高いグループに分割する。 これは、信頼性の高いグループの予測と、モデルのオリジナルの予測を校正する信頼性の低いグループの予測とは対照的である。 このコントラストを強化するために、ESACDは注意とマスキングを通じて低信頼の専門家からの幻覚を増幅し、より強力なネガティブな参照を提供する。 EAACDは4つのデータセットですべてのベースラインを上回る。

関連論文リスト

• Locate-then-Sparsify: Attribution Guided Sparse Strategy for Visual Hallucination Mitigation [68.41785694664011]
  機能ステアリングのためのLate-Then-Sparsify(LTS-FS)と呼ばれるプラグアンドプレイフレームワークを提案する。 各層の幻覚関係に応じて操舵強度を制御する。 我々の枠組みは、強い性能を維持しながら幻覚を効果的に緩和する。
  論文  参考訳（メタデータ） (2026-03-17T09:16:50Z)
• HBridge: H-Shape Bridging of Heterogeneous Experts for Unified Multimodal Understanding and Generation [72.69742127579508]
  最近の統一モデルでは、理解の専門家(LLMなど)と生成の専門家(拡散モデルなど)を統合している。 本研究では,非対称なH字型アーキテクチャであるHBridgeを提案する。 複数のベンチマークにわたる大規模な実験は、HBridgeの有効性と優れた性能を示している。
  論文  参考訳（メタデータ） (2025-11-25T17:23:38Z)
• Beyond Redundancy: Diverse and Specialized Multi-Expert Sparse Autoencoder [59.89996751196727]
  スパースオートエンコーダ(SAE)は、大規模な言語モデルを解釈するための強力なツールとして登場した。 SAEの隠蔽層は、空間的制約を満たすために高い次元性を持ち、結果として禁止的なトレーニングと推論コストをもたらす。 近年のMixture of Experts (MoE) アプローチは、SAEsによってゲートアクティベーションを持つより狭い専門家ネットワークにこの問題に対処しようとしている。 本稿では,(1)専門化を促進するために意味的に重み付けされた専門家サブセットを同時に関与する複数の専門家活性化,(2)適応的な高周波スケーリングによって多様性を高める特徴スケーリングという2つの重要なイノベーションを提案する。
  論文  参考訳（メタデータ） (2025-11-07T22:19:34Z)
• A Unified Virtual Mixture-of-Experts Framework:Enhanced Inference and Hallucination Mitigation in Single-Model System [9.764336669208394]
  GPTやBERTのような生成モデルは、テキスト生成や要約といったタスクのパフォーマンスを大幅に改善した。 しかし、「モデルが非現実的または誤解を招くコンテンツを生成する場所」という幻覚は、特に小規模アーキテクチャでは問題となる。 本稿では,単一のQwen 1.5 0.5Bモデルにおいて,推論性能を高め,幻覚を緩和する仮想ミックス・オブ・エクササイズ(MoE)融合戦略を提案する。
  論文  参考訳（メタデータ） (2025-04-01T11:38:01Z)
• Uncertainty-Aware Fusion: An Ensemble Framework for Mitigating Hallucinations in Large Language Models [2.98260857963929]
  大規模言語モデル(LLM)は、ユーザの信頼を損なう可能性のある非実効的なアウトプットを幻覚し、生成することが知られている。 表現編集やコントラスト復号といった幻覚を直接緩和する従来の手法は、しばしば追加のトレーニングデータを必要とし、実装の複雑さを伴います。 本研究では,その精度と自己評価能力に基づいて,複数のLSMを戦略的に組み合わせて幻覚を低減するためのアンサンブルフレームワークであるUncertainty-Aware Fusion (UAF)を提案する。
  論文  参考訳（メタデータ） (2025-02-22T10:48:18Z)
• Mixture of Tunable Experts - Behavior Modification of DeepSeek-R1 at Inference Time [1.1655046053160683]
  本稿では,Large Language Models(LLMs)のMixture-of-Expertsアーキテクチャを拡張する手法を提案する。 MoTEは、推論時間中のLLMにおける有意義で集中的な振る舞い変化を可能にする。
  論文  参考訳（メタデータ） (2025-02-16T12:24:39Z)
• OMoE: Diversifying Mixture of Low-Rank Adaptation by Orthogonal Finetuning [3.8813502422318127]
  低ランク適応(LoRA)のためのMixix-of-experts(MoE)アーキテクチャは、パラメータ効率の微調整(PEFT)における潜在的方向として出現している。 まず,バニラMoEの類似表現に専門家が崩壊し,モジュール設計の能力と計算効率が制限されることを示す定性解析を行った。 これらの知見に触発されて、直交混合(OMoE)を提案する。 提案手法は,バニラMOEモデルと比較して最小限の専門家を惹起するため,メモリボトルネックを緩和する。
  論文  参考訳（メタデータ） (2025-01-17T09:27:08Z)
• Lower Layers Matter: Alleviating Hallucination via Multi-Layer Fusion Contrastive Decoding with Truthfulness Refocused [27.894293943142447]
  大規模言語モデル (LLM) は様々な自然言語処理タスクにおいて例外的な性能を示した。 彼らは時に「幻覚」と呼ばれる現象である不正確で反事実的な出力を発生させる。
  論文  参考訳（メタデータ） (2024-08-16T14:23:59Z)
• Unchosen Experts Can Contribute Too: Unleashing MoE Models' Power by Self-Contrast [58.98411447739218]
  Mixture-of-Experts (MoE) は、計算効率を保ちながら、モデルサイズをスケールするための顕著なアーキテクチャとして登場した。 本研究では,無声専門家を推論中に自己コントラスト的に活用する学習自由戦略である自己コントラスト混合(SCMoE)を提案する。 我々の手法は概念的には単純で計算量も軽量であり、グリージー復号法に比べて最小限の遅延を発生させる。
  論文  参考訳（メタデータ） (2024-05-23T12:45:29Z)
• Multilinear Mixture of Experts: Scalable Expert Specialization through Factorization [51.98792406392873]
  Mixture of Experts (MoE)は、高密度層をより小さくモジュール化された計算に分解する強力な方法を提供する。 大きな課題は、きめ細かい特殊化を達成するのに十分高い専門家の数をスケーリングする計算コストである。 視覚モデルに焦点をあて、この問題に対処するため、Multilinear Mixture of Experts(mu$MoE)層を提案する。
  論文  参考訳（メタデータ） (2024-02-19T21:20:22Z)
• Omni-SMoLA: Boosting Generalist Multimodal Models with Soft Mixture of Low-rank Experts [74.40198929049959]
  大規模マルチモーダルモデル (LMM) は多くのタスクにまたがって優れた性能を示す。 ジェネラリストのLMMは、タスクの集合をチューニングする際に、しばしばパフォーマンスの劣化に悩まされる。 我々は,Omni-SMoLAを提案する。Omni-SMoLAはSoft MoEアプローチを用いて,多くのマルチモーダルな低ランクの専門家を混在させるアーキテクチャである。
  論文  参考訳（メタデータ） (2023-12-01T23:04:27Z)
• MoEC: Mixture of Expert Clusters [93.63738535295866]
  Sparsely Mixture of Experts (MoE)は、安価な計算オーバーヘッドを持つ有望なスケーリング能力のため、大きな関心を集めている。 MoEは密度の高い層をスパースの専門家に変換し、ゲートルーティングネットワークを使用して専門家を条件付きで活性化させる。 しかし、専門家の数が増加するにつれて、乱雑なパラメータを持つMoEはデータアロケーションの過度な調整とスパースに悩まされる。
  論文  参考訳（メタデータ） (2022-07-19T06:09:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。