論文の概要: A Unified Virtual Mixture-of-Experts Framework:Enhanced Inference and Hallucination Mitigation in Single-Model System

• arxiv url: http://arxiv.org/abs/2504.03739v1
• Date: Tue, 01 Apr 2025 11:38:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:15:40.058902
• Title: A Unified Virtual Mixture-of-Experts Framework:Enhanced Inference and Hallucination Mitigation in Single-Model System
• Title（参考訳）: Unified Virtual Mixture-of-Experts Framework:Single-Modelシステムにおける推論とハロシン化の強化
• Authors: Mingyan Liu,
• Abstract要約: GPTやBERTのような生成モデルは、テキスト生成や要約といったタスクのパフォーマンスを大幅に改善した。 しかし、「モデルが非現実的または誤解を招くコンテンツを生成する場所」という幻覚は、特に小規模アーキテクチャでは問題となる。 本稿では,単一のQwen 1.5 0.5Bモデルにおいて,推論性能を高め,幻覚を緩和する仮想ミックス・オブ・エクササイズ(MoE)融合戦略を提案する。
• 参考スコア（独自算出の注目度）: 9.764336669208394
• License:
• Abstract: Generative models, such as GPT and BERT, have significantly improved performance in tasks like text generation and summarization. However, hallucinations "where models generate non-factual or misleading content" are especially problematic in smaller-scale architectures, limiting their real-world applicability.In this paper, we propose a unified Virtual Mixture-of-Experts (MoE) fusion strategy that enhances inference performance and mitigates hallucinations in a single Qwen 1.5 0.5B model without increasing the parameter count. Our method leverages multiple domain-specific expert prompts (with the number of experts being adjustable) to guide the model from different perspectives. We apply a statistical outlier truncation strategy based on the mean and standard deviation to filter out abnormally high probability predictions, and we inject noise into the embedding space to promote output diversity. To clearly assess the contribution of each module, we adopt a fixed voting mechanism rather than a dynamic gating network, thereby avoiding additional confounding factors. We provide detailed theoretical derivations from both statistical and ensemble learning perspectives to demonstrate how our method reduces output variance and suppresses hallucinations. Extensive ablation experiments on dialogue generation tasks show that our approach significantly improves inference accuracy and robustness in small models. Additionally, we discuss methods for evaluating the orthogonality of virtual experts and outline the potential for future work involving dynamic expert weight allocation using gating networks.
• Abstract（参考訳）: GPTやBERTのような生成モデルは、テキスト生成や要約といったタスクのパフォーマンスを大幅に改善した。 本稿では,パラメータ数を増大させることなく,推論性能を高め,単一Qwen 1.5 0.5Bモデルの幻覚を緩和する仮想混合実験(MoE)融合戦略を提案する。 提案手法は、複数のドメイン固有のエキスパートプロンプト(専門家の数が調整可能)を活用して、異なる視点からモデルを導出する。 平均および標準偏差に基づく統計的外乱トラルニケーション戦略を適用し、異常に高い確率予測をフィルタリングし、埋め込み空間にノイズを注入して出力の多様性を促進する。 本研究では,各モジュールの寄与度を明確に評価するために,動的ゲーティングネットワークではなく固定投票機構を採用する。 本研究では,統計的およびアンサンブル学習の観点からの詳細な理論的導出を行い,提案手法が出力のばらつきを減らし,幻覚を抑制する方法を示す。 対話生成タスクに対する大規模なアブレーション実験により,本手法は小モデルにおける推論精度とロバスト性を大幅に向上することが示された。 さらに,仮想専門家の直交性を評価する手法について議論し,ゲーティングネットワークを用いた動的専門家の重み付けを含む今後の作業の可能性について概説する。

関連論文リスト

• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• FFHFlow: A Flow-based Variational Approach for Learning Diverse Dexterous Grasps with Shape-Aware Introspection [19.308304984645684]
  マルチフィンガーハンドの多様なグリップを生成できる新しいモデルを提案する。 提案手法は, 高いベースラインに対する性能向上と実行時の効率向上を実現する。 また,現実世界の雑多な作業空間や密集した作業空間において,より多様性の高いオブジェクトを把握できることのメリットも示している。
  論文  参考訳（メタデータ） (2024-07-21T13:33:08Z)
• Kullback-Leibler Barycentre of Stochastic Processes [0.0]
  エージェントが様々な専門家のモデルに対する見解と洞察を組み合わせることを目的とした問題を考える。 バリセントモデルの存在と特異性を示し、ラドン-ニコディム微分の明示的な表現を証明する。 合成モデルの最適ドリフトを求めるために,2つのディープラーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-07-05T20:45:27Z)
• Out-of-Distribution Detection via Deep Multi-Comprehension Ensemble [11.542472900306745]
  マルチComprehension (MC) Ensemble は,OOD (Out-of-Distribution) 特徴表現を拡大するための戦略として提案されている。 OOD検出におけるMC Ensemble戦略の優れた性能を示す実験結果を得た。 これにより,提案手法がトレーニング分布外のインスタンスを検出できるモデルの性能向上に有効であることを示す。
  論文  参考訳（メタデータ） (2024-03-24T18:43:04Z)
• Bridging Generative and Discriminative Models for Unified Visual Perception with Diffusion Priors [56.82596340418697]
  本稿では,豊富な生成前駆体を含む事前学習型安定拡散(SD)モデルと,階層的表現を統合可能な統一型ヘッド(Uヘッド)と,識別前駆体を提供する適応型専門家からなる,シンプルで効果的なフレームワークを提案する。 包括的調査では、異なる時間ステップで潜伏変数に隠された知覚の粒度や様々なU-netステージなど、バーマスの潜在的な特性が明らかになった。 有望な結果は,有望な学習者としての拡散モデルの可能性を示し,情報的かつ堅牢な視覚表現の確立にその意義を定めている。
  論文  参考訳（メタデータ） (2024-01-29T10:36:57Z)
• The Risk of Federated Learning to Skew Fine-Tuning Features and Underperform Out-of-Distribution Robustness [50.52507648690234]
  フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。 3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。 提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-01-25T09:18:51Z)
• Leveraging Diffusion Disentangled Representations to Mitigate Shortcuts in Underspecified Visual Tasks [92.32670915472099]
  拡散確率モデル(DPM)を用いた合成カウンターファクトの生成を利用したアンサンブルの多様化フレームワークを提案する。 拡散誘導型分散化は,データ収集を必要とする従来の手法に匹敵するアンサンブル多様性を達成し,ショートカットからの注意を回避できることを示す。
  論文  参考訳（メタデータ） (2023-10-03T17:37:52Z)
• Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
  ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。 既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。 本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:22:33Z)
• Optimizing Hyperparameters with Conformal Quantile Regression [7.316604052864345]
  本稿では,観測ノイズについて最小限の仮定を行う等化量子レグレッションを活用することを提案する。 これは経験的ベンチマークでのHPO収束を早くすることを意味する。
  論文  参考訳（メタデータ） (2023-05-05T15:33:39Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• MoFE: Mixture of Factual Experts for Controlling Hallucinations in Abstractive Summarization [18.464765966462135]
  MoFE(Mixture of Factual Experts)モデルは、特定のタイプのエラーをターゲットとする複数の要約専門家を組み合わせたモデルである。 BARTモデルの実験では、MoFEはエンティティの重複と依存性の弧の包含の両方に応じてパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2021-10-14T06:02:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。