Fugu-MT 論文翻訳(概要): Mixture-of-Expert Blocks Contain Strong Hallucination Detection Signals

論文の概要: Mixture-of-Expert Blocks Contain Strong Hallucination Detection Signals

arxiv url: http://arxiv.org/abs/2608.17687v1
Date: Tue, 18 Aug 2026 12:00:20 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-19 21:40:53.329489
Title: Mixture-of-Expert Blocks Contain Strong Hallucination Detection Signals
Title（参考訳）: 強い幻覚検出信号を含む拡張ブロックの混合
Abstract要約: InnerExpertは、MoE固有の信号を利用して幻覚検出を行う最初の方法である。以上の結果から,InnerExpertは5つのデータセットと2つのMoEアーキテクチャで既存のメソッドよりも優れていることがわかった。
参考スコア（独自算出の注目度）: 2.2302915692528367
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Despite their widespread use, Large Language Models (LLMs) remain limited by a fundamental problem: the generation of plausible but false content, known as hallucinations. Most existing detection methods operate at the answer or sentence level, yet per-token detection is essential for localizing hallucinated spans and enabling fine-grained interventions. In this paper, we explore the use of the Mixture-of-Experts (MoE) paradigm to address this gap. In MoE architectures, a single forward pass activates a sparse subset of experts (i.e., distinct feedforward networks per layer) via a routing mechanism, producing internal signals (e.g., router entropy, expert disagreement, and expert usage patterns) that are unavailable in dense architectures and have not been previously exploited for hallucination detection. To this end, we introduce InnerExpert, the first method to leverage these MoE-specific signals for per-token hallucination detection. InnerExpert combines routing-level and standard transformer signals into compact per-token feature vectors, classified by a lightweight detector trained on labels produced by an LLM-as-a-judge pipeline, which enables continuous model updates without manual annotation. Our results show that InnerExpert outperforms existing methods across five datasets and two MoE architectures, achieving up to 0.91 answer-level and 0.76 token-level AUROC, while requiring only a single forward pass.
Abstract（参考訳）: 広く使われているにもかかわらず、Large Language Models (LLMs) は、幻覚として知られる、もっともらしいが偽のコンテンツの生成という根本的な問題によって制限されている。既存の検出方法の多くは、回答や文レベルで動作しているが、幻覚したスパンを局在させ、きめ細かい介入を可能にするには、一括検出が不可欠である。本稿では,このギャップに対処するためのMixture-of-Experts(MoE)パラダイムについて検討する。 MoEアーキテクチャでは、単一のフォワードパスはルーティング機構を介して専門家のスパースサブセット(すなわち、層ごとのフィードフォワードネットワーク)を活性化し、密集したアーキテクチャでは利用できない内部信号(例えば、ルータエントロピー、専門家の不一致、専門家の使用パターン)を生成する。そこで本研究では,これらのMoE固有信号を用いた幻覚検出手法であるInnerExpertを紹介する。 innerExpertは、ルーティングレベルと標準トランスフォーマー信号を、手動のアノテーションなしで連続的なモデル更新を可能にするLSM-as-a-judgeパイプラインによって生成されたラベルに基づいて訓練された軽量検出器によって分類された、コンパクトなトーケン機能ベクトルに結合する。以上の結果から,InnerExpertは5つのデータセットと2つのMoEアーキテクチャにまたがって既存の手法より優れており,最大0.91の回答レベルと0.76のトークンレベルのAUROCを達成できる。

関連論文リスト

UniProbe: A Learnable Token-Level Hallucination Detector for Large VLMs using Multi-Structural Internal Representations [61.85916280854257]
LVLM(Large Vision-Language Models)は印象的な視覚的推論と対話機能を実現するが、視覚入力によるコンテンツサポートを幻覚させることが多い。 textbfUniProbeは軽量で統一された学習可能な検出器で、凍ったLVLMの不均一な計算トレースを1つの前方パスからモデル化する。
論文参考訳（メタデータ） (2026-08-11T12:01:59Z)
DeMTS: Denoising Trajectories as Multivariate Time Series for Hallucination Detection in Diffusion Language Models [59.414664850109155]
拡散大言語モデル (D-LLM) はテキスト生成において有望なパラダイムとして登場してきた。 D-LLMは幻覚に弱いままであり、流動的な出力は事実的に誤った、またはサポートされていない内容を含む可能性がある。
論文参考訳（メタデータ） (2026-07-24T06:45:43Z)
TRE: Training-Free Hallucination Detection for Diffusion Language Models [9.622962795441852]
本稿では,D-LLMのための訓練不要幻覚検出尺度であるTREを提案する。 TREは1世代のエントロピー信号から直接幻覚リスクを推定する。複数のD-LLMとQAデータセットに対する大規模な実験は、TREが強力な一般化可能性、効率、堅牢性を享受しながら、競争性能を達成することを示した。
論文参考訳（メタデータ） (2026-06-29T00:47:48Z)
Deep Residual Injection for Full-Spectrum Forensic Signal Perception in Multimodal Large Language Models [51.099179436350376]
マルチモーダルな大言語モデル(MLLM)は、その堅牢な意味理解のために、法医学においてますます採用されている。本稿では,人工物固有の視覚信号を中間層に残路として注入しながら,初期意味処理を保存するためのDeep Visual Residual MLLM(Deep-VRM)を提案する。これにより、後続のレイヤは意味論的推論と信号レベルの法医学的手がかりを共同でモデル化することができ、驚くべきことに、モデルが入力に応じて異なるレベルの法医学的信号を適応的に活用することを学ぶ。
論文参考訳（メタデータ） (2026-06-14T16:05:45Z)
OpenHalDet: A Unified Benchmark for Hallucination Detection across Diverse Generation Scenarios [34.58119255209895]
幻覚検出は、大規模言語モデルの信頼性の高い展開に不可欠である。多様な生成シナリオを対象とした幻覚検出のための統一ベンチマークであるOpenHalDetを紹介する。
論文参考訳（メタデータ） (2026-06-05T06:38:40Z)
The Regularizing Power of Language-Training Deepfake Detectors [57.529452351298495]
ディープフェイク検出は一般的に、低レベルのドメイン固有のアーティファクトへの過度な適合に悩まされる。デュアルエンコーダアーキテクチャを使用し、凍結した特殊検出器とLoRA調整されたMLLMエンコーダをペアリングする。我々は、モデルが分類する前に記述的推論を生成することを奨励する強化学習段階を採用している。
論文参考訳（メタデータ） (2026-05-29T12:01:17Z)
RouteScan: A Non-Intrusive Approach to Auditing MoE LLMs Safety via Expert Routing Telemetry [24.677169755426906]
我々は、専門家のルーティングテレメトリを通して有害な行動を検出する非侵襲的な監査フレームワークであるRouteScanを提案する。 RouteScanは、未確認の有害ドメインで0.93以上、新しいジェイルブレイクラッパーで0.96以上、強力な一般化を実現している。
論文参考訳（メタデータ） (2026-05-24T02:06:44Z)
Scalable Token-Level Hallucination Detection in Large Language Models [63.3426544914783]
内部幻覚は推論集約的なタスクでは検出が難しい。 TokenHDはトークンレベルの幻覚検出器を訓練するための全体論的パイプラインである。
論文参考訳（メタデータ） (2026-05-12T16:47:40Z)
TraceDet: Hallucination Detection from the Decoding Trace of Diffusion Large Language Models [49.83690850047884]
D-LLMの幻覚問題は未解決のままであり、現実世界のアプリケーションでは信頼性が制限されている。既存の幻覚検出法はAR-LLM向けに設計されており、単一ステップ生成からの信号に依存している。本稿では,幻覚検出のためのD-LLMの中間段階を明示的に活用する新しいフレームワークであるTraceDetを提案する。
論文参考訳（メタデータ） (2025-09-30T02:01:10Z)
D$^2$HScore: Reasoning-Aware Hallucination Detection via Semantic Breadth and Depth Analysis in LLMs [15.665202830841046]
この研究は、モデルアーキテクチャと生成ダイナミクスの観点から幻覚検出を再考する。 textbfD$2$HScore (Dispersion and Drift-based Hallucination Score) を提案する。 5つのオープンソースのLanguage Modelと5つの広く使用されているベンチマークの実験は、D$2$HScoreが既存のトレーニング不要のベースラインを一貫して上回っていることを示している。
論文参考訳（メタデータ） (2025-09-15T04:28:38Z)
Mixture-of-Noises Enhanced Forgery-Aware Predictor for Multi-Face Manipulation Detection and Localization [52.87635234206178]
本稿では,多面的操作検出と局所化に適したMoNFAPという新しいフレームワークを提案する。このフレームワークには2つの新しいモジュールが含まれている: Forgery-aware Unified Predictor (FUP) Module と Mixture-of-Noises Module (MNM)。
論文参考訳（メタデータ） (2024-08-05T08:35:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。