論文の概要: Sample Transform Cost-Based Training-Free Hallucination Detector for Large Language Models

• arxiv url: http://arxiv.org/abs/2603.22303v1
• Date: Tue, 17 Mar 2026 14:48:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-25 19:53:37.038461
• Title: Sample Transform Cost-Based Training-Free Hallucination Detector for Large Language Models
• Title（参考訳）: 大規模言語モデルのためのサンプル変換コストに基づく学習自由幻覚検出器
• Authors: Zeyang Ding, Xinglin Hu, Jicong Fan,
• Abstract要約: 大規模言語モデル(LLM)における幻覚は、信頼性の高いデプロイメントにおいて中心的な障害である。 分布の複雑さは幻覚の指標であると主張する。 平均コストを測定するAvgWDと、コストの複雑さを測定するEigenWDの2つの補完シグナルを導出する。
• 参考スコア（独自算出の注目度）: 19.807720104233663
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hallucinations in large language models (LLMs) remain a central obstacle to trustworthy deployment, motivating detectors that are accurate, lightweight, and broadly applicable. Since an LLM with a prompt defines a conditional distribution, we argue that the complexity of the distribution is an indicator of hallucination. However, the density of the distribution is unknown and the samples (i.e., responses generated for the prompt) are discrete distributions, which leads to a significant challenge in quantifying the complexity of the distribution. We propose to compute the optimal-transport distances between the sets of token embeddings of pairwise samples, which yields a Wasserstein distance matrix measuring the costs of transforming between the samples. This Wasserstein distance matrix provides a means to quantify the complexity of the distribution defined by the LLM with the prompt. Based on the Wasserstein distance matrix, we derive two complementary signals: AvgWD, measuring the average cost, and EigenWD, measuring the cost complexity. This leads to a training-free detector for hallucinations in LLMs. We further extend the framework to black-box LLMs via teacher forcing with an accessible teacher model. Experiments show that AvgWD and EigenWD are competitive with strong uncertainty baselines and provide complementary behavior across models and datasets, highlighting distribution complexity as an effective signal for LLM truthfulness.
• Abstract（参考訳）: 大規模言語モデル(LLM)の幻覚は、信頼性の高いデプロイメントにおいて中心的な障害であり、正確で軽量で広く適用可能な検出器を動機付けている。 プロンプトを持つLLMは条件分布を定義するので、分布の複雑さは幻覚の指標であると主張する。 しかし、分布の密度は未知であり、サンプル(すなわち、プロンプトで生成された応答)は離散分布であり、分布の複雑さを定量化する上で大きな課題となる。 そこで本論文では, サンプル間の変換コストを計測するワッサーシュタイン距離行列を導出する, ペアのトークン埋め込みの集合間の最適輸送距離を計算することを提案する。 このワッサーシュタイン距離行列は、LLMによって定義された分布の複雑さをプロンプトで定量化する手段を提供する。 Wasserstein距離行列に基づいて、平均コストを測定するAvgWDとコストの複雑さを測定するEigenWDの2つの相補的なシグナルを導出する。 これにより、LDMの幻覚のトレーニング不要な検出器が作られる。 さらに,教師の力を借りて,ブラックボックスのLCMに拡張する。 実験により、AvgWDとEigenWDは強い不確実性ベースラインと競合し、モデルとデータセット間で相補的な振る舞いを提供し、LLMの真正性に対する効果的なシグナルとして分布の複雑さを強調した。

関連論文リスト

• Score-based sampling without diffusions: Guidance from a simple and modular scheme [0.0]
  本稿では, (a) 端末分布, (b) それぞれが強対数凹凸(SLC)分布で定義される前方軌道を設計する方法を示す。 このモジュラーリダクションは,後方進路を横切るために,空想的なSLCサンプリングアルゴリズムを利用することができる。 高精度ルーチンを使用すると、KL または Wasserstein 距離において $varepsilon$-accurate の答えが得られる。
  論文  参考訳（メタデータ） (2025-12-30T11:34:59Z)
• Minimax Optimality of the Probability Flow ODE for Diffusion Models [8.15094483029656]
  この研究は、決定論的ODEベースのサンプリングのための最初のエンドツーエンド理論フレームワークを開発する。 L2$のスコア誤差と関連する平均ジャコビアン誤差の両方を同時に制御するスムーズな正規化スコア推定器を提案する。 得られたサンプルは全変動距離, 変調対数係数において最小値が得られることを示す。
  論文  参考訳（メタデータ） (2025-03-12T17:51:29Z)
• Steer LLM Latents for Hallucination Detection [29.967245405976072]
  本稿では、推論中に表現空間を再評価し、真理と幻覚の出力を分離するステアリングベクトルを提案する。 我々の2段階のフレームワークは、まず、ラベル付き例題の小さなセットでSVを訓練し、コンパクトで分離されたクラスタを形成します。 その後、ラベルなしのLLM世代で模範集合を拡張し、疑似ラベル付けに最適なトランスポートベースのアルゴリズムと信頼に基づくフィルタリングプロセスを組み合わせた。
  論文  参考訳（メタデータ） (2025-03-01T19:19:34Z)
• Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
  CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。 統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
  論文  参考訳（メタデータ） (2024-08-25T04:07:18Z)
• Distributional Preference Alignment of LLMs via Optimal Transport [36.95053112313244]
  最適輸送(AOT)によるアライメント(Alignment)と呼ばれるLLMの分布選好アライメント手法を提案する。 AOTは、正のサンプルの報酬分布を負のサンプルの分布の第1次において支配的に支配することにより、LLMを未ペアの選好データに整合させる。 AOTは,Open LLM BenchmarksとAlpacaEvalで評価すると,7Bモデルの最先端モデルにつながることを示す。
  論文  参考訳（メタデータ） (2024-06-09T18:41:05Z)
• On-Demand Sampling: Learning Optimally from Multiple Distributions [63.20009081099896]
  社会と現実世界の考察は、マルチディストリビューション学習パラダイムの台頭につながっている。 これらの学習パラダイムの最適なサンプル複雑性を確立し、このサンプル複雑性を満たすアルゴリズムを提供する。 アルゴリズムの設計と解析は,ゼロサムゲーム解決のためのオンライン学習手法の拡張によって実現されている。
  論文  参考訳（メタデータ） (2022-10-22T19:07:26Z)
• Unrolling Particles: Unsupervised Learning of Sampling Distributions [102.72972137287728]
  粒子フィルタリングは複素系の優れた非線形推定を計算するために用いられる。 粒子フィルタは様々なシナリオにおいて良好な推定値が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-06T16:58:34Z)
• Learning to Match Distributions for Domain Adaptation [116.14838935146004]
  本稿では,ドメイン間分布マッチングを自動的に学習する学習 to Match (L2M)を提案する。 L2Mは、メタネットワークを用いてデータ駆動方式で分布整合損失を学習することにより、誘導バイアスを低減する。 公開データセットの実験は、SOTA法よりもL2Mの方が優れていることを裏付けている。
  論文  参考訳（メタデータ） (2020-07-17T03:26:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。