論文の概要: Prompt-Response Semantic Divergence Metrics for Faithfulness Hallucination and Misalignment Detection in Large Language Models

• arxiv url: http://arxiv.org/abs/2508.10192v1
• Date: Wed, 13 Aug 2025 20:55:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-15 22:24:48.118515
• Title: Prompt-Response Semantic Divergence Metrics for Faithfulness Hallucination and Misalignment Detection in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける暗黙の幻覚と誤認識検出のためのプロンプト応答セマンティック・ディバージェンス・メトリクス
• Authors: Igor Halperin,
• Abstract要約: 本稿では, 忠実な幻覚を検出するための新しい枠組みであるセマンティック・ディバージェンス・メトリックス(SDM)を紹介する。 プロンプトと応答間のトピック共起のヒートマップは、ユーザとマシンの対話の定量的な2次元可視化と見なすことができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The proliferation of Large Language Models (LLMs) is challenged by hallucinations, critical failure modes where models generate non-factual, nonsensical or unfaithful text. This paper introduces Semantic Divergence Metrics (SDM), a novel lightweight framework for detecting Faithfulness Hallucinations -- events of severe deviations of LLMs responses from input contexts. We focus on a specific implementation of these LLM errors, {confabulations, defined as responses that are arbitrary and semantically misaligned with the user's query. Existing methods like Semantic Entropy test for arbitrariness by measuring the diversity of answers to a single, fixed prompt. Our SDM framework improves upon this by being more prompt-aware: we test for a deeper form of arbitrariness by measuring response consistency not only across multiple answers but also across multiple, semantically-equivalent paraphrases of the original prompt. Methodologically, our approach uses joint clustering on sentence embeddings to create a shared topic space for prompts and answers. A heatmap of topic co-occurances between prompts and responses can be viewed as a quantified two-dimensional visualization of the user-machine dialogue. We then compute a suite of information-theoretic metrics to measure the semantic divergence between prompts and responses. Our practical score, $\mathcal{S}_H$, combines the Jensen-Shannon divergence and Wasserstein distance to quantify this divergence, with a high score indicating a Faithfulness hallucination. Furthermore, we identify the KL divergence KL(Answer $||$ Prompt) as a powerful indicator of \textbf{Semantic Exploration}, a key signal for distinguishing different generative behaviors. These metrics are further combined into the Semantic Box, a diagnostic framework for classifying LLM response types, including the dangerous, confident confabulation.
• Abstract（参考訳）: LLM(Large Language Models)の拡散は、非現実的、非感覚的、あるいは不誠実なテキストを生成する、幻覚、致命的な失敗モードによって挑戦される。 本稿では,SDM(Semantic Divergence Metrics)について紹介する。 我々は、これらのLCMエラーの特定の実装である {confabulations" に注目し、ユーザのクエリと任意で意味的に一致しない応答として定義する。 セマンティックエントロピーテストのような既存の手法は、一つの固定されたプロンプトに対する答えの多様性を測定することによって任意性をテストする。 我々は、複数の答えだけでなく、元のプロンプトの複数の意味論的に等価なパラフレーズにわたって応答の一貫性を測定することによって、より深い形の仲裁性をテストする。 提案手法では,文の埋め込みに共同クラスタリングを用いて,プロンプトと回答のための共有トピック空間を作成する。 プロンプトと応答間のトピック共起のヒートマップは、ユーザとマシンの対話の定量的な2次元可視化と見なすことができる。 次に、情報理論の一連のメトリクスを計算し、プロンプトと応答のセマンティックなばらつきを測定する。 我々の実践的スコアである$\mathcal{S}_H$は、ジェンセン=シャノンの発散とワッサーシュタイン距離を組み合わせてこの発散を定量化し、高得点は忠実な幻覚を示す。 さらに、KLの発散KL(Answer $|$ Prompt)を、異なる生成挙動を識別するためのキーシグナルである \textbf{Semantic Exploration} の強力な指標として同定する。 これらのメトリクスは、危険で確実なコミュニケーションを含むLSM応答タイプを分類するための診断フレームワークであるSemantic Boxにさらに統合される。

関連論文リスト

• Feedback Indices to Evaluate LLM Responses to Rebuttals for Multiple Choice Type Questions [0.0]
  本稿では,チャット中の反論に挑戦する場合に,Large Language Model (LLM) 応答を特徴付けるフレームワークを提案する。 提案手法は,複数質問を提示した場合のLCMの挙動を定量的に評価する,架空の応答応答法を用いている。 指標は特に、サイコファンティックな行動として特徴づけられるものを検知し、測定するために設計されている。
  論文  参考訳（メタデータ） (2026-01-02T21:16:43Z)
• ClarifyMT-Bench: Benchmarking and Improving Multi-Turn Clarification for Conversational Large Language Models [32.099137908375546]
  ClarifyMT-Benchは、大規模言語モデル(LLM)におけるマルチターン明確化のためのベンチマークである。 多様なあいまいさソースと相互作用パターンをキャプチャする6,120個のマルチターン対話を構築した。 textbfClarifyAgentは,認知,予測,追跡,計画に明確化を分解するエージェントアプローチである。
  論文  参考訳（メタデータ） (2025-12-24T11:39:00Z)
• Generative Human-Object Interaction Detection via Differentiable Cognitive Steering of Multi-modal LLMs [85.69785384599827]
  人間と物体の相互作用(Human-object Interaction、HOI)の検出は、人と物体のペアとそれらの相互作用を局在させることを目的としている。 既存のメソッドはクローズドワールドの仮定の下で動作し、タスクを未定義の小さな動詞集合上の分類問題として扱う。 本稿では,閉集合分類タスクから開語彙生成問題へのHOI検出を再構成する新しい生成推論・ステアブル知覚フレームワークGRASP-HOを提案する。
  論文  参考訳（メタデータ） (2025-12-19T14:41:50Z)
• Embedding Trust: Semantic Isotropy Predicts Nonfactuality in Long-Form Text Generation [25.48843962368704]
  意味的等方性(semantic isotropy)は、単位球上に正規化されたテキスト埋め込みをまたいだ均一性の度合いである。 単位球面上の埋め込みの角分散として,これらの応答のセマンティックな等方性レベルを推定する。 高いセマンティックなアイソトロピー、すなわち大きな埋め込み分散は、標本間の事実整合性を確実に低下させる。
  論文  参考訳（メタデータ） (2025-10-24T03:24:57Z)
• Multi-stage Prompt Refinement for Mitigating Hallucinations in Large Language Models [49.435669307386156]
  MPR(Multi-stage Prompt Refinement)は、複数のステージにわたる不整形プロンプトを体系的に改善するためのフレームワークである。 MPRは、追加の文脈でプロンプトの明快さを反復的に強化し、最も関連する入力を優先順位付けするためにランク付けされた自己回帰機構を使用する。 幻覚ベンチマークの結果、MPRは原型と比較して85%以上の勝利率を達成した。
  論文  参考訳（メタデータ） (2025-10-14T00:31:36Z)
• Topic Identification in LLM Input-Output Pairs through the Lens of Information Bottleneck [0.0]
  幾何学的クラスタリングのための決定論的情報ボトルネック(DIB)に基づく基本的トピック識別手法を開発した。 我々の重要な貢献は、DIB法を計算効率の良い上界を持つ難解なKL発散項に代えて、高次元データのための実用的なアルゴリズムに変換することである。
  論文  参考訳（メタデータ） (2025-08-26T20:00:51Z)
• Semantic Energy: Detecting LLM Hallucination Beyond Entropy [106.92072182161712]
  大規模言語モデル(LLM)は、現実のアプリケーションにますますデプロイされているが、幻覚の影響を受けやすいままである。 不確実性推定は、そのような幻覚を検出するための実現可能なアプローチである。 本稿では,新しい不確実性推定フレームワークであるセマンティック・エナジーを紹介する。
  論文  参考訳（メタデータ） (2025-08-20T07:33:50Z)
• CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
  評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。 数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。 我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
  論文  参考訳（メタデータ） (2025-08-05T17:55:24Z)
• Clarifying Ambiguities: on the Role of Ambiguity Types in Prompting Methods for Clarification Generation [5.259846811078731]
  我々は、明確化のためのあいまいさの概念に注目し、明確化プロセスにおいてあいまいさをモデル化し統合することを模索する。 我々はこの新しいプロンプトスキームをAmbiguity Type-Chain of Thought (AT-CoT)と名付けた。
  論文  参考訳（メタデータ） (2025-04-16T14:21:02Z)
• DiPEx: Dispersing Prompt Expansion for Class-Agnostic Object Detection [45.56930979807214]
  クラスに依存しないオブジェクト検出は、多くの下流の視覚タスクにおいて、基盤となるかボトルネックとなる可能性がある。 本研究では、視覚言語モデルを用いて、自己教師付きプロンプト学習戦略による物体検出を強化する。 我々は,MS-COCO および LVIS におけるDiPEx の有効性を,クラス依存型OD および OOD-OD 実験により実証した。
  論文  参考訳（メタデータ） (2024-06-21T07:33:37Z)
• QLSC: A Query Latent Semantic Calibrator for Robust Extractive Question Answering [32.436530949623155]
  クエリの潜在セマンティックセンターの特徴を捉えるために,ユニークなスケーリング戦略を提案する。 これらの機能は、従来のクエリとパスの埋め込みにシームレスに統合されます。 提案手法は,テキスト形式の変化に対する感度を低下させ,正確な回答をピンポイントするモデルの能力を高める。
  論文  参考訳（メタデータ） (2024-04-30T07:34:42Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• High-Fidelity Speech Synthesis with Minimal Supervision: All Using Diffusion Models [56.00939852727501]
  最小教師付き音声合成は、2種類の離散音声表現を組み合わせることでTSを分離する。 非自己回帰フレームワークは、制御可能性を高め、持続拡散モデルは、多様化された韻律表現を可能にする。
  論文  参考訳（メタデータ） (2023-09-27T09:27:03Z)
• Elastic Weight Removal for Faithful and Abstractive Dialogue Generation [61.40951756070646]
  対話システムは、関連する文書に含まれる知識に忠実な応答を生成するべきである。 多くのモデルは、それと矛盾したり、検証不可能な情報を含んでいる代わりに幻覚応答を生成する。 本手法は,幻覚と抽出反応を同時に阻止するために拡張できることが示唆された。
  論文  参考訳（メタデータ） (2023-03-30T17:40:30Z)
• Pareto Probing: Trading Off Accuracy for Complexity [87.09294772742737]
  我々は,プローブの複雑性と性能の基本的なトレードオフを反映したプローブ計量について論じる。 係り受け解析による実験により,文脈表現と非文脈表現の統語的知識の幅広いギャップが明らかとなった。
  論文  参考訳（メタデータ） (2020-10-05T17:27:31Z)
• Generating Dialogue Responses from a Semantic Latent Space [75.18449428414736]
  語彙のエンドツーエンド分類に代わる方法を提案する。 潜在空間上の回帰タスクとして,プロンプトと応答のペア関係を学習する。 人間の評価は、連続した空間でタスクを学習すると、関連性と情報性の両方を持つ応答が生成されることを示した。
  論文  参考訳（メタデータ） (2020-10-04T19:06:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。