論文の概要: Semantic Faithfulness and Entropy Production Measures to Tame Your LLM Demons and Manage Hallucinations

• arxiv url: http://arxiv.org/abs/2512.05156v2
• Date: Mon, 08 Dec 2025 15:12:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-09 15:54:52.378782
• Title: Semantic Faithfulness and Entropy Production Measures to Tame Your LLM Demons and Manage Hallucinations
• Title（参考訳）: 意味的信条とエントロピー生産対策
• Authors: Igor Halperin,
• Abstract要約: 本稿では,情報理論と熱力学の知見を用いた信頼度評価のための2つの新しい指標を提案する。 質問-文脈-回答(QCA)三つ組を共有トピックの確率分布としてモデル化する。 高い忠実さは一般にエントロピーの低い生産を意味する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Evaluating faithfulness of Large Language Models (LLMs) to a given task is a complex challenge. We propose two new unsupervised metrics for faithfulness evaluation using insights from information theory and thermodynamics. Our approach treats an LLM as a bipartite information engine where hidden layers act as a Maxwell demon controlling transformations of context $C $ into answer $A$ via prompt $Q$. We model Question-Context-Answer (QCA) triplets as probability distributions over shared topics. Topic transformations from $C$ to $Q$ and $A$ are modeled as transition matrices ${\bf Q}$ and ${\bf A}$ encoding the query goal and actual result, respectively. Our semantic faithfulness (SF) metric quantifies faithfulness for any given QCA triplet by the Kullback-Leibler (KL) divergence between these matrices. Both matrices are inferred simultaneously via convex optimization of this KL divergence, and the final SF metric is obtained by mapping the minimal divergence onto the unit interval [0,1], where higher scores indicate greater faithfulness. Furthermore, we propose a thermodynamics-based semantic entropy production (SEP) metric in answer generation, and show that high faithfulness generally implies low entropy production. The SF and SEP metrics can be used jointly or separately for LLM evaluation and hallucination control. We demonstrate our framework on LLM summarization of corporate SEC 10-K filings.
• Abstract（参考訳）: 与えられたタスクに対するLLM(Large Language Models)の忠実さを評価することは、複雑な課題である。 情報理論と熱力学の知見を用いた信頼度評価のための2つの新しい教師なし指標を提案する。 我々のアプローチでは、LLMを、隠れたレイヤがコンテキスト$C$の変換をプロンプト$Q$経由で応答$A$に変換するMaxwellデーモンとして機能する二部情報エンジンとして扱う。 質問-文脈-回答(QCA)三つ組を共有トピックの確率分布としてモデル化する。 C$から$Q$、$A$へのトピック変換は、それぞれ、クエリゴールと実際の結果をエンコードする遷移行列${\bf Q}と${\bf A}$としてモデル化される。 我々の意味的忠実度(SF)は、任意のQCA三重項に対する忠実度を、これらの行列間のクルバック・リーブラー(KL)ばらつきによって定量化する。 両行列は、このKL分散の凸最適化により同時に推論され、最小分散度を単位区間 [0,1] にマッピングすることで最終SF計量が得られる。 さらに,解答生成における熱力学に基づくセマンティックエントロピー生成(SEP)尺度を提案し,高い忠実性は一般に低いエントロピー生成を意味することを示した。 SFとSEPのメトリクスは、LLMの評価と幻覚制御のために、共同または別々に使用することができる。 企業SEC10-K申請のLCM要約に関する枠組みを実証する。

関連論文リスト

• The 4/$δ$ Bound: Designing Predictable LLM-Verifier Systems for Formal Method Guarantee [5.345468714252351]
  この研究は LLM-Verifier Convergence Theorem の開発によってギャップを埋める。 LLMと検証器の相互作用を離散時間マルコフ連鎖としてモデル化する。 われわれはこの予測を90,000件以上の治験を含む広範囲な実証キャンペーンでストレステストした。
  論文  参考訳（メタデータ） (2025-11-30T22:19:09Z)
• Reasoning with Confidence: Efficient Verification of LLM Reasoning Steps via Uncertainty Heads [104.9566359759396]
  データ駆動の不確実性スコアに基づくステップレベルの推論検証の軽量な代替案を提案する。 本研究は, LLMの内部状態が不確実性を符号化し, 信頼性の高い検証信号として機能することが示唆された。
  論文  参考訳（メタデータ） (2025-11-09T03:38:29Z)
• Beyond Semantic Entropy: Boosting LLM Uncertainty Quantification with Pairwise Semantic Similarity [15.16188621701658]
  大規模な言語モデルにおける幻覚は、典型的にはエントロピーを用いて測定されるモデル出力の不確実性を評価することによって検出することができる。 本稿では,近辺のエントロピー推定に着想を得た簡易なブラックボックス不確実性定量法を提案する。 また,トークンの確率を組み込むことで,ホワイトボックス設定に容易に拡張することができる。
  論文  参考訳（メタデータ） (2025-05-30T21:21:05Z)
• HypRL: Reinforcement Learning of Control Policies for Hyperproperties [0.0]
  仕様誘導型強化学習フレームワークHYPRLを提案する。 我々はSkolemizationを適用して量化器の変質を管理し、報酬を形作る定量的関数を定義する。 次に、適切なRLアルゴリズムを用いて、期待される報酬を最大化するポリシーを学ぶ。
  論文  参考訳（メタデータ） (2025-04-07T01:58:36Z)
• Finite State Automata Inside Transformers with Chain-of-Thought: A Mechanistic Study on State Tracking [41.3496135369579]
  CoT(Chain-of-Thought)は、幅広いタスクにわたる大規模言語モデル(LLM)の性能を大幅に向上させる。 Transformer+CoTが学習できるアルゴリズムの機械的理解は限られている。 我々はTransformer+CoTとその変種の状態追跡機能の評価を行い,CoTの有効性を確認した。
  論文  参考訳（メタデータ） (2025-02-27T14:24:51Z)
• FLARE: Faithful Logic-Aided Reasoning and Exploration [47.46564769245296]
  タスク分解を用いて問題空間をトラバースする新しい手法を提案する。 我々はLarge Language Modelsを使ってソリューションを計画し、クエリを事実に軟式化し、論理プログラミングコードを使って述語する。 提案手法は,生成したコードに対する推論プロセスの忠実度を計算し,外部の解法に頼らずにマルチホップ探索のステップを解析する。
  論文  参考訳（メタデータ） (2024-10-14T19:39:11Z)
• Unveiling Induction Heads: Provable Training Dynamics and Feature Learning in Transformers [54.20763128054692]
  我々は,2層変換器が$n$-gramのマルコフ連鎖データ上でICLを実行するためにどのように訓練されているかを検討する。 クロスエントロピー ICL 損失に対する勾配流が極限モデルに収束することを証明する。
  論文  参考訳（メタデータ） (2024-09-09T18:10:26Z)
• Quantifying Semantic Emergence in Language Models [31.608080868988825]
  大規模言語モデル (LLM) は意味論的意味を捉える特別な能力として広く認識されている。 本研究では,入力トークンから意味を抽出するLLMの能力を測定するために,量的指標である情報創発(IE)を導入する。
  論文  参考訳（メタデータ） (2024-05-21T09:12:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。