論文の概要: The Truth Stays in the Family: Enhancing Contextual Grounding via Inherited Truthful Heads in Model Lineages

• arxiv url: http://arxiv.org/abs/2606.15821v1
• Date: Sun, 14 Jun 2026 13:39:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:33.873242
• Title: The Truth Stays in the Family: Enhancing Contextual Grounding via Inherited Truthful Heads in Model Lineages
• Title（参考訳）: 家族の真相 : モデルラインの継承された真理頭を通しての文脈的接地を促進する
• Abstract要約: 大規模言語モデルにおいて,頭部レベルの文脈トラスフルネススコアを定量化する。 モデルファミリ内では,命令チューニングやマルチモーダル適応を行っても,真理スコアが強く保持されていることが判明した。 本稿では,他のヘッドコントリビューションを維持しつつ,文脈に忠実なヘッドを増幅するソフトゲーティング戦略であるTruthProbeを提案する。
• 参考スコア（独自算出の注目度）: 17.631812310962626
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in large language models (LLMs) have produced many specialized multimodal LLMs (MLLMs) that share common foundational LLMs, forming distinct model lineages. It remains unclear whether a fundamental behavioral link exists between the foundational LLMs and downstream variants. We investigate this question by quantifying head-level context-truthfulness scores. Across diverse LLM and MLLM lineages, including Vicuna-, Qwen2.5-, LLaMA2-, and Mistral-based models, we find that Truth Scores are strongly preserved within model families, even after instruction tuning or multimodal adaptation. We further show that this inheritance is consistent with attention-head weight preservation, and that context-truthful heads attend to query-relevant evidence. Building on this finding, we propose TruthProbe, a soft-gating strategy that amplifies context-truthful heads while preserving other head contributions. TruthProbe improves contextual truthfulness on HaluEval and reduces multimodal hallucination on POPE and CHAIR, with base-LLM Truth Scores transferring effectively to their fine-tuned LLM and MLLM descendants. Code is available at https://github.com/miso-choi/TruthProbe.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、共通基盤LLMを共有する多くの特殊なマルチモーダルLLM(MLLM)を生み出し、異なるモデル系統を形成している。 基礎的なLCMと下流の変種の間に基本的な行動的リンクが存在するかどうかは不明である。 本研究は,頭部レベルのコンテクストトラスフルネススコアを定量化することによって,この問題を考察する。 Vicuna-, Qwen2.5-, LLaMA2-, Mistral-ベースモデルを含む多種多様なLLMおよびMLLM系統において, トラススコアは, チューニングやマルチモーダル適応後のモデルファミリ内に強く保存されていることがわかった。 さらに、この継承は、注意頭重量保存と一致しており、文脈に忠実な頭部が、クエリ関連証拠に付随していることが示される。 この発見に基づいて、他の頭部の貢献を保ちながら、文脈に忠実な頭部を増幅するソフトゲーティング戦略であるTruthProbeを提案する。 TruthProbeはHaluEvalの文脈的真性を改善し、POPEとCHAIRのマルチモーダル幻覚を低減する。 コードはhttps://github.com/miso-choi/TruthProbe.comで入手できる。

関連論文リスト

• What About the Scene with the Hitler Reference? HAUNT: A Framework to Probe LLMs' Self-consistency Via Adversarial Nudge [30.640398600941598]
  幻覚は、大規模言語モデル(LLM)を高い領域に現実的に展開する上で重要な課題である。 本稿では, LLMにおける実力検査の枠組みについて述べる。
  論文  参考訳（メタデータ） (2025-10-31T02:02:39Z)
• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• Investigating Context-Faithfulness in Large Language Models: The Roles of Memory Strength and Evidence Style [13.968658352075334]
  記憶力とエビデンス提示が外的エビデンスに対する大規模言語モデルの受容性に及ぼす影響について検討する。 以上の結果から,LLMはメモリの強度が高い場合,内部メモリに依存しやすい可能性が示唆された。 これらの知見は,検索機能向上と文脈認識型LCMの改善に寄与する。
  論文  参考訳（メタデータ） (2024-09-17T07:44:06Z)
• A Probabilistic Framework for LLM Hallucination Detection via Belief Tree Propagation [72.93327642336078]
  本稿では,幻覚検出のための確率的フレームワークであるBelief Tree Propagation (BTProp)を提案する。 BTPropは、親ステートメントを子ステートメントに分解することで、論理的に関連するステートメントの信念ツリーを導入する。 複数の幻覚検出ベンチマークにおいて,AUROCとAUC-PRにより評価された基準線を3%-9%改善する。
  論文  参考訳（メタデータ） (2024-06-11T05:21:37Z)
• TruthEval: A Dataset to Evaluate LLM Truthfulness and Reliability [0.0]
  我々は、TruthEvalと呼ばれるベンチマークのためのセンシティブなトピックに関する難解なステートメントのキュレートしたコレクションを提示する。 これらのステートメントは手作業でキュレートされ、既知の真理値を含んでいる。 このデータセットを用いていくつかの初期分析を行い、単純な質問を理解できないという単純なタスクでLLMが失敗する事例をいくつか見出した。
  論文  参考訳（メタデータ） (2024-06-04T00:01:35Z)
• Characterizing Truthfulness in Large Language Model Generations with Local Intrinsic Dimension [63.330262740414646]
  大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。 モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
  論文  参考訳（メタデータ） (2024-02-28T04:56:21Z)
• Assessing the Reliability of Large Language Model Knowledge [78.38870272050106]
  大規模言語モデル(LLM)は、知識探索タスクにおける高い性能のため、知識ベースとして扱われてきた。 LLMが実際に正しい答えを連続的に生成する能力をどのように評価するか。 LLMの信頼性を直接測定するための新しい指標であるMOdel kNowledge relIabiliTy score (MONITOR)を提案する。
  論文  参考訳（メタデータ） (2023-10-15T12:40:30Z)
• Survey on Factuality in Large Language Models: Knowledge, Retrieval and Domain-Specificity [61.54815512469125]
  本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。 LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
  論文  参考訳（メタデータ） (2023-10-11T14:18:03Z)
• DoLa: Decoding by Contrasting Layers Improves Factuality in Large Language Models [79.01926242857613]
  大型言語モデル(LLM)は幻覚を起こす傾向があり、事前訓練中に見られる事実から逸脱した内容を生成する。 事前学習したLLMによる幻覚を低減するための簡単な復号法を提案する。 コントラスティング・レイヤ(DoLa)アプローチによるこのデコーディングは,事実知識をよりよく提示し,誤った事実の生成を減らすことができる。
  論文  参考訳（メタデータ） (2023-09-07T17:45:31Z)
• The Internal State of an LLM Knows When It's Lying [18.886091925252174]
  大規模言語モデル(LLM)は、様々なタスクにおいて例外的なパフォーマンスを示している。 彼らの最も顕著な欠点の1つは、自信のあるトーンで不正確または偽の情報を生成することである。 我々は, LLMの内部状態が文の真偽を明らかにするのに有効であることを示す証拠を提供する。
  論文  参考訳（メタデータ） (2023-04-26T02:49:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。