論文の概要: Faithful Activation Verbalization: Reducing Hallucinations in LLM Representation Interpretation

• arxiv url: http://arxiv.org/abs/2609.34033v1
• Date: Sun, 27 Sep 2026 23:53:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 07:37:42.681378
• Title: Faithful Activation Verbalization: Reducing Hallucinations in LLM Representation Interpretation
• Title（参考訳）: 忠実な活性化言語化:LLM表現解釈における幻覚の低減
• Abstract要約: AVPOは,まず隠れたアクティベーションからソーステキストを再構成し,凍結した質問応答モデルを用いて結果テキストを評価するフレームワークである。 AVPOは6つのテキストファミリにまたがって、最強のベースライン上のギストレベルとディテールレベルの情報リカバリを最大17.1ポイントと9.3ポイント改善している。
• 参考スコア（独自算出の注目度）: 33.613023669715844
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Activation verbalization methods such as Activation Oracle and Natural Language Autoencoders decode hidden representations of large language models into human-readable natural language. However, existing methods can produce incomplete or hallucinated descriptions, making their activation verbalizations difficult to trust and use reliably in practice. To this end, we introduce AVPO, a two-stage framework that first reconstructs source text from a hidden activation and then evaluates the resulting text with a separate frozen question-answering model, yielding an explicit and inspectable intermediate readout. We further optimize the inverter with direct preference optimization (DPO), using rewards that capture both semantic recoverability and lexical fidelity. Across six text families, AVPO improves gist- and detail-level information recovery over the strongest baseline by up to 17.1 and 9.3 percentage points, respectively. Crucially, the gains arise from preference optimization rather than fine-tuning on selected reconstructions alone, enabling compact cross-model inverters to surpass donor-matched question-conditioned verbalizers while improving both semantic recoverability and lexical fidelity. Moreover, out-of-distribution case study shows that AVPO better recovers high-level semantics while fabricating fewer details.
• Abstract（参考訳）: アクティベーションオラクルや自然言語自動エンコーダのような活性化動詞化手法は、大きな言語モデルの隠れ表現を人間の読みやすい自然言語にデコードする。 しかし、既存の手法では、不完全あるいは幻覚的な記述を生成でき、そのアクティベーションの言葉化を信頼しにくくし、実際に確実に使用することができる。 そこで本研究では,まず隠れたアクティベーションからソーステキストを再構築し,凍結した質問応答モデルを用いて結果を評価し,明示的で検査可能な中間読出を行う2段階のフレームワークであるAVPOを紹介する。 さらに,意味的回復可能性と語彙的忠実度の両方をキャプチャする報酬を用いて,直接選好最適化(DPO)によるインバータの最適化を行う。 AVPOは6つのテキストファミリにまたがって、最強のベースライン上のギストレベルとディテールレベルの情報リカバリを最大17.1ポイントと9.3ポイント改善している。 重要な点として、選択された再構成のみを微調整するのではなく、好みの最適化によって得られる利益は、コンパクトなクロスモデルインバータがドナーマッチングされた質問条件の言語化に勝り、セマンティックリカバリ性と語彙的忠実性の両方を改善した。 さらに、アウト・オブ・ディストリビューション・ケーススタディでは、AVPOはより少ない詳細を製造しながら高いレベルのセマンティクスを回復する。

関連論文リスト

• Beyond Saying Less: Fine-Grained Alignment for Informative and Faithful Vision-Language Models [71.46915245859357]
  物体幻覚は、大きな視覚言語モデルにとって依然として大きな課題である。 本稿では,データレベルでの高密度報酬信号と,アルゴリズムレベルでの正確な信用割当を結合する微粒化アライメントフレームワークを提案する。 本手法は, 識別評価において, 顕著な性能向上を図りながら, 生成タスクにおける高情報かつ忠実な記述を生成する。
  論文  参考訳（メタデータ） (2026-09-28T14:37:33Z)
• SAEExplainer: Interpreting SAE Features with Activation-Guided Preference Optimization [27.75787562103551]
  SAEExplainerは,活性化スコアを客観的報酬信号として活用し,自己補正と反復ブートストラップのためのモデルトレーニングを行うためのトレーニングフレームワークである。 2ラウンドの最適化プロセスを通じて基礎的な説明を反復的に検証し、修正することにより、SAEExplainerはその説明能力を継続的に改善する。
  論文  参考訳（メタデータ） (2026-06-07T07:54:25Z)
• The Regularizing Power of Language-Training Deepfake Detectors [57.529452351298495]
  ディープフェイク検出は一般的に、低レベルのドメイン固有のアーティファクトへの過度な適合に悩まされる。 デュアルエンコーダアーキテクチャを使用し、凍結した特殊検出器とLoRA調整されたMLLMエンコーダをペアリングする。 我々は、モデルが分類する前に記述的推論を生成することを奨励する強化学習段階を採用している。
  論文  参考訳（メタデータ） (2026-05-29T12:01:17Z)
• Exploring Semantic-constrained Adversarial Example with Instruction Uncertainty Reduction [51.50282796099369]
  本稿では,多次元命令の不確実性低減フレームワークを開発し,意味論的に制約された逆の例を生成する。 言語誘導サンプリングプロセスの予測により、設計したResAdv-DDIMサンプルにより最適化プロセスが安定化される。 セマンティック制約付き3次元逆数例の参照フリー生成を初めて実現した。
  論文  参考訳（メタデータ） (2025-10-27T04:02:52Z)
• DeLeaker: Dynamic Inference-Time Reweighting For Semantic Leakage Mitigation in Text-to-Image Models [55.30555646945055]
  テキスト・ツー・イメージ(T2I)モデルはセマンティック・リークに対して脆弱である。 DeLeakerは、モデルのアテンションマップに直接介入することで、漏洩を緩和する軽量なアプローチである。 SLIMはセマンティックリークに特化した最初のデータセットである。
  論文  参考訳（メタデータ） (2025-10-16T17:39:21Z)
• Arg-LLaDA: Argument Summarization via Large Language Diffusion Models and Sufficiency-Aware Refinement [27.673022970833163]
  本稿では,要約を反復的に改善する新しい大規模言語拡散フレームワークArg-LLaDAを紹介する。 本手法では,フレキシブルマスキングコントローラと十分チェックモジュールを組み合わせることで,サポート対象,冗長,あるいは不完全なスパンを特定し,修正する。 2つのベンチマークデータセットの実証結果は、Arg-LLaDAが10の自動評価指標のうち7の最先端のベースラインを超えたことを示している。
  論文  参考訳（メタデータ） (2025-07-25T09:07:52Z)
• HyPoradise: An Open Baseline for Generative Speech Recognition with Large Language Models [81.56455625624041]
  ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。 提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。 合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
  論文  参考訳（メタデータ） (2023-09-27T14:44:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。