論文の概要: Understanding Confabulation and Rethinking Reconstruction in Activation Explanations

• arxiv url: http://arxiv.org/abs/2609.33702v1
• Date: Sun, 27 Sep 2026 16:04:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 17:31:18.934329
• Title: Understanding Confabulation and Rethinking Reconstruction in Activation Explanations
• Title（参考訳）: 活性化説明における議論の理解と再考
• Abstract要約: 自然言語オートエンコーダ(NLA)は、モデルのアクティベーションに関する教師なしのテキスト説明を生成する。 Flow-NLAは、説明と互換性のあるアクティベーションの分布をモデル化し、拡散バウンダリを用いて言語化を訓練する。
• 参考スコア（独自算出の注目度）: 48.43887288723454
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Natural Language Autoencoders (NLAs) produce unsupervised text explanations of a model's activations: a verbalizer describes an activation and a reconstructor learns to recover it from this text. Under the established point-reconstruction NLA training recipe, explanations become more useful for predicting model behavior while also increasingly introducing unsupported details and exhibiting writing defects. To assess these changes separately, we introduce a standardized evaluation framework for unstructured NLA explanations, measuring information recoverable from explanations, contextual support for their claims, and writing quality. To address confabulation and writing defects, we move beyond predicting a single activation: explanations can distinguish distributions of possible activations even when their means and optimal point-reconstruction rewards are identical. We introduce Flow-NLA, which models the distribution of activations compatible with an explanation and trains the verbalizer using a diffusion likelihood bound. Across Qwen, Gemma, and Apertus, this richer signal retains the utility gains of point reconstruction while curbing the growth of confabulation and writing defects, opening up a direction for improving activation-derived training to encourage more informative, supported, and readable explanations. Code and evaluation prompts will be made publicly available upon acceptance.
• Abstract（参考訳）: 自然言語オートエンコーダ(NLA)は、モデルのアクティベーションに関する教師なしのテキスト説明を生成する。 確立されたポイントリコンストラクションNLAトレーニングレシピの下では、説明はモデル行動を予測するのに役立ちつつ、サポートされていない詳細を導入し、欠陥を示すのにも役立ちます。 これらの変更を別々に評価するために、非構造化NLA説明のための標準化された評価フレームワーク、説明から回復可能な情報の測定、クレームの文脈支援、品質の書き方について紹介する。 説明は、その手段と最適点再構成報酬が同一であっても、可能な活性化の分布を区別することができる。 本稿では,説明と相反するアクティベーションの分布をモデル化したFlow-NLAを提案する。 Qwen, Gemma, Apertusをまたいで、このリッチな信号は、断片化と欠陥の増大を抑えつつ、ポイント再構成の実用的利益を維持し、より情報的でサポートされ、読みやすい説明を促進するために、アクティベーション由来のトレーニングを改善するための方向を開く。 コードと評価のプロンプトは受理時に公開されます。

関連論文リスト

• RewardExplainer: Learning Reward Model Explanations from Counterfactual Preference Feedback [40.29410627249123]
  Reward Model(RM)は、大規模言語モデルポストトレーニングの重要なコンポーネントであり、後続の強化学習のための報奨信号を提供する。 提案するRewardExplainerは,相手の報酬モデルからフィードバックを得るためのフレームワークである。 オープンエンド、アトミック、インターベンブルな自然言語スコアリング機構を生成し、より具体的で読みやすく、動作可能な説明を作成する。
  論文  参考訳（メタデータ） (2026-09-27T22:43:38Z)
• Towards A Unified Information Bottleneck Framework for Time Series Explanations [27.646760316510356]
  既存の説明者は、自明な解や分布シフトに対して脆弱であることを示す。 本稿では、帰属と反実的推論を橋渡しする、説明可能な時系列学習のための統一目的関数を提案する。 我々の定式化は、自明な説明やアウト・オブ・ディストリビューションのカウンターファクトを明示的に防ぐ。
  論文  参考訳（メタデータ） (2026-08-26T15:14:52Z)
• SAEExplainer: Interpreting SAE Features with Activation-Guided Preference Optimization [27.75787562103551]
  SAEExplainerは,活性化スコアを客観的報酬信号として活用し,自己補正と反復ブートストラップのためのモデルトレーニングを行うためのトレーニングフレームワークである。 2ラウンドの最適化プロセスを通じて基礎的な説明を反復的に検証し、修正することにより、SAEExplainerはその説明能力を継続的に改善する。
  論文  参考訳（メタデータ） (2026-06-07T07:54:25Z)
• Understanding Contextual Recall in Transformers: How Finetuning Enables In-Context Reasoning over Pretraining Knowledge [50.009682083079205]
  我々は,文脈的リコールが単独で事前学習から生じるかどうかを検討する。 ICL評価とは異なる暗黙的推論を必要とするタスクの微調整は、文脈的リコールの出現を誘発することを示す。 メカニカル・インサイト(メカニカル・インサイト)では,現実から文脈への遷移を再現するアテンションオンリー・トランスフォーマーの構成を導出する。
  論文  参考訳（メタデータ） (2026-03-21T22:46:55Z)
• eX-NIDS: A Framework for Explainable Network Intrusion Detection Leveraging Large Language Models [3.8436076642278745]
  本稿では,フローベースネットワーク侵入検知システム(NIDS)における解釈可能性を高めるためのフレームワークであるeX-NIDSを紹介する。 提案フレームワークでは、NIDSによって悪意のあるものとしてラベル付けされたフローは、最初にPrompt Augmenterと呼ばれるモジュールによって処理される。 このモジュールは、これらのフローからコンテキスト情報とサイバー脅威インテリジェンス(CTI)関連の知識を抽出する。 このリッチでコンテキスト固有のデータは、LLMの入力プロンプトと統合され、NIDSによってフローが悪質であると認識された理由の詳細な説明と解釈を生成できる。
  論文  参考訳（メタデータ） (2025-07-22T05:26:21Z)
• On the Loss of Context-awareness in General Instruction Fine-tuning [101.03941308894191]
  教師付き微調整後の文脈認識の喪失について検討した。 性能低下は,会話指導の微調整中に学んだ異なる役割に対する偏見と関連していることがわかった。 一般命令微調整データセットから文脈依存例を識別する指標を提案する。
  論文  参考訳（メタデータ） (2024-11-05T00:16:01Z)
• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• Counterfactuals of Counterfactuals: a back-translation-inspired approach to analyse counterfactual editors [3.4253416336476246]
  我々は、反事実的、対照的な説明の分析に焦点をあてる。 本稿では,新しい逆翻訳に基づく評価手法を提案する。 本研究では, 予測モデルと説明モデルの両方の振る舞いについて, 反事実を反復的に説明者に与えることで, 価値ある洞察を得ることができることを示す。
  論文  参考訳（メタデータ） (2023-05-26T16:04:28Z)
• Remembering for the Right Reasons: Explanations Reduce Catastrophic Forgetting [100.75479161884935]
  我々は、RRR(Remembering for the Right Reasons)と呼ばれる新しいトレーニングパラダイムを提案する。 RRRは、各例の視覚モデル説明をバッファに格納し、モデルが予測に「正しい理由」を持つことを保証する。 メモリや正規化ベースのアプローチでRRRを容易に追加できることを示し、その結果、忘れを少なくする。
  論文  参考訳（メタデータ） (2020-10-04T10:05:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。