論文の概要: Natural Language Autoencoders Identify Without Explaining

• arxiv url: http://arxiv.org/abs/2610.32691v1
• Date: Fri, 23 Oct 2026 14:20:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.545838
• Title: Natural Language Autoencoders Identify Without Explaining
• Title（参考訳）: 自然言語オートエンコーダによる説明なしの識別
• Abstract要約: 自然言語オートエンコーダ(NLA)は、モデルの内部アクティベーションを可読テキスト形式で表現する。 この基準は、その情報が十分であり、記述的忠実性に対処しないかどうかを評価するものであると主張する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural Language Autoencoders (NLAs) express a model's internal activations in the form of readable text. The verbalizer turns an activation into an English explanation; the reconstructor then converts that explanation back into an activation, and the explanation is considered successful if the round trip brings back the original activation. We claim that this criterion evaluates whether the information is sufficient and does not address descriptive faithfulness. A sentence can contain sufficient information to make it possible to identify an activation even if it wrongly explains what the activation does: in the case of reconstruction, the primary aim is to accurately identify the activations and not to describe them. This issue has the same structure as the chain-of-thought faithfulness problem, in which verbal output that has been trained to go with a process is taken as a report on that process, and it parallels the dissociation between an individual's introspective report and the actual governing process as documented in human psychology. Although proposed as interpretability tools for the purpose of alignment, NLAs reintroduce, through unverified explanations, the epistemic problem that they were intended to resolve.
• Abstract（参考訳）: 自然言語オートエンコーダ(NLA)は、モデルの内部アクティベーションを可読テキスト形式で表現する。 言葉遣いはアクティベーションを英語の説明に変換し、コンストラクタはその説明をアクティベーションに変換し、ラウンドトリップが元のアクティベーションを引き戻すと、その説明は成功すると考えられる。 この基準は、その情報が十分であり、記述的忠実性に対処しないかどうかを評価するものであると主張する。 文は、たとえアクティベーションが何を行うかを誤って説明しても、アクティベーションを識別できる十分な情報を含むことができる。 この問題は、その過程について報告として訓練された言葉によるアウトプットが取られ、個人の内観的報告と人間の心理学で記録された実際の統治過程との解離を反映する、思考の連鎖的忠実性問題と同じ構造を持つ。 アライメントの目的で解釈可能性ツールとして提案されたが、NLAは、彼らが解決を意図した疫学的な問題である未検証の説明を通じて再導入する。

関連論文リスト

• Understanding Confabulation and Rethinking Reconstruction in Activation Explanations [48.43887288723454]
  自然言語オートエンコーダ(NLA)は、モデルのアクティベーションに関する教師なしのテキスト説明を生成する。 Flow-NLAは、説明と互換性のあるアクティベーションの分布をモデル化し、拡散バウンダリを用いて言語化を訓練する。
  論文  参考訳（メタデータ） (2026-09-27T16:04:31Z)
• Think in Latent, Explain in Language: Self-Explainable Latent Reasoning [60.882997917270934]
  自己説明可能な潜在推論(SELR)のための統合フレームワークを提案する。 SELRは1つのモデルを訓練し、効率的で本質的に説明可能な潜在推論を行う。 この設計により、生成された潜在表現がタスク効果と意味論的に解釈可能であることが保証される。
  論文  参考訳（メタデータ） (2026-07-01T16:11:00Z)
• Steered LLM Activations are Non-Surjective [42.543865253955666]
  アクティベーションステアリング(Activation steering)は、モデルアクティベーションを変更して出力の振る舞いを抽象的に変化させる手法である。 ステアリングされたアクティベーション状態が任意のテキストプロンプトによって実現可能であるかどうかは不明である。 活性化ステアリングが離散的なプロンプトから到達可能な状態の多様体から残留ストリームを押し出すことを示す。
  論文  参考訳（メタデータ） (2026-04-10T19:11:13Z)
• Understanding Contextual Recall in Transformers: How Finetuning Enables In-Context Reasoning over Pretraining Knowledge [50.009682083079205]
  我々は,文脈的リコールが単独で事前学習から生じるかどうかを検討する。 ICL評価とは異なる暗黙的推論を必要とするタスクの微調整は、文脈的リコールの出現を誘発することを示す。 メカニカル・インサイト(メカニカル・インサイト)では,現実から文脈への遷移を再現するアテンションオンリー・トランスフォーマーの構成を導出する。
  論文  参考訳（メタデータ） (2026-03-21T22:46:55Z)
• When Models Examine Themselves: Vocabulary-Activation Correspondence in Self-Referential Processing [0.0]
  自己参照語彙が同時アクティベーションダイナミクスを追跡することを示す。 我々は、自己参照と記述処理を区別する活性化空間の方向を特定する。 発見は、変圧器モデルにおける自己申告が適切な条件下で、内部の計算状態を確実に追跡できることを示唆している。
  論文  参考訳（メタデータ） (2026-02-11T20:44:33Z)
• Language Models use Lookbacks to Track Beliefs [53.8367373163602]
  我々は、因果媒介と抽象化を用いて、キャラクターの信念を推論するLMの能力を分析する。 我々の研究は信念追跡機構の洞察を提供し、LMにおけるToM推論のリバースエンジニアリングに向けた一歩を踏み出した。
  論文  参考訳（メタデータ） (2025-05-20T17:59:45Z)
• Functional Abstraction of Knowledge Recall in Large Language Models [20.082244529609707]
  本稿では,大規模言語モデル(LLM)の知識リコール機構について,機能構造に抽象化することで検討する。 そこで本研究では,知識リコールの間,モデル内の隠れアクティベーション空間が暗黙的に関数実行プロセスを必要とすることを提案する。
  論文  参考訳（メタデータ） (2025-04-20T05:17:57Z)
• ReCEval: Evaluating Reasoning Chains via Correctness and Informativeness [67.49087159888298]
  ReCEvalは2つの重要な特性(正確性と情報性)を通じて推論チェーンを評価するフレームワークである。 本稿では、ReCEvalが様々なエラータイプを効果的に識別し、従来の手法と比較して顕著な改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-04-21T02:19:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。