論文の概要: Verbalizing Activation Differences with Natural Language Autoencoders

• arxiv url: http://arxiv.org/abs/2610.30934v1
• Date: Thu, 22 Oct 2026 08:54:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.289596
• Title: Verbalizing Activation Differences with Natural Language Autoencoders
• Title（参考訳）: 自然言語オートエンコーダによる言語活性化の相違
• Abstract要約: アクティベータは、大きな言語モデルの内部表現を人間可読テキストに変換する。 最近提案された自然言語オートエンコーダ(NLA)は、自然言語ボトルネックを通じてアクティベーションを再構築することでこれを学習する。 i) NLAの動詞化は、入力に関して構成構造を示すか? NLAは,ユーザプロンプトに先行する最も情報性の高いトークン位置から,トークンを生成する微調整モデルを使わずに,微調整対象を復元できることがわかった。
• 参考スコア（独自算出の注目度）: 2.029619941891472
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Activation verbalizers translate the internal representations of large language models into human-readable text. The recently proposed natural language autoencoders (NLAs) learn this by reconstructing activations through a natural language bottleneck. However, it remains unclear how well these methods generalize beyond the setting they were trained for. Here, we study this question for NLAs along four closely related questions: (i) Do NLA verbalizations exhibit compositional structure with respect to their input? (ii) Do NLAs generalize to finetuned versions of the model they were trained for? (iii) Can NLAs recover finetuning objectives in model diffing? (iv) Can NLAs be specialized for model diffing? Across four models from three families, our experiments provide evidence supporting a largely positive answer to all four questions. Specifically, verbalizations of composed analogy activations mostly name the target while rarely mentioning the subtracted word, and an NLA can be reused on lightweight finetunes of its original model without retraining, with reconstruction quality degrading noticeably only for the largest model. Verbalizing activation differences between Taboo model organisms and their original models recovers the concealed secret word for most organisms, and reinforcement learning on activation differences further improves this recovery on held-out organisms. We also find that NLAs can recover the finetuning objective without the finetuned model generating any token, since the most informative token positions precede the user prompt. NLAs do not yet match state-of-the-art model diffing methods on the emergent misalignment detection task, but outperform a blackbox baseline. Our findings suggest that NLAs can meaningfully verbalize differences in activation space, rendering NLAs a promising direction for future work.
• Abstract（参考訳）: アクティベーション・ボーダライザは、大きな言語モデルの内部表現を人間可読テキストに変換する。 最近提案された自然言語オートエンコーダ(NLA)は、自然言語ボトルネックを通じてアクティベーションを再構築することでこれを学習する。 しかし、これらの手法が訓練された設定を超えてどのように一般化されるかは、まだ不明である。 ここでは、NLAに対するこの質問について、関連する4つの質問について研究する。 i)NLA動詞化は入力に関して構成構造を示すか? (ii)NLAは、トレーニング対象モデルの微調整バージョンに一般化するだろうか? 3)NLAはモデル拡散における微調整目的を回復できるか? (iv)NLAはモデル拡散に特化できるか? 3つの家系の4つのモデルにまたがって、我々の実験は4つの質問に対するほぼ肯定的な回答を裏付ける証拠を提供する。 具体的には、合成アナログアクティベーションの言語化は、主にターゲットを名付けるが、抽出された単語にはほとんど言及せず、NLAは元のモデルの軽量な微調整で再訓練することなく再利用でき、復元品質は最大のモデルにのみ顕著に低下する。 タブーモデル生物と原モデルとのバーバリゼーション活性化の相違は、ほとんどの生物にとって隠された秘密語を回復させ、活性化の相違に関する強化学習は、保持された生物のこの回復をさらに改善させる。 また,最も情報性の高いトークン位置がユーザプロンプトに先行しているため,NLAはトークンを生成する微調整モデルを使わずに微調整対象を復元できることがわかった。 NLAは、創発的ミスアライメント検出タスクにおける最先端モデル差分法とはまだ一致しないが、ブラックボックスベースラインを上回っている。 以上の結果から,NLAはアクティベーション空間の違いを有意に弁別できる可能性が示唆された。

関連論文リスト

• Narrow Finetuning Leaves Clearly Readable Traces in Activation Differences [16.09906989518837]
  狭い微調整はLLM活性化に強いバイアスをもたらし、微調整領域を理解するために解釈できることを示す。 これらのバイアスは、モデル差分法による単純なツールを使って見つけることができる。 これらの分析はLLMベースの解釈可能性エージェントを作成することによって重要な情報を含むことを示す。
  論文  参考訳（メタデータ） (2025-10-14T19:05:59Z)
• Disentangling Neural Disjunctive Normal Form Models [46.04248617689743]
  ニューラル・ディジャンクティブ・ノーマル・フォーム(英語版)(DNF)に基づくモデルは、ニューラル・シンボリック・ラーニングに対する強力で解釈可能なアプローチである。 ここでは、翻訳中の性能劣化の一部は、ネットワークの重みの形で表現される学習知識を乱すことができないためであることを示す。 ネストしたルールを小さな独立ノードにエンコードするノードを分割することで、モデルの性能をよりよく保存することができる。
  論文  参考訳（メタデータ） (2025-07-14T17:59:33Z)
• Improving In-Context Learning with Reasoning Distillation [25.377625891065236]
  言語モデルは、コンテキスト内での学習を実行するためにセマンティックな事前に依存する。 本稿では,言語モデルの帰納的推論能力の向上を目的とした推論蒸留手法であるReDisを提案する。
  論文  参考訳（メタデータ） (2025-04-14T18:59:10Z)
• In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
  我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。 我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
  論文  参考訳（メタデータ） (2024-01-23T18:59:21Z)
• Fine-tuning Language Models for Factuality [96.5203774943198]
  大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。 しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。 本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
  論文  参考訳（メタデータ） (2023-11-14T18:59:15Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• Order-sensitive Shapley Values for Evaluating Conceptual Soundness of NLP Models [13.787554178089444]
  順序感受性シェープ値(英: Order-sensitive Shapley Values、OSV)は、シーケンシャルデータの説明法である。 我々は,OSVが勾配に基づく手法よりもモデル行動の説明に忠実であることを示す。 また,OSVを利用して敵の例を生成できることも示す。
  論文  参考訳（メタデータ） (2022-06-01T02:30:12Z)
• Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
  教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。 マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
  論文  参考訳（メタデータ） (2021-06-10T10:18:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。