論文の概要: Towards interpreting any residual stream direction by scaling activation inversion

• arxiv url: http://arxiv.org/abs/2611.08465v1
• Date: Thu, 05 Nov 2026 18:54:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 04:55:13.629806
• Title: Towards interpreting any residual stream direction by scaling activation inversion
• Title（参考訳）: 拡張活性化インバージョンによる残流方向の解釈に向けて
• Abstract要約: 被験者モデルからそれらの方向を強く活性化するテキスト例に残留ストリーム方向をマッピングする言語モデルを開発する。 本研究の目的は,MAEMが生成したテキストの活性化とともに供給された残留ストリーム方向のコサイン類似性を最大化することである。
• 参考スコア（独自算出の注目度）: 5.15268784208062
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To interpret a direction in a language model's residual stream, we can look for text that strongly activates it. But when such text is found by scanning a corpus, it is limited to what that corpus contains. We develop Maximally-Activating Example Metamodels (MAEMs), language models which map residual stream directions from a subject model to text exemplars that strongly activate those directions. Our objective is to maximise the cosine similarity of a supplied residual stream direction with the activations of the text generated by the MAEM. This label-free RL objective helps to scale MAEMs on diverse sources of residual stream directions. Empirically, we find the resultant metamodel produces informative exemplars: a Qwen3.6-27B MAEM inverts held-out activations better than corpus search or a natural-language autoencoder (NLA), beats corpus search (at 10M tokens) on a majority of held-out languages/domains, and activates 89% of held-out SAE features. It also identifies concepts behind steering vectors about as well as NLAs, recovers the payloads of LoRA backdoors more often than corpus search, and can even verbalise some model workspace inner monologue. Unlike explanations produced by other metamodels (e.g. NLAs), MAEM exemplars can be verified with a forward pass on the subject model, making the MAEM objective a grounded alternative for scaling the training of metamodels.
• Abstract（参考訳）: 言語モデルの残留ストリームの方向を解釈するために、強く活性化するテキストを探すことができる。 しかし、そのようなテキストがコーパスをスキャンすることで見つかると、そのコーパスに含まれるものに限定される。 我々は,主題モデルからその方向を強く活性化するテキスト例に残留ストリーム方向をマッピングする言語モデル,MAEM(Maximally-Activating Example Metamodels)を開発した。 本研究の目的は,MAEMが生成したテキストの活性化とともに供給された残留ストリーム方向のコサイン類似性を最大化することである。 このラベルのないRL目的は、残留ストリーム方向の様々なソース上でMAEMをスケールするのに役立ちます。 Qwen3.6-27B MAEMは、コーパスサーチや自然言語オートエンコーダ(NLA)よりも優れた保留アクティベーションを反転させ、保留言語/ドメインの大部分でコーパスサーチ(約10Mトークン)を打ち負かし、保留SAE特徴の89%を活性化する。 また、NLAと同様にステアリングベクトルの背景にある概念を識別し、コーパス探索よりも頻繁にLoRAバックドアのペイロードを復元し、モデルワークスペース内部のモノローグを言語化することもできる。 他のメタモデル(例えばNLA)による説明とは異なり、MAEMの例は対象モデルの前方通過で検証できるため、MAEMの目的はメタモデルのトレーニングをスケールするための基礎的な代替となる。

関連論文リスト

• Latent Fact-Checking: Detecting Misinformation through Activation Engineering [1.3299946892361476]
  本稿では,アクティベーションエンジニアリングを基盤とした誤情報検出フレームワークを提案する。 提案手法は,ペアの真理文と偽文のアクティベーションを対比することにより,残流の誤情報方向を導出する。 本手法は,AVeriTeC,LIAR,FACTorsの3つのファクトチェックベンチマークを用いて,11モデルにまたがって評価する。
  論文  参考訳（メタデータ） (2026-08-05T18:00:14Z)
• LatentQA: Teaching LLMs to Decode Activations Into Natural Language [72.87064562349742]
  自然言語におけるモデルアクティベーションに関するオープンな疑問に答えるタスクであるLatentQAを紹介する。 本稿では,アクティベーションと関連する質問応答ペアのデータセット上で,デコーダLLMを微調整するLatent Interpretation Tuning (LIT)を提案する。 我々のデコーダはまた、ステレオタイプ付き文のモデルのデバイアス化や世代ごとの感情制御など、モデルを制御するために使用する差別化可能な損失も規定している。
  論文  参考訳（メタデータ） (2024-12-11T18:59:33Z)
• RegaVAE: A Retrieval-Augmented Gaussian Mixture Variational Auto-Encoder for Language Modeling [79.56442336234221]
  可変オートエンコーダ(VAE)に基づく検索拡張言語モデルであるRegaVAEを紹介する。 テキストコーパスを潜在空間にエンコードし、ソースとターゲットの両方のテキストから現在と将来の情報をキャプチャする。 各種データセットに対する実験結果から,テキスト生成品質と幻覚除去の大幅な改善が示された。
  論文  参考訳（メタデータ） (2023-10-16T16:42:01Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• Extracting Latent Steering Vectors from Pretrained Language Models [14.77762401765532]
  本研究では,言語モデルデコーダから直接潜在ベクトルを抽出できることを示す。 実験により、ステアリングベクトルが存在し、それが言語モデルの隠れ状態に追加されると、ほぼ完璧にターゲット文を生成することが示された。 テキスト類似度ベンチマークで評価すると, ステアリングベクトル間の距離が文類似度を反映していることが分かる。
  論文  参考訳（メタデータ） (2022-05-10T19:04:37Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。