論文の概要: Selecting The Most Informative Tokens in Natural Language Autoencoders

• arxiv url: http://arxiv.org/abs/2609.37040v1
• Date: Tue, 29 Sep 2026 08:50:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.341229
• Title: Selecting The Most Informative Tokens in Natural Language Autoencoders
• Title（参考訳）: 自然言語オートエンコーダにおける最もインフォームティブなトークンの選択
• Abstract要約: 我々は、監査官が潜在的な脅威を理解するために検査すべき立場について検討する。 モデル計算から得られる信号と、チャット構造のみで訓練されたランク付け器を比較した。 4つのデータセットのうち3つで、5%のポジションの説明だけで、ほぼすべての成功率を維持している。
• 参考スコア（独自算出の注目度）: 3.496265919912467
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Natural language autoencoders translate a language model's internal activations into readable explanations. Explaining every token position is costly. Which positions should an auditor inspect to understand a potential threat? We study this question across $4.7$ million explanations on prompt injection and concealment. We compare signals from model computation with a ranker trained only on chat structure. Chat structure usually selects more relevant explanations than the computational signals, without requiring a model forward pass for position selection. On three of four datasets, explaining just $5\%$ of positions retains nearly all of the success rate from explaining every position, where success means obtaining an explanation about the threat. The benefit varies with the audit task. We also show that pretrained verbalizers recover words that models have learned to conceal through fine-tuning, without additional verbalizer training. These results identify where auditors can concentrate explanation generation and show that useful explanations can extend beyond the model a verbalizer was trained to describe.
• Abstract（参考訳）: 自然言語オートエンコーダは、言語モデルの内部アクティベーションを可読な説明に変換する。 すべてのトークンの位置を説明するのはコストがかかる。 監査官は、潜在的な脅威を理解するためにどの立場を検査すべきか。 我々はこの疑問を、インジェクションと隠蔽に関する470万ドルの説明にまたがって研究する。 モデル計算から得られる信号と、チャット構造のみで訓練されたランク付け器を比較した。 チャット構造は通常、位置選択のためにモデルフォワードパスを必要とせずに、計算信号よりも関連する説明を選択する。 4つのデータセットのうち3つでは、わずか5\%のポジションを説明するだけで、すべてのポジションの説明からほぼすべての成功率を維持している。 利益は監査タスクによって異なります。 また,事前学習した動詞学習者は,モデルが微調整によって学習した単語を,付加的な動詞学習を伴わずに復元することを示した。 これらの結果から, オーディエンタが説明生成に集中できる場所を特定し, 有意な説明が言い表わすモデルを超えて拡張可能であることを示す。

関連論文リスト

• SoK: Privacy Attacks on Machine Learning via Explainable AI [3.4228148164859857]
  モデル抽出, メンバーシップ推論, モデルインバージョンのための説明を利用する25の研究を体系化する。 分析の結果,家族の安全が損なわれ,防衛が一様でないことが明らかとなった。
  論文  参考訳（メタデータ） (2026-09-09T02:05:12Z)
• Pando: Do Interpretability Methods Work When Models Won't Explain Themselves? [53.07826484214082]
  モデル・オーガニゼーションのベンチマークであるPandoを紹介します。 Pandoは、ラベル付きクエリ-レスポンスペアから、ホールドアウトモデル決定を予測する。 説明が忠実であれば、ブラックボックスの引用はすべてのホワイトボックスメソッドに一致するか、超える。
  論文  参考訳（メタデータ） (2026-04-13T06:42:24Z)
• Counterfactual reasoning: an analysis of in-context emergence [57.118735341305786]
  我々は、言語モデルが反実的推論が可能なことを示す。 自己注意、モデル深度、トレーニング済みデータの多様性によってパフォーマンスが向上することがわかった。 以上の結果から, SDE 動態下での反実的推論が可能となった。
  論文  参考訳（メタデータ） (2025-06-05T16:02:07Z)
• ALERT: Adapting Language Models to Reasoning Tasks [43.8679673685468]
  ALERTは、言語モデルの推論能力を評価するためのベンチマークと分析スイートである。 ALERTは、あらゆる言語モデルに対して、きめ細かい推論スキルを評価するためのテストベッドを提供する。 言語モデルは、事前学習状態と比較して、微調整段階の推論スキルを学習する。
  論文  参考訳（メタデータ） (2022-12-16T05:15:41Z)
• Discovering Latent Knowledge in Language Models Without Supervision [72.95136739040676]
  既存の言語モデルをトレーニングするテクニックは、真実と正しく一致していない可能性がある。 本稿では,言語モデルの内部アクティベーション内部の潜伏知識を,純粋に教師なしの方法で直接見つけることを提案する。 本手法は, 教師なし, モデル出力がないにもかかわらず, 大規模言語モデルで表される多様な知識を復元できることを示す。
  論文  参考訳（メタデータ） (2022-12-07T18:17:56Z)
• Interpreting Language Models with Contrastive Explanations [99.7035899290924]
  言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。 既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。 比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-21T18:32:24Z)
• Leap-Of-Thought: Teaching Pre-Trained Models to Systematically Reason Over Implicit Knowledge [96.92252296244233]
  大規模な事前学習言語モデル(LM)は推論能力を得るが、制御は困難である。 本研究では,暗黙的,事前学習された知識と明示的な自然言語文を併用して,体系的推論を確実に行うことができることを示す。 我々の研究は、シンプルな自然言語文を追加することで、モデルを簡単に修正できるユーザと対話することで、常に改善されるオープンドメインシステムへの道を開く。
  論文  参考訳（メタデータ） (2020-06-11T17:02:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。