論文の概要: Base Models Can Detect Hidden Intentions that Prompted Classifiers Miss

• arxiv url: http://arxiv.org/abs/2610.36202v1
• Date: Mon, 26 Oct 2026 19:39:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.412603
• Title: Base Models Can Detect Hidden Intentions that Prompted Classifiers Miss
• Title（参考訳）: 隠れた意図を検出できるベースモデル
• Abstract要約: ペルソナ選択モデル(Persona Selection Model、PSM)は、事前トレーニング中に学習したペルソナを選択する。 潜在意識学習は、モデルが隠蔽信号を数列のような意味的に無関係な出力に付与できることを示した。 これらの出力を適切なヘッダーでベーストレーニング済みモデルの下で評価することにより、これらのサブリミナル信号をデコードし、それら間で分類できることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Persona Selection Model (PSM) posits that post-training selects a persona the model learned during pre-training. Work on subliminal learning has shown that models can impart covert signals (like "love of owls") into semantically unrelated outputs like strings of numbers, and that students trained on these outputs inherit those traits. In this work I show that by evaluating the likelihood of such outputs under the base pre-trained model with an appropriate header, a method I call persona-header likelihood evaluation (PHLE), one can decode these subliminal signals and classify between them. For example, PHLE distinguishes number sequences generated by a post-trained model prompted with "You love owls" from those prompted with "You love eagles", and distinguishes answers from a model with a secret desire to harm the user, filtered to remove any noticeable misalignment, from those of a model with no system prompt. In both cases prompted classifiers, including the generating model itself, remain near chance. The signal partially persists across model families, with the Qwen base model reading signals generated by Olmo and vice versa. This is evidence for a non-trivial prediction of the PSM, and the method may be practically useful for auditing the hidden objectives of models.
• Abstract（参考訳）: ペルソナ選択モデル(PSM)は、事前トレーニング中に学習したペルソナを選択する。 サブリミナルラーニングの研究は、モデルが隠蔽信号(例えば「フクロウの愛」)を数列のような意味的に無関係な出力に分割し、これらの出力で訓練された学生がそれらの特性を継承できることを示した。 本研究は, 適切なヘッダーを用いて, ベーストレーニング済みモデルの下でそのような出力の可能性を評価することにより, ペルソナヘッダー推定(PHLE)と呼ぶ手法により, これらのサブリミナル信号をデコードし, それら間で分類することができることを示す。 例えば、PHLEは、"You love owls"と"You love eagles"で引き起こされた"You love owls"で引き起こされた後モデルの数値列を区別し、ユーザーを傷つけたいという秘密の欲求を持つモデルと、システムプロンプトのないモデルの数値列とを区別する。 どちらの場合も、生成モデルを含む分類器は、ほぼ偶然に残る。 信号はモデルファミリ間で部分的に持続し、Qwenベースモデルの読み出し信号はオルモによって生成され、その逆も発生する。 これはPSMの非自明な予測の証拠であり、この方法は隠れたモデルの目的を監査するのに実用的に有用である。

関連論文リスト

• Faithful Latent Harm Monitors Work No Better Than the Models Own Behaviour at a Matched False Alarm Rate [1.6185544531149152]
  大規模な言語モデルでは、要求を拒否する決定とは別に、要求の有害性を符号化することが報告されている。 ラテントガードのような潜在安全モニターは、モデルの内部アクティベーションから有害なプロンプトを分類する。 これらの表現が分布シフトを乗り越え、モデル動作とは無関係な害のシグナルを与えるかどうかを検証する。
  論文  参考訳（メタデータ） (2026-10-22T04:54:53Z)
• Surrogate Fidelity: When Can Open LLMs Explain Closed Ones? [6.786301369955054]
  予測,属性,表現レベルでの代理的忠実度を評価する。 注意パターンや大きさのようなホワイトボックス信号は、モデル間で非常に安定しているが、因果属性の弱い予測しかできない。
  論文  参考訳（メタデータ） (2026-06-30T17:43:44Z)
• Pretraining Language Models to Ponder in Continuous Space [50.52734567589996]
  単一のトークン生成ステップ内で,前処理を繰り返し呼び出すことによって,この思考プロセスを言語モデルに導入する。 人間のアノテーションを使わずに、自己教師付き学習を通じて、この方法でモデルを学習できることが示される。
  論文  参考訳（メタデータ） (2025-05-27T03:47:33Z)
• Predicting the Performance of Black-box LLMs through Self-Queries [60.87193950962585]
  大規模言語モデル(LLM)は、AIシステムにおいてますます頼りになってきている。 本稿では、フォローアッププロンプトを使用し、異なる応答の確率を表現として捉え、ブラックボックス方式でLCMの特徴を抽出する。 これらの低次元表現上で線形モデルをトレーニングすると、インスタンスレベルでのモデル性能の信頼性を予測できることを示す。
  論文  参考訳（メタデータ） (2025-01-02T22:26:54Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• How do Decisions Emerge across Layers in Neural Models? Interpretation with Differentiable Masking [70.92463223410225]
  DiffMaskは、差分性を維持しながら入力のサブセットをマスクアウトすることを学ぶ。 入力トークンを包含または無視する決定は、中間隠蔽層に基づく単純なモデルで行われる。 これにより、属性のヒートマップをプロットするだけでなく、ネットワーク層間で意思決定がどのように形成されるかを分析することができます。
  論文  参考訳（メタデータ） (2020-04-30T17:36:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。