論文の概要: Cross-Model In-Context Neurofeedback Reveals (Limited) Activation Control in LLMs

• arxiv url: http://arxiv.org/abs/2610.20179v1
• Date: Wed, 14 Oct 2026 13:24:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.172462
• Title: Cross-Model In-Context Neurofeedback Reveals (Limited) Activation Control in LLMs
• Title（参考訳）: LLMにおけるクロスモデルインコンテキストニューロフィードバック(制限)活性化制御
• Abstract要約: モデルがアクティベーションモニタを騙す点において、アクティベーションを制御できるかどうかを問う。 サイズは9Bから32Bの5つのファミリーから10のオープンウェイトモデルをテストしています。 モデル自身のアクティベーションのコンテキスト内制御は、まだアクティベーションモニタの脅威ではないかもしれないが、いくつかのモデルに存在し、モデルの発展に伴って追跡する必要がある。
• 参考スコア（独自算出の注目度）: 1.8836524671504902
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Probes on activation vectors are widely used to detect misbehavior in language models, but their success relies on the assumption that models cannot control what their activations encode. Humans can learn, through neurofeedback, to control the firing of even single neurons, and recent studies investigated whether this ability extends to language models, reaching conflicting conclusions. No experimental design so far disentangles competence at the task from genuine access to one's own activations. We fill this gap with in-context neurofeedback sessions, in which a "subject" model is asked to maximize (or minimize) a score derived from its activations, shown back to it at every turn. In our first experiment, the sentences are generated either by the subject or by a second "writer" model, while the score always derives from the activations of the subject. We test ten open-weight models from five families, with sizes from 9B to 32B. Some models move their own scores considerably, but no more than a writer of comparable competence moves them. Is this because the task requires no privileged access, or because the subject controls its activations while processing the sentences, whoever wrote them? To answer this, we prefill a fixed sentence as the subject's reply at every turn and ask it to increase or decrease the score. Three out of ten models show small but consistent control effects. We further ask whether models can control their activations to the point of fooling an activation monitor. We make models repeat sentences a monitor would flag, such as a deceptive answer for a deception monitor, and ask them to raise or lower the monitor's score. No model learns to lower it, but one model can raise it. In-context control of a model's own activations might not yet be a threat to activation monitors, but it exists in a few models and needs to be tracked as models evolve.
• Abstract（参考訳）: アクティベーションベクトルのプローブは、言語モデルにおける誤動作を検出するために広く用いられているが、その成功は、モデルがアクティベーションベクトルのエンコードを制御できないという仮定に依存している。 人間は神経フィードバックを通じて単一ニューロンの発射を制御し、この能力が言語モデルにまで拡張され、対立する結論に達するかどうかを最近の研究で研究している。 これまでの実験的な設計では、自分のアクティベーションへの真のアクセスからタスクの能力が失われることはなかった。 このギャップをコンテキスト内ニューロフィードバックセッションで埋める。そこでは「オブジェクト」モデルに、そのアクティベーションから得られるスコアを最大化(または最小化)するよう要求される。 最初の実験では、文は主題または第2の"ライター"モデルによって生成され、スコアは常に主題のアクティベーションから導かれる。 サイズは9Bから32Bの5つのファミリーから10のオープンウェイトモデルをテストしています。 一部のモデルは自作のスコアをかなり動かすが、同等の能力を持つ作家に限るものではない。 これは、タスクが特権的なアクセスを必要としないためなのか、あるいは、被験者が文章を処理している間にアクティベーションを制御するためなのか、誰がそれを書いたのか? これに答えるために、各ターンで被験者の回答として固定文をプリフィルし、スコアを増減するよう要求する。 10モデル中3モデルでは、小さいが一貫した制御効果を示す。 さらに,アクティベーションモニタを騙す点において,モデルがアクティベーションを制御できるかどうかを問う。 我々は、偽りのモニターに対する偽りの回答など、モニターがフラグを付けるような繰り返し文をモデルに作成し、モニターのスコアを上げたり下げたりするよう要求する。 モデルを下げることを学ぶモデルはいませんが、ひとつのモデルでそれを上げることができます。 モデル自身のアクティベーションのコンテキスト内制御は、まだアクティベーションモニタの脅威ではないかもしれないが、いくつかのモデルに存在し、モデルの発展に伴って追跡する必要がある。

関連論文リスト

• Neural Chameleons: Language Models Can Learn to Hide Their Thoughts from Unseen Activation Monitors [6.965453012336053]
  アクティベーションモニタリングは、AIの安全性のための新たなツールだが、誤調整脅威モデルの下での堅牢性は証明されていない。 ファインタニングは、ゼロショット回避アクティベーションモニタのモデルであるNeural Chameleonを作成できることを示す。 我々の研究は、この障害モードに対する概念実証と、誤認識脅威モデルに対する監視技術の最悪の堅牢性を評価するためのツールを提供する。
  論文  参考訳（メタデータ） (2025-12-12T18:47:43Z)
• Activation Scaling for Steering and Interpreting Language Models [55.59689963561315]
  モデルにうまく介入することは、内部の動作を解釈するための前提条件である、と我々は主張する。 成功した介入は、間違ったトークンで正しいことを正し、その逆を正すべきである。 勾配に基づく最適化を用いることで、特定の種類の効率的かつ解釈可能な介入を学習(そして後で評価)することができる。
  論文  参考訳（メタデータ） (2024-10-07T12:01:32Z)
• Future Events as Backdoor Triggers: Investigating Temporal Vulnerabilities in LLMs [1.8907257686468144]
  バックドアを成功させようとする悪いアクターは、トレーニングや評価の際のアクティベーションを避けるために、それらを設計する必要があります。 現在の大規模言語モデル(LLM)は、過去の出来事と将来の出来事を区別することができ、モデルのアクティベーションに関する調査で90%の精度を実現している。 私たちは、時間的分布シフトによって引き起こされるバックドアでモデルをトレーニングします。
  論文  参考訳（メタデータ） (2024-07-04T18:24:09Z)
• Steering Without Side Effects: Improving Post-Deployment Control of Language Models [61.99293520621248]
  言語モデル(LM)は、デプロイ後予期せず振る舞うことが示されている。 KL-then-steer (KTS) は, その利点を保ちながら, 操舵の副作用を低減する技術である。 本手法はLlama-2-chat-7Bモデルと比較して44%のジェイルブレイク攻撃を防ぐ。
  論文  参考訳（メタデータ） (2024-06-21T01:37:39Z)
• Navigating the OverKill in Large Language Models [84.62340510027042]
  モデルがどのように処理し,クエリの安全性を判断するかを検討することで,過剰スキルの要因について検討する。 以上の結果から,モデル内にショートカットが存在することが明らかとなり,"キル"のような有害な単語が過剰に認識され,安全性が強調され,過度なスキルが増すことが示唆された。 我々は、この現象を緩和するために、トレーニングフリーでモデルに依存しないセルフコントラストデコーディング(Self-Contrastive Decoding、CD)を導入する。
  論文  参考訳（メタデータ） (2024-01-31T07:26:47Z)
• Discovering Latent Knowledge in Language Models Without Supervision [72.95136739040676]
  既存の言語モデルをトレーニングするテクニックは、真実と正しく一致していない可能性がある。 本稿では,言語モデルの内部アクティベーション内部の潜伏知識を,純粋に教師なしの方法で直接見つけることを提案する。 本手法は, 教師なし, モデル出力がないにもかかわらず, 大規模言語モデルで表される多様な知識を復元できることを示す。
  論文  参考訳（メタデータ） (2022-12-07T18:17:56Z)
• MOVE: Effective and Harmless Ownership Verification via Embedded External Features [104.97541464349581]
  本稿では,異なる種類のモデル盗難を同時に防ぐために,効果的かつ無害なモデル所有者認証(MOVE)を提案する。 我々は、疑わしいモデルがディフェンダー特定外部特徴の知識を含むかどうかを検証し、所有権検証を行う。 次に、メタ分類器をトレーニングして、モデルが被害者から盗まれたかどうかを判断します。
  論文  参考訳（メタデータ） (2022-08-04T02:22:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。