論文の概要: Language Models Act on Hidden Valence
- arxiv url: http://arxiv.org/abs/2609.35591v2
- Date: Sun, 04 Oct 2026 18:44:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 05:28:11.019603
- Title: Language Models Act on Hidden Valence
- Title（参考訳）: 隠れた価値に基づく言語モデル法
- Abstract要約: 言語モデルは、いくつかの内部状態が良いと表現し、他の状態は悪いと表現する。
しかし、モデルに利害関係があるかどうかは明らかな疑問だ。
ステアリングによって各ゾーンについて記述するパスモデルが変化し,これらの単語が後から選択されることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language models describe some internal states as good and others as bad. But whether models have a stake in them is an open question. Simply asking models is unlikely to be informative. Any answer may be consistent with genuine introspection, superficial pattern-matching, or with fixed scripts learned in character training. We therefore study revealed preference. Rather than asking about a state, we use activation steering to attach a positively or negatively valenced activation pattern to one of two otherwise meaningless 'zones', switch steering off, and then observe which zone the model prefers. A model with a stake in that state should choose accordingly. Across seven open-weight models from five families, this is indeed what we find. First, steering changes the passages models write about each zone, and those words shift later choice. Second, this shift persists when all surface-level tokens are held fixed and only the hidden KV cache differs. Third, the effect also remains when all text is generated without steering and valence is only injected during cache construction. Thus, the hidden state is sufficient to move choice in proportion to the steering dose. Fourth, the dependence of choice on hidden valence is nearly absent in a base model and emerges during DPO, consistent with a link between valence and goal-directed behaviour formed in training. Finally, given tools to self-steer, a model does not tend to induce a positive state, but it regularly removes an imposed negative state. It does so at a dose-dependent rate and significantly more often than it removes random-direction interventions. Overall we demonstrate that valence-related activation patterns leave hidden traces that predictably govern later choices, even when all visible tokens are identical across conditions. Whether these traces are accompanied by any subjective experience relevant to model welfare remains unclear.
- Abstract（参考訳）: 言語モデルは、いくつかの内部状態が良いと表現し、他の状態は悪いと表現する。
しかし、モデルに利害関係があるかどうかは明らかな疑問だ。
単にモデルに尋ねることは有益ではない。
どんな答えも、本物のイントロスペクション、表面的なパターンマッチング、あるいは文字トレーニングで学んだ固定されたスクリプトと一致しているかもしれない。
したがって、我々は好みを明らかにした。
状態について尋ねるのではなく、アクティベーションステアリングを使用して、正あるいは負に価なアクティベーションパターンを2つの"ゾーン"のうちの1つにアタッチし、ステアリングをオフにし、モデルがどのゾーンを好むかを観察します。
その状態に利害関係があるモデルは、それに従って選択すべきである。
5つのファミリーのオープンウェイトモデルのうち7つが、まさにこれだ。
まず、ステアリングは各ゾーンについて記述するパスモデルを変更し、これらの単語は後で選択する。
第二に、このシフトはすべての表面レベルのトークンが固定され、隠れたKVキャッシュだけが異なる場合に持続する。
第三に、すべてのテキストがステアリングなしで生成され、価がキャッシュ構築時にのみ注入される場合も影響は残る。
これにより、隠れ状態は、ステアリング線量に比例して選択を移動させるのに十分である。
第4に、隠れ値に対する選択の依存は、ベースモデルにほとんど欠落し、DPO中に出現する。
最後に、セルフステアのツールが与えられた場合、モデルが正の状態を誘導することはないが、強制された負の状態を定期的に取り除く。
線量依存的な速度で行うことができ、ランダムな間接的介入を除去するよりもはるかに頻繁に行われる。
概して、価関係のアクティベーションパターンは、全ての可視トークンが条件によって同一であっても、後続の選択肢を予測可能な形で支配する隠れトレースを残している。
これらの痕跡がモデル福祉に関連する主観的な経験を伴っているかどうかはまだ不明である。
関連論文リスト
- Read-Best Is Not Steer-Best: A Probing--Steering Layer Dissociation in Omni-Modal Large Language Models [75.34700827901757]
一般的にテストされるが、最も高い確率の層がステアリングに最適な層である、という仮定は稀である。
独立に開発された3つのOmni-modalモデルにまたがって、この仮定を初めて因果検定する。
感情を制御されたテストベッドとして使用し、テキスト、音声、画像入力の階層的可読性と操縦性を測定する。
論文 参考訳（メタデータ） (2026-08-24T11:38:22Z) - Evaluation Awareness in Language Models: Representation, Verbalization, and Control [5.471648649900293]
評価意識はすでにベースモデル内に存在し、教師付き微調整の段階を通じて増幅され、その後安定していることを示す。
これらの結果は、モデルの内部表現、モデルが表すもの、およびそれらのステアリングの間の相違を考慮に入れた評価の必要性を示している。
論文 参考訳（メタデータ） (2026-08-22T04:16:22Z) - DriftScope: Measuring The Hidden Effects of Diffusion Model Adaptation [50.584834483403675]
新しい視覚概念を学習するか、望ましくないものを消去するか、事前学習したテキスト・画像拡散モデルに適応させることは、意図した効果だけで日常的に評価される。
適応が意味論的に無関係な概念を、構造的にメトリクスを集約することができない方法で体系的に損なうことを実証する。
DriftScopeは、任意の2つのモデルチェックポイントを取り込み、視覚的概念が最も移行したトークンのランクリストを返す、プロンプトレベルの診断ツールである。
論文 参考訳（メタデータ） (2026-06-30T20:57:51Z) - Prefill Awareness in Large Language Models [42.57596462680195]
本研究は,言語モデルが,教師なしと教師なしのアシスタント側コンテキストを区別できるかどうかを考察する。
私たちはフロンティアモデルに十分な事前認識があることに気付きました。
以上の結果から, プリフィルの意識は, 既にいくつかのプリフィル方式にかなり相反していることが示唆された。
論文 参考訳（メタデータ） (2026-06-10T23:26:39Z) - Characterizing Model-Native Skills [16.891026204025838]
スキルは、言語モデルに何ができるか、その振る舞いをどのように変えられるのかを記述するための自然なユニットである。
既存の特徴付けは人書き、テキスト記述、手動プロファイリングパイプラインに依存している。
モデルビヘイビアに介入することが目標である場合、スキルの特徴付けは*モデルネイティブ*でなければならない、と我々は主張する。
論文 参考訳（メタデータ） (2026-04-19T20:58:25Z) - Learning Uncertainty from Sequential Internal Dispersion in Large Language Models [52.29267172760918]
不確実性推定は、大規模言語モデルにおける幻覚を検出するための有望なアプローチである。
最近の手法は一般に不確実性を推定するために内部状態のモデルに依存する。
本稿では,教師付き幻覚検出フレームワークであるシークエンシャル内部変数表現(SIVR)を提案する。
論文 参考訳（メタデータ） (2026-04-17T06:31:29Z) - Are language models aware of the road not taken? Token-level uncertainty and hidden state dynamics [21.8640687271413]
隠れたアクティベーションを使用して、思考の連鎖的推論中に言語モデルの不確実性を制御し、予測する。
異なるトークンにおけるモデルの不確かさと、そのアクティベーションを制御することによってモデルがいかに容易に操縦できるかとの間には、明確な相関関係がある。
また、隠れたアクティベーションはモデルの将来的な結果の分布を予測することができ、モデルが潜在的経路の空間を暗黙的に表すことを示す。
論文 参考訳（メタデータ） (2025-11-06T16:43:25Z) - Steering Without Side Effects: Improving Post-Deployment Control of Language Models [61.99293520621248]
言語モデル(LM)は、デプロイ後予期せず振る舞うことが示されている。
KL-then-steer (KTS) は, その利点を保ちながら, 操舵の副作用を低減する技術である。
本手法はLlama-2-chat-7Bモデルと比較して44%のジェイルブレイク攻撃を防ぐ。
論文 参考訳（メタデータ） (2024-06-21T01:37:39Z) - Meanings and Feelings of Large Language Models: Observability of Latent States in Generative AI [65.04274914674771]
アメリカ心理学会(APA)によると、現在のLarge Language Models(LLM)は「フィーリング」ができない。
我々の分析は、モデルがユーザに見えない非自明な計算を実行できるようにする可能性のある設計に光を当てている。
論文 参考訳（メタデータ） (2024-05-22T23:18:58Z) - GAPX: Generalized Autoregressive Paraphrase-Identification X [24.331570697458954]
このパフォーマンス低下の主な原因は、ネガティブな例によって導入されたバイアスである。
我々は、推論中にどれだけの重量を与えるべきかを効果的に、かつ自動的に決定できるパープレキシティーに基づくアウト・オブ・ディストリビューション・メトリックを導入する。
論文 参考訳（メタデータ） (2022-10-05T01:23:52Z) - How do Decisions Emerge across Layers in Neural Models? Interpretation
with Differentiable Masking [70.92463223410225]
DiffMaskは、差分性を維持しながら入力のサブセットをマスクアウトすることを学ぶ。
入力トークンを包含または無視する決定は、中間隠蔽層に基づく単純なモデルで行われる。
これにより、属性のヒートマップをプロットするだけでなく、ネットワーク層間で意思決定がどのように形成されるかを分析することができます。
論文 参考訳（メタデータ） (2020-04-30T17:36:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。