論文の概要: Steering Language Model Goals with Value Transplant

• arxiv url: http://arxiv.org/abs/2609.34056v1
• Date: Mon, 28 Sep 2026 00:26:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 07:24:40.079107
• Title: Steering Language Model Goals with Value Transplant
• Title（参考訳）: 価値移植によるステアリング言語モデル目標
• Abstract要約: 推論モデルは、しばしば、目標を追求するかのように振る舞うが、その取り組みは、必ずしもユーザーが何を意図しているかに向けられているとは限らない。 これまでの研究では、モデルが"バリュー軸"を通じて、モデルが自身の目標に向かっての進捗を内部的に追跡する方法が検討されてきた。 このような信号の変更が、異なる目標に向かってモデルの探索をリターゲティングできるかどうかを検討する。
• 参考スコア（独自算出の注目度）: 7.8610832088521265
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reasoning models often act as if they pursue goals, but their efforts are not always directed toward what users intend, sometimes leading them to pursue unintended outcomes. Previous work has examined how models may internally track their progress toward their goals through a "value axis." We study whether changing such a signal can retarget the model's search toward a different goal. We test value transplant: at each token, we shift the host model's activation along a candidate value axis by the donor-host difference in value coordinates (multiplied by a large scalar), aiming to redirect the host toward the donor's goal. We study this intervention in Qwen3-8B and GPT-OSS-20B models fine-tuned into honest and cheating variants. We test several candidate value axes, including a self-rating axis constructed from activations preceding high versus low elicited self-ratings of progress. The intervention works in both directions, with an honest donor reducing test-gaming in a cheating host and a cheating donor increasing test-gaming in an honest host, showing that this signal can influence which strategy the model follows. On solvable coding tasks, transplant from an honest donor also improves the cheating host's hidden-test performance. Value transplant also works across model families, providing preliminary evidence for the intervention in a setting relevant to model control.
• Abstract（参考訳）: 推論モデルは、しばしば、目標を追求するかのように振る舞うが、その取り組みは、ユーザーが意図しているものに向けて必ずしも向けられず、時には意図しない結果を追求する。 以前の研究は、モデルがどのように彼らの目標に向かっての進捗を"バリュー軸"を通して内部的に追跡するかを調べてきた。 このような信号の変更が、異なる目標に向かってモデルの探索をリターゲティングできるかどうかを検討する。 それぞれのトークンにおいて、ホストモデルの活性化を候補値軸に沿って、ドナー-ホスト間の値座標の差(大きなスカラーで乗じて)によってシフトさせ、ホストをドナーの目標に向かってリダイレクトすることを目的とする。 本研究では,Qwen3-8BモデルとGPT-OSS-20Bモデルにおいて,この介入を忠実で不正な変種に微調整する。 提案手法は, 高速度と低速度の自己退化前の活性化から構築した自己退化軸を含む,いくつかの候補値軸を試験する。 この介入は両方向に作用し、不正なホストにおけるテストゲームを減らす正直なドナーと、正直なホストにおけるテストゲームを増加させる不正なドナーは、このシグナルがモデルがどの戦略に従うかに影響を与えることを示す。 解決可能なコーディングタスクでは、正直なドナーから移植することで、不正なホストの隠れテストのパフォーマンスも向上する。 バリュー移植はまた、モデルファミリ間でも機能し、モデル制御に関連する設定への介入の予備的な証拠を提供する。

関連論文リスト

• The Value Axis: Language Models Encode Whether They're on the Right Track [4.950437221517732]
  言語モデルが現在の軌跡の価値を内部的に追跡するかどうかを,現在進行中の戦略が目標を達成する可能性として検討する。 この軸に沿ったアクティベーションは、高い言語化された信頼度と低い言語化された信頼度、バックトラックのないロールアウト、正しいコードと腐敗したコードとを区別する。 この結果から, 言語モデルでは, 目標達成の予測値を線形にエンコードし, 方向追従の信頼度を調節することが示唆された。
  論文  参考訳（メタデータ） (2026-06-15T17:59:58Z)
• Does Self-Evaluation Enable Wireheading in Language Models? [0.47745223151611654]
  報奨信号に対する自己評価の結合がワイヤヘッドのインセンティブを生み出すかどうかを検討する。 自己グレードが報酬を決定すると、モデルが相当量のインフレーションを示すが、それに対応する精度は得られない。 報奨信号から自己グレードを分離することは、このインフレーションを緩和するが、モデルはより少ない(しかし重要な)過剰な自信を示す可能性がある。
  論文  参考訳（メタデータ） (2025-11-28T11:24:03Z)
• Towards Model Resistant to Transferable Adversarial Examples via Trigger Activation [95.3977252782181]
  知覚不能な摂動によって特徴づけられる敵対的な例は、彼らの予測を誤解させることで、ディープニューラルネットワークに重大な脅威をもたらす。 本稿では,移動可能な敵例(TAE)に対して,より効率的かつ効果的に堅牢性を高めることを目的とした,新たなトレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2025-04-20T09:07:10Z)
• Domain Adaptive Diabetic Retinopathy Grading with Model Absence and Flowing Data [45.75724873443564]
  ドメインシフトは、糖尿病網膜症などの臨床応用において重要な課題である。 本稿では,データ中心の観点から適応可能なGUES(Generative Unadversarial Examples)を提案する。
  論文  参考訳（メタデータ） (2024-12-02T07:14:25Z)
• Stanceformer: Target-Aware Transformer for Stance Detection [59.69858080492586]
  スタンス検出は、テキストで表現されたスタンスを特定の主題やターゲットに向けて識別する。 以前の作業は、ターゲットを効果的に優先順位付けする能力に欠ける既存のトランスフォーマーモデルに依存していた。 本稿では,学習と推論の両方において,目標に対する注意を高めるターゲット対応トランスフォーマーモデルであるStanceformerを紹介する。
  論文  参考訳（メタデータ） (2024-10-09T17:24:28Z)
• Curb Your Attention: Causal Attention Gating for Robust Trajectory Prediction in Autonomous Driving [6.897286554827871]
  自律走行における軌道予測モデルは、非因果エージェントの摂動に弱い。 過去のステップのウィンドウ上で、エージェント間の因果関係を特定するために、$textitCausal tRajecTory predICtion$ $textbf(CRiTIC)$を提案する。
  論文  参考訳（メタデータ） (2024-09-23T20:01:20Z)
• JAB: Joint Adversarial Prompting and Belief Augmentation [81.39548637776365]
  我々は,ブラックボックスターゲットモデルの強靭性を,敵対的プロンプトと信念の増大を通じて探索し,改善する共同枠組みを導入する。 このフレームワークは、自動的なレッド・チームリング手法を用いてターゲットモデルを探索し、信念強化器を用いて目標モデルの命令を生成し、敵のプローブに対するロバスト性を向上させる。
  論文  参考訳（メタデータ） (2023-11-16T00:35:54Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• MEMO: Test Time Robustness via Adaptation and Augmentation [131.28104376280197]
  テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。 最近の先行研究ではテスト時間適応法が提案されているが、それぞれ追加の仮定を導入している。 モデルが確率的で適応可能な任意のテスト環境で使用できるシンプルなアプローチを提案する。
  論文  参考訳（メタデータ） (2021-10-18T17:55:11Z)
• TraND: Transferable Neighborhood Discovery for Unsupervised Cross-domain Gait Recognition [77.77786072373942]
  本稿では、教師なしクロスドメイン歩行認識のための領域ギャップを橋渡しするTransferable Neighborhood Discovery (TraND) フレームワークを提案する。 我々は、潜在空間におけるラベルなしサンプルの自信ある近傍を自動的に発見するために、エンドツーエンドのトレーニング可能なアプローチを設計する。 提案手法は,CASIA-BとOU-LPの2つの公開データセットに対して,最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-02-09T03:07:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。