論文の概要: The Value Axis: Language Models Encode Whether They're on the Right Track

• arxiv url: http://arxiv.org/abs/2606.17056v1
• Date: Mon, 15 Jun 2026 17:59:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 18:36:05.19654
• Title: The Value Axis: Language Models Encode Whether They're on the Right Track
• Title（参考訳）: 価値軸: 言語モデルは正しい軌道上にあるかどうかを符号化する
• Authors: Nick Jiang, Isaac Kauvar, Jack Lindsey,
• Abstract要約: 言語モデルが現在の軌跡の価値を内部的に追跡するかどうかを,現在進行中の戦略が目標を達成する可能性として検討する。 この軸に沿ったアクティベーションは、高い言語化された信頼度と低い言語化された信頼度、バックトラックのないロールアウト、正しいコードと腐敗したコードとを区別する。 この結果から, 言語モデルでは, 目標達成の予測値を線形にエンコードし, 方向追従の信頼度を調節することが示唆された。
• 参考スコア（独自算出の注目度）: 4.950437221517732
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate whether language models internally track the value of their current trajectory, defined as the likelihood that their ongoing strategy will achieve their goals. Using synthetic, in-context reinforcement learning data, we construct a "value" axis for Qwen3-8B. We find that activations along this axis distinguish between high vs. low verbalized confidence, rollouts without and with backtracking, and correct vs. corrupted code. Steering towards high value causally suppresses self-correction and reduces explanatory verbosity, while steering towards low value induces backtracking and exploration. We demonstrate that direct preference optimization (DPO) can increase the internal value of rewarded behaviors (e.g. use a certain word), causing the model to act more confidently after exhibiting them. Finally, we apply the value axis to study in-the-wild settings. For example, we find that Qwen assigns low value to politically sensitive chat queries after post-training and that supervised fine-tuning increases internal confidence within the training domain. Our results suggest that language models linearly encode an estimate of expected goal success that modulates their confidence in pursuing a direction.
• Abstract（参考訳）: 言語モデルが現在の軌跡の価値を内部的に追跡するかどうかを,現在進行中の戦略が目標を達成する可能性として検討する。 テキスト内強化学習データを用いて,Qwen3-8Bの「値」軸を構築する。 この軸に沿ったアクティベーションは、高い言語化された信頼度と低い言語化された信頼度、バックトラックのないロールアウト、正しいコードと腐敗したコードとを区別する。 高価値に向けてのステアリングは自己補正を因果的に抑制し、説明的冗長性を低下させ、低価値に向けてのステアリングはバックトラックと探索を誘導する。 直接選好最適化(DPO)は報奨行動の内的価値を高めることを示し(例えば、ある単語を使用する)、そのモデルが表現後により自信を持って振る舞うことを示す。 最後に、その値軸を適用して、その設定を学習する。 例えば、Qwenはポストトレーニング後に政治的に敏感なチャットクエリに低価値を割り当て、教師付き微調整はトレーニング領域の内部信頼を高める。 この結果から, 言語モデルでは, 目標達成の予測値を線形にエンコードし, 方向追従の信頼度を調節することが示唆された。

関連論文リスト

• Why Does RLAIF Work At All? [0.0]
  本稿では,インターネット規模での事前学習が表現空間の方向として人間の値を符号化するという潜在値仮説を提案する。 我々はこの直観を線形モデルで定式化し、構成は値関連方向を選択する投影演算子として機能する。 本報告では, 拒絶方向, 低ランク安全性部分空間, RLAIFスケーリング行動などの経験的知見を統一する。
  論文  参考訳（メタデータ） (2026-03-03T13:51:40Z)
• Controllable Value Alignment in Large Language Models through Neuron-Level Editing [87.83756695719667]
  我々は,大言語モデルにおける制御可能な値アライメントのためのニューロンレベルの編集フレームワークNeVAを提案する。 NeVAは、汎用能力においてより少ない性能劣化を招きながら、より強力な目標値アライメントを実現する。 NeVAは平均リークを著しく減らし、残効は意味論的に関連する値クラスに限られる。
  論文  参考訳（メタデータ） (2026-02-07T04:35:16Z)
• Every Question Has Its Own Value: Reinforcement Learning with Explicit Human Values [53.72318444646282]
  RLEV(Reinforcement Learning with Explicit Human Values)を提案する。 RLEVは、Large Language Model (LLM) 最適化を直接、定量化された人間の値信号と整合させる。 RLEVは、複数のRLアルゴリズムとモデルスケールで、精度のみのベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2025-10-23T04:15:22Z)
• Internal Value Alignment in Large Language Models through Controlled Value Vector Activation [70.41805604556058]
  本研究では,Large Language Models (LLM) を人間の値と整合させるためのConVA法を提案する。 モデル性能を犠牲にすることなく連続的に値を制御するために,ゲート値ベクトルアクティベーション法を導入する。 実験により, LLM性能と流速を損なうことなく, 基本値10個に対して最大制御成功率を達成できることが確認された。
  論文  参考訳（メタデータ） (2025-07-15T13:48:35Z)
• Imagination-Limited Q-Learning for Offline Reinforcement Learning [18.8976065411658]
  Imagination-Limited Q-learning (ILQ) 法を提案する。 具体的には、動的モデルを用いて、OODのアクション値を想像し、次に最大振る舞い値で想像値をクリップする。 本手法はD4RLベンチマークにおいて,多種多様なタスクにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-05-18T03:05:21Z)
• Activation Scaling for Steering and Interpreting Language Models [55.59689963561315]
  モデルにうまく介入することは、内部の動作を解釈するための前提条件である、と我々は主張する。 成功した介入は、間違ったトークンで正しいことを正し、その逆を正すべきである。 勾配に基づく最適化を用いることで、特定の種類の効率的かつ解釈可能な介入を学習(そして後で評価)することができる。
  論文  参考訳（メタデータ） (2024-10-07T12:01:32Z)
• Strategically Conservative Q-Learning [89.17906766703763]
  オフライン強化学習(RL)は、RLの実用性を拡張するための魅力的なパラダイムである。 オフラインRLの最大の難しさは、オフ・オブ・ディストリビューション(OOD)アクションに遭遇する際の近似誤差の影響を緩和することである。 本稿では, 予測が容易かつ困難であるOODデータを識別する, SCQ(Strategical conservative Q-Learning) という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-06T22:09:46Z)
• Offline Contextual Bandits with Overparameterized Models [52.788628474552276]
  オフラインの文脈的盗賊にも同じ現象が起こるかどうかを問う。 この相違は, 目的の強調安定性によるものであることを示す。 大規模なニューラルネットワークを用いた実験では、アクション安定な値ベース目標と不安定なポリシベース目標とのギャップは、大きなパフォーマンス差をもたらす。
  論文  参考訳（メタデータ） (2020-06-27T13:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。