論文の概要: Neyman Orthogonal Activation Steering

• arxiv url: http://arxiv.org/abs/2610.33217v1
• Date: Fri, 23 Oct 2026 19:09:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.275409
• Title: Neyman Orthogonal Activation Steering
• Title（参考訳）: ニーマン直交活性化ステアリング
• Abstract要約: 活性化ステアリング(Activation steering)は、所望の動作にLCM出力をシフトするための一般的なアプローチである。 ほぼすべての既存手法を,結果回帰の平均勾配のプラグイン推定器として構成する。 我々は,関数勾配のリース表現器であるスタインスコア上に構築された補的推定器を開発する。
• 参考スコア（独自算出の注目度）: 14.983128131237647
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Activation steering is a popular approach for shifting LLM output toward a desired behavior, and increasingly for generating realistic synthetic data. The standard recipe estimates a steering direction by contrasting LLM activations on prompts with and without a target concept, such as truthfulness. In this paper, we separate the estimand (the steering direction these methods target) from the estimator used to recover it, two notions the literature often conflates. We frame nearly all existing methods as plug-in estimators of the average gradient of an outcome regression, with the binary contrastive label fixed as the outcome. Using this framing, we can immediately incorporate flexible modeling approaches and extend existing methods to allow for continuous outcomes such as log-probabilities or oracle ratings. Flexible ML models that fit the outcome well, however, might not estimate the gradient well, which motivates estimators that target the gradient directly. Drawing on the debiased machine learning literature, we develop a complementary estimator built on the Stein score, the Riesz representer of the gradient functional. Combining the two routes gives an orthogonalized estimator with classical double-robustness properties. We illustrate the framework on activation steering applied to a number of benchmark datasets.
• Abstract（参考訳）: 活性化ステアリング(Activation steering)は、LLM出力を望ましい振る舞いにシフトさせ、より現実的な合成データを生成するための一般的なアプローチである。 標準レシピは、真偽のような目標概念と無関係のプロンプトでLSMアクティベーションを対比することにより、操舵方向を推定する。 本稿では,これらの手法が対象とする推定値(ステアリング方向)を,回復に使用する推定値から分離する。 既存の手法のほとんど全てを、結果回帰の平均勾配のプラグイン推定器として構成し、結果としてバイナリコントラッシブラベルを固定した。 このフレーミングを使用することで、フレキシブルなモデリングアプローチをすぐに取り入れ、既存のメソッドを拡張して、ログ確率やオラクル評価のような継続的な結果を可能にすることができます。 しかし、結果によく適合するフレキシブルMLモデルは、勾配を直接ターゲットとする推定器を動機付ける勾配をうまく推定できないかもしれない。 偏った機械学習の文献に基づいて、勾配汎関数のリース表現器であるスタインスコアに基づく補的推定器を開発する。 2つの経路を組み合わせることで、古典的な双曲性特性を持つ直交化された推定器が得られる。 いくつかのベンチマークデータセットに適用されたアクティベーションステアリングのフレームワークについて説明する。

関連論文リスト

• AdaStep: Adaptive Step Credit Weighting for Agentic Reinforcement Learning [41.82249291285459]
  本稿では,各グループ由来の局所的優位性が軌道レベルの信号にどの程度強く依存するかを制御する適応ステップ重み付け手法を提案する。 AdaStepは軽量なスカラー計算しか必要とせず、批判もロールアウトも追加のモデル推論も不要である。 ALFWorld、WebShop、ScienceWorldの3つのモデルバックボーンによる実験では、低い計算コストでベースラインよりも一貫した改善が見られた。
  論文  参考訳（メタデータ） (2026-10-02T12:38:53Z)
• From Prompting to Behavioral Alignment: Personalized LLM Judges for Recommendation Evaluation [0.0]
  本研究は、双方向合理化と呼ばれる臨界故障モードを特定する。 我々は、優先順位最適化を伴う逐次的行動アライメントフレームワークの微調整を開発し、適用する。 このアプローチはゼロショットベースラインよりもマクロF1スコアで32.19%上昇する。
  論文  参考訳（メタデータ） (2026-08-11T23:06:39Z)
• IADD-TR: Intervention-Aware Dynamics Decoupling with Targeted Regularization for Model-Based Reinforcement Learning [57.16513298507272]
  IADD-TRは、IADD(Intervention-Aware Dynamics Decoupling)とTR(Targeted Regularization)を組み合わせた統合フレームワークである。 IADDは、ゼロアクションアンカーを用いて、アクション干渉段階とアクションフリー自然進化段階への遷移を分解し、堅牢な一般化のためにこの2段階の分解の非特異性を解決する。 政策学習においては,リプレイ状態の政策段階関数の効率的な影響関数からTRを導出する。
  論文  参考訳（メタデータ） (2026-08-11T08:20:02Z)
• Cross-fitted Proximal Learning for Model-Based Reinforcement Learning [3.5690236380446163]
  隠れた境界を持つオフライン環境では、観測データから直接学習されたモデルはバイアスを受けることがある。 近年の研究では, 部分的に観測可能なマルコフ決定過程(POMDPs)における政策評価を, 条件付きモーメント制約(CMRs)を満たす報奨・送達ブリッジ関数の推定に還元できることが示されている。
  論文  参考訳（メタデータ） (2026-04-06T21:29:57Z)
• Distributional value gradients for stochastic environments [37.5115685757579]
  回帰正則値学習法は、遷移力学と報酬の学習モデルを活用してサンプル効率を向上させる。 本研究では、連続状態-作用空間上の分散強化学習を拡張することで、これらの制約に対処する。 SVG(Value Gradients)にインスパイアされた本手法は,条件付きVari Autoencoder(cVAE)を用いて実装された報酬および遷移分布の一段階の世界モデルを利用する。
  論文  参考訳（メタデータ） (2026-01-27T21:31:07Z)
• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• Time-series Generation by Contrastive Imitation [87.51882102248395]
  モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。 推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
  論文  参考訳（メタデータ） (2023-11-02T16:45:25Z)
• Consensus-Adaptive RANSAC [104.87576373187426]
  本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。 注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
  論文  参考訳（メタデータ） (2023-07-26T08:25:46Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)
• Adaptive Correlated Monte Carlo for Contextual Categorical Sequence Generation [77.7420231319632]
  我々は,モンテカルロ (MC) ロールアウトの集合を分散制御のために評価する政策勾配推定器に,カテゴリー列の文脈的生成を適用する。 また,二分木ソフトマックスモデルに相関したMCロールアウトを用いることで,大語彙シナリオにおける高生成コストを低減できることを示す。
  論文  参考訳（メタデータ） (2019-12-31T03:01:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。