論文の概要: Spillover-Aware Multi-Value Steering for Pluralistic LLM Alignment

• arxiv url: http://arxiv.org/abs/2609.05800v1
• Date: Sat, 05 Sep 2026 01:28:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.138131
• Title: Spillover-Aware Multi-Value Steering for Pluralistic LLM Alignment
• Title（参考訳）: 複数LLMアライメントのためのスパイルオーバー対応多値ステアリング
• Abstract要約: ナイーブなステアリングは, かなりこぼこぼれを生じさせることを示す。 我々は、アクティベーションノームペナル化目標からゼロコスト補正を導出する。 エンドツーエンドのパイプラインでは微調整も報酬モデルも手動のプロンプトエンジニアリングも必要ありません。
• 参考スコア（独自算出の注目度）: 6.348878992944311
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Activation steering controls LLM behavior at inference time by adding learned directions to hidden states, but existing methods handle one concept at a time. Pluralistic alignment, where different stakeholders need different value emphases, requires steering multiple dimensions simultaneously. We show that naive steering produces substantial spillover: the effect intended for one value leaks into others. This parallels the treatment-versus-spillover decomposition in causal inference. We trace spillover to geometric entanglement of steering directions, captured by their Gram matrix, and derive a zero-cost correction from an activation-norm-penalized objective that decouples each direction's contribution exactly. Our end-to-end pipeline requires no fine-tuning, no reward model, and no manual prompt engineering: given only domain questions, it automatically discovers value dimensions, extracts directions, diagnoses entanglement, and applies corrected steering. On climate discourse, the correction improves the net steering effect from +5.9% to +14.0%, validated over 100,000 pairwise judgments.
• Abstract（参考訳）: アクティベーションステアリング(Activation steering)は、隠れた状態に学習方向を追加することで、推論時にLSMの動作を制御するが、既存のメソッドは一度にひとつの概念を処理する。 異なる利害関係者が異なる価値相を必要とする複数のアライメントには、複数の次元を同時に管理する必要があります。 一つの値に意図した効果が他の値に漏れることが、素直な操舵によってかなりこぼこぼこが生じることを示す。 これは因果推論における治療-逆スパイルオーバー分解と平行である。 筆者らは, 操舵方向の幾何学的絡み合いに追従し, それぞれの方向の寄与を正確に分解するアクティベーション-ノーム-ペナル化目標から, ゼロコスト補正を導出した。 我々のエンドツーエンドパイプラインは微調整も報酬モデルも手動のプロンプトエンジニアリングも必要とせず、ドメイン質問のみを前提として、自動的に値次元を発見し、方向を抽出し、絡みを診断し、修正されたステアリングを適用します。 気候に関する議論では、補正によりネットステアリング効果は+5.9%から+14.0%に改善され、対の判断は10万を超える。

関連論文リスト

• Steering Geometry: Validating Human Value Geometry in LLM Steering Space [14.117484627215804]
  大規模言語モデル(LLM)は、アライメントに敏感なコンテキストに徐々にデプロイされている。 本研究では, LLM ステアリングベクトルの潜時幾何学が, 人的価値と道徳性の理論的構造を反映しているかどうかを考察する。 分布駆動手法は, 理論的予測と一致した人的価値トポロジを復元する。
  論文  参考訳（メタデータ） (2026-09-05T22:55:48Z)
• When is Your LLM Steerable? [56.656180566692946]
  アクティベーションステアリングは、推論時に言語モデルの振る舞いを制御するための軽量なアプローチを提供する。 ステアリングを成功させる体制と境界を見つけるには、通常、高価なグリッドサーチが必要である。 生成プロセスの開始時にモデルの内部状態からステアビリティを予測できるかどうかを検討する。
  論文  参考訳（メタデータ） (2026-06-10T02:55:34Z)
• Beyond Linear Activation Steering: Invertible Latent Transformations for Controlling LLM Behavior [13.073472989807675]
  INNSteerは非可逆潜在変換に基づく非線形活性化ステアリングフレームワークである。 線形、輸送ベース、非線形ステアリングベースラインに対するモデル制御を一貫して改善する。
  論文  参考訳（メタデータ） (2026-06-07T05:01:25Z)
• Manifold-Guided Attention Steering [23.05277076113183]
  幾何学的観測に基づく軌道認識推論時間介入を提案する。 特定の注目ヘッドの出力活性化は、誤差点における低次元の正しさ多様体から発散する。 学習しきい値を超えた場合の目標投影補正を適用し、誤差が伝播する前に注意出力を正しい部分空間に戻す。
  論文  参考訳（メタデータ） (2026-05-20T22:06:08Z)
• FishBack: Pullback Fisher Geometry for Optimal Activation Steering in Transformers [7.108048394322025]
  アクティベーションステアリング法は、出力の振る舞いを制御するために言語モデルの中間表現を変更するが、アクティベーション空間がユークリッドであることを普遍的に仮定する。 モデル自身の出力挙動によって誘導される局所幾何学は、GPT-2上の相対スペクトルノルムにおいて、ユークリッド計量から97%以上逸脱する。
  論文  参考訳（メタデータ） (2026-05-17T03:00:16Z)
• When Is Rank-1 Steering Cheap? Geometry, Granularity, and Budgeted Search [61.73232505100331]
  アクティベーションステアリングは、再トレーニングせずにLSMを制御する軽量な方法を提供するが、その効果は概念によって大きく異なる。 我々は介入層と係数に対する予算制約付き最適化としてランク1ステアリングを定式化する。 操作困難の原因の診断にアクティベーション幾何を利用するグラニュラリティおよび表現認識概念工学フレームワークである textitGRACE を提案する。
  論文  参考訳（メタデータ） (2026-05-09T14:26:49Z)
• TACT: Mitigating Overthinking and Overacting in Coding Agents via Activation Steering [70.99933391739154]
  我々は、エージェントが既に持っている情報に対して繰り返し理由付けを行う2つの障害モードと、最近の観察を統合したり、新たな証拠を取得することなくツールコールを発行する2つの障害モードに焦点を当てる。 本稿では,活性化ステアリングによるTACT (Think-Act via activation Steering) を導入し,動作不良として現れる前に残留流中のエージェントの漂流を検知・緩和する。 具体的には、軌道のステップを過度に考え、過剰に実行し、あるいは校正し、隠れた状態が2つの *drift 軸* に沿って線形に分離できることを発見し、それぞれの障害モードに向かって校正された振る舞いを指示する。
  論文  参考訳（メタデータ） (2026-05-07T10:24:27Z)
• What Drives Representation Steering? A Mechanistic Case Study on Steering Refusal [53.189667624047416]
  異なるステアリング手法が同一層に印加した場合に機能的に交換可能な回路を利用することを示す。 その結果,操舵ベクトルは最大90～99%のスペーサー化が可能であり,ほとんどの性能は維持できることがわかった。
  論文  参考訳（メタデータ） (2026-04-09T17:57:14Z)
• Double Check My Desired Return: Transformer with Target Alignment for Offline Reinforcement Learning [64.6334337560557]
  教師付き学習(RvS)による強化学習は、シーケンスモデリングタスクとしてオフラインRLをフレーム化する。 決定変換器(DT)は、実際の完了したリターンを特定のターゲットリターンと確実に整合させるのに苦労する。 そこで我々は,Offline RLの目標アライメントによる変換器の二重チェックを行う新しいアプローチであるDoctorを提案する。
  論文  参考訳（メタデータ） (2025-08-22T14:30:53Z)
• GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
  GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。 推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。 微調整と既存のステアリングベースラインの両方を一貫して上回る。
  論文  参考訳（メタデータ） (2025-07-24T02:34:13Z)
• Fusion Steering: Prompt-Specific Activation Control [0.0]
  Fusion Steeringは、質問応答(QA)タスクのための大規模言語モデル(LLM)の事実精度を改善する。 このアプローチでは、フルレイヤのステアリングやセグメント化されたステアリングなど、フレキシブルなステアリング構成を導入している。 より厳格なSimpleQAルーブリックの下では、セグメンテッドステアリングは0.0%から13.1%に完全に正しい応答を加速する。
  論文  参考訳（メタデータ） (2025-05-28T16:46:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。