論文の概要: Genesis Steering: Better Activation Steering Through Training Data

• arxiv url: http://arxiv.org/abs/2610.19114v1
• Date: Tue, 13 Oct 2026 19:51:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.776591
• Title: Genesis Steering: Better Activation Steering Through Training Data
• Title（参考訳）: Genesis Steering: トレーニングデータによるアクティベーションステアリングの改善
• Abstract要約: アクティベーションステアリングは推論時に大きな言語モデルを制御する。 本稿では、モデル自身の微調整データにおける対照的な例から、ジェネシスベクトルを導出するジェネシスステアリングを紹介する。 微調整データを公開しているTlu-3-8BとLlama-3.1-8B-Instructを制御対象として,遺伝子ステアリングとメンバシップに基づくプロキシ構築を評価した。
• 参考スコア（独自算出の注目度）: 3.7228621356540827
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Activation steering controls large language models at inference time, but its effectiveness depends on the choice of reference data. We introduce genesis steering, which derives a genesis vector from contrastive examples in the model's own fine-tuning data. When these data are unavailable, we draw on the membership inference literature to identify likely training examples and construct a proxy dataset. We establish two theoretical results on optimal displacement to the decision boundary and reduced proxy-estimation bias. We evaluate genesis steering and membership-based proxy construction on Tülu-3-8B, whose fine-tuning data are publicly available, and Llama-3.1-8B-Instruct as a control. We find that safety data from Tülu-3-8B's training mixture yield stronger steering than external datasets on both models. On Tülu-3-8B, membership scores largely agree in identifying training examples, and vectors built from top-ranked examples achieve competitive performance against random subsets of the same size. In contrast, the results on Llama-3.1-8B-Instruct hint that a MIA method will only have a positive effect if the mean direction shift with MIA-filtered in-distribution data is much less severe than the direction shift with OoD data.
• Abstract（参考訳）: アクティベーションステアリングは推論時に大きな言語モデルを制御するが、その有効性は参照データの選択に依存する。 本稿では、モデル自身の微調整データにおける対照的な例から、ジェネシスベクトルを導出するジェネシスステアリングを紹介する。 これらのデータが利用できない場合には、メンバシップ推論の文献に基づいて、トレーニングの可能性のあるサンプルを特定し、プロキシデータセットを構築します。 決定境界への最適変位とプロキシ推定バイアスの低減に関する2つの理論的結果を確立する。 微調整データを公開しているTülu-3-8BとLlama-3.1-8B-Instructのジェネシスステアリングとメンバシップに基づくプロキシ構築を評価した。 Tülu-3-8Bのトレーニング混合物の安全性データは、両方のモデルの外部データセットよりも強力なステアリングをもたらす。 Tülu-3-8Bでは、メンバーシップスコアはトレーニングの例を特定することにほぼ一致し、トップランクの例から構築されたベクトルは同じサイズのランダムなサブセットに対して競合的なパフォーマンスを達成する。 対照的に、Llama-3.1-8B-Instruct hintでは、MIA法による平均方向シフトがOoDデータによる平均方向シフトよりもはるかに深刻でない場合にのみ、MIA法が正の効果を持つことを示唆している。

関連論文リスト

• How Faithful Is Trajectory-Based Data Attribution? Error Sources, Remedies, and Practical Guidelines [21.57090069950487]
  トラジェクトリに基づくデータ帰属法は、トレーニングの軌跡をアンロールすることで、モデル予測に対するトレーニングサンプルの影響を推定する。 これらの手法の包括的なエラー解析が欠如しており、メソッドの忠実性に対する懸念を高め、信頼性の高いデプロイメントを妨げる。 本稿では,トラジェクトリに基づくデータ属性における誤り源の体系的解析と,これらを緩和するための具体的対策,および下流利用のための実践的ガイドラインについて述べる。
  論文  参考訳（メタデータ） (2026-05-12T09:50:45Z)
• Influence-Preserving Proxies for Gradient-Based Data Selection in LLM Fine-tuning [51.87858735871145]
  対象モデルから直接影響保存プロキシを導出するフレームワークであるIproxを紹介する。 Iproxは、既製のプロキシやベースラインメソッドよりも一貫して優れています。
  論文  参考訳（メタデータ） (2026-02-19T20:57:30Z)
• Shifting Perspectives: Steering Vectors for Robust Bias Mitigation in LLMs [8.91107152198979]
  本稿では,大規模言語モデル(LLM)において,前方通過におけるモデルアクティベーションの修正にステアリングベクトルを適用することにより,バイアス軽減手法を提案する。 我々は、BBQデータセットのトレーニングサブセット上で、それぞれ異なる社会的バイアス軸に対応する8つのステアリングベクトルを計算し、これらの有効性を4つのデータセットにまたがる3つのバイアス緩和手法と比較する。 BBQデータセットに最適化すると、個別に調整されたステアリングベクトルは、BBQで12.8%、CLEAR-Biasで8.3%、StereoSetで1%の平均的な改善が達成される。
  論文  参考訳（メタデータ） (2025-03-07T12:25:29Z)
• Anchored Preference Optimization and Contrastive Revisions: Addressing Underspecification in Alignment [57.03947082589616]
  大規模言語モデル(LLM)は、しばしばコントラスト的なアライメント目標と選好ペアデータセットを使用してアライメントされる。 これについて検討し、基礎となる応答が対照的な場合、嗜好データがより良い学習信号を与えることを示した。 我々は、よりコントラスト的な選好ペアを生み出すデータ生成手法である、AI Revisions (CLAIR) からのコントラスト学習を紹介する。 我々の最良のモデルは、APOで32K CLAIRの選好に基づいて訓練され、Llama-3-8B-Instructを7.65%改善し、GPT4-turboとのギャップを45%短縮しました。
  論文  参考訳（メタデータ） (2024-08-12T16:24:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。