論文の概要: CorrSteer: Steering Improves Task Performance and Safety in LLMs through Correlation-based Sparse Autoencoder Feature Selection

• arxiv url: http://arxiv.org/abs/2508.12535v1
• Date: Mon, 18 Aug 2025 00:01:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:10.847275
• Title: CorrSteer: Steering Improves Task Performance and Safety in LLMs through Correlation-based Sparse Autoencoder Feature Selection
• Title（参考訳）: CorrSteer: 相関に基づくスパースオートエンコーダ特徴選択によるLCMのタスクパフォーマンスと安全性の向上
• Authors: Seonglae Cho, Zekun Wu, Adriano Koshiyama,
• Abstract要約: 提案するCorrSteerは,サンプルの正しさとSAEのアクティベーションを推論時に生成したトークンから関連付けて特徴を選択する。 我々の研究は、言語モデルアプリケーション間での自動SAEステアリングのための効果的でスケーラブルなアプローチとして相関ベースの選択を確立する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse Autoencoders (SAEs) can extract interpretable features from large language models (LLMs) without supervision. However, their effectiveness in downstream steering tasks is limited by the requirement for contrastive datasets or large activation storage. To address these limitations, we propose CorrSteer, which selects features by correlating sample correctness with SAE activations from generated tokens at inference time. This approach uses only inference-time activations to extract more relevant features, thereby avoiding spurious correlations. It also obtains steering coefficients from average activations, automating the entire pipeline. Our method shows improved task performance on QA, bias mitigation, jailbreaking prevention, and reasoning benchmarks on Gemma 2 2B and LLaMA 3.1 8B, notably achieving a +4.1% improvement in MMLU performance and a +22.9% improvement in HarmBench with only 4000 samples. Selected features demonstrate semantically meaningful patterns aligned with each task's requirements, revealing the underlying capabilities that drive performance. Our work establishes correlationbased selection as an effective and scalable approach for automated SAE steering across language model applications.
• Abstract（参考訳）: スパースオートエンコーダ (SAE) は、大規模言語モデル (LLM) からの解釈可能な特徴を監督なしで抽出することができる。 しかしながら、下流のステアリングタスクにおけるそれらの有効性は、対照的なデータセットや大規模なアクティベーションストレージの要件によって制限される。 これらの制約に対処するため,提案するCorrSteerは,サンプルの正しさとSAEのアクティベーションを推論時に生成したトークンから関連付けて特徴を選択する。 このアプローチでは、推論時のアクティベーションのみを使用して、より関連性の高い特徴を抽出する。 また、平均的なアクティベーションからステアリング係数を取得し、パイプライン全体を自動化する。 本手法では,QA,バイアス軽減,脱獄防止,およびGemma 2 2BおよびLLaMA 3.1 8Bの推論ベンチマークにおいて,MMLU性能が+4.1%向上し,HarmBenchが+22.9%向上した。 選択された機能は、各タスクの要求にセマンティックに意味のあるパターンを示し、パフォーマンスを駆動する基盤となる機能を明らかにします。 我々の研究は、言語モデルアプリケーション間での自動SAEステアリングのための効果的でスケーラブルなアプローチとして相関ベースの選択を確立する。

関連論文リスト

• Fusion Steering: Prompt-Specific Activation Control [0.0]
  Fusion Steeringは、質問応答(QA)タスクのための大規模言語モデル(LLM)の事実精度を改善する。 このアプローチでは、フルレイヤのステアリングやセグメント化されたステアリングなど、フレキシブルなステアリング構成を導入している。 より厳格なSimpleQAルーブリックの下では、セグメンテッドステアリングは0.0%から13.1%に完全に正しい応答を加速する。
  論文  参考訳（メタデータ） (2025-05-28T16:46:55Z)
• AskToAct: Enhancing LLMs Tool Use via Self-Correcting Clarification [25.27444694706659]
  AskToActは、クエリとツールの実行ソリューションの間の構造的マッピングを利用する。 クエリから重要なパラメータを体系的に取り除き,それらを根拠として保持することにより,高品質なトレーニングデータの自動構築を可能にする。 我々のフレームワークは、異なるモデルアーキテクチャにわたって堅牢なパフォーマンスを示し、追加のトレーニングなしで完全に見えないAPIに一般化することに成功しています。
  論文  参考訳（メタデータ） (2025-03-03T12:55:49Z)
• Multi-Attribute Steering of Language Models via Targeted Intervention [56.93583799109029]
  推論時間介入(ITI)は,大規模言語モデル(LLM)の振る舞いを特定の方向に操るための有望な手法として登場した。 マルチ属性・ターゲットステアリング(MAT-Steer)は,複数の属性をまたいだトークンレベルの選択的介入を目的とした,新しいステアリングフレームワークである。
  論文  参考訳（メタデータ） (2025-02-18T02:27:23Z)
• PIVOT-R: Primitive-Driven Waypoint-Aware World Model for Robotic Manipulation [68.17081518640934]
  ロボット操作のためのPrIrmitive-driVen waypOinT-aware world model(PIVOT-R)を提案する。 PIVOT-RはWAWM(Waypoint-aware World Model)と軽量アクション予測モジュールで構成される。 私たちのPIVOT-RはSeaWaveベンチマークで最先端のオープンソースモデルより優れており、4段階の命令タスクで平均19.45%の相対的な改善を実現しています。
  論文  参考訳（メタデータ） (2024-10-14T11:30:18Z)
• Get my drift? Catching LLM Task Drift with Activation Deltas [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)
• Localizing Task Information for Improved Model Merging and Compression [61.16012721460561]
  我々は,各タスクの重み付けが重なり合わないことが多いため,各タスクがマージされた後も,各タスクの解決に必要な情報が保存されていることを示す。 本稿では,そのような重みを排除し,既存のモデルマージ手法の一般的な性能を改善するアルゴリズムであるConsensus Mergingを提案する。
  論文  参考訳（メタデータ） (2024-05-13T14:54:37Z)
• Robusta: Robust AutoML for Feature Selection via Reinforcement Learning [24.24652530951966]
  強化学習(RL)に基づく初の堅牢なAutoMLフレームワークRobostaを提案します。 このフレームワークは,良性サンプルの競争精度を維持しつつ,モデルロバスト性を最大22%向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-01-15T03:12:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。