論文の概要: Steering When Necessary: Flexible Steering Large Language Models with Backtracking

• arxiv url: http://arxiv.org/abs/2508.17621v1
• Date: Mon, 25 Aug 2025 03:01:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.611989
• Title: Steering When Necessary: Flexible Steering Large Language Models with Backtracking
• Title（参考訳）: 必要なときのステアリング: バックトラックによるフレキシブルステアリング大言語モデル
• Authors: Jinwei Gan, Zifeng Cheng, Zhiwei Jiang, Cong Wang, Yafeng Yin, Xiang Luo, Yuchen Fu, Qing Gu,
• Abstract要約: 大規模言語モデル(LLM)は多くの世代で顕著な性能を達成している。 アクティベーションステアリング(Activation steering)は、推論段階においてLSMのアクティベーションを直接変更する効果的で費用効率のよいアプローチである。 本稿では,介入の必要性と強度の両方を動的に決定するフレキシブル・アクティベーション・ステアリング・アット・バックトラッキング(FASB)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 16.23081952791394
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have achieved remarkable performance across many generation tasks. Nevertheless, effectively aligning them with desired behaviors remains a significant challenge. Activation steering is an effective and cost-efficient approach that directly modifies the activations of LLMs during the inference stage, aligning their responses with the desired behaviors and avoiding the high cost of fine-tuning. Existing methods typically indiscriminately intervene to all generations or rely solely on the question to determine intervention, which limits the accurate assessment of the intervention strength. To this end, we propose the Flexible Activation Steering with Backtracking (FASB) framework, which dynamically determines both the necessity and strength of intervention by tracking the internal states of the LLMs during generation, considering both the question and the generated content. Since intervening after detecting a deviation from the desired behavior is often too late, we further propose the backtracking mechanism to correct the deviated tokens and steer the LLMs toward the desired behavior. Extensive experiments on the TruthfulQA dataset and six multiple-choice datasets demonstrate that our method outperforms baselines. Our code will be released at https://github.com/gjw185/FASB.
• Abstract（参考訳）: 大規模言語モデル(LLM)は多くの世代で顕著な性能を達成している。 それでも、望ましい行動と効果的に一致させることは、依然として大きな課題である。 アクティベーションステアリング(Activation steering)は、推論段階におけるLSMの活性化を直接修正し、その応答を望ましい振る舞いと整合させ、微調整のコストが高いことを避ける、効果的でコスト効率のよいアプローチである。 既存の方法は通常、すべての世代に無差別に介入するか、または介入の強度の正確な評価を制限するために質問にのみ依存する。 そこで本研究では,LLMの内部状態を動的に追跡して介入の必要性と強度を動的に決定するフレキシブル・アクティベーション・ステアリング・アンド・バックトラック(FASB)フレームワークを提案する。 所望の行動から逸脱を検出した後の介入は遅すぎる場合が多いため,逸脱したトークンを補正し,所望の行動に向けてLPMを操るバックトラッキング機構を提案する。 TruthfulQAデータセットと6つの多重選択データセットに関する大規模な実験は、我々の手法がベースラインを上回っていることを示している。 私たちのコードはhttps://github.com/gjw185/FASB.comでリリースされます。

関連論文リスト

• Guiding Giants: Lightweight Controllers for Weighted Activation Steering in LLMs [3.2361985831403404]
  アクティベーションステアリングは、推論時間制御の代替を提供する。 推論中に軽量でトレーニング可能なコントローラネットワークを組み込んだ新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-05-22T01:48:38Z)
• Task-driven Layerwise Additive Activation Intervention [12.152228552335798]
  現代言語モデル(LM)は自然言語処理(NLP)において著しく高度な生成モデルを持つ 本稿では, 介入プロセスの最適化を行うレイヤワイド・アダプティブ・アクティベーション・インタベーション・インタプリタ・フレームワークを提案する。 我々は、様々なデータセット上でフレームワークをベンチマークし、事前訓練されたLMの精度と競合する介入ベースラインの改善を示す。
  論文  参考訳（メタデータ） (2025-02-10T02:49:46Z)
• Probe-Free Low-Rank Activation Intervention [26.502232859901167]
  隠れたアクティベーションを編集する推論時間の介入は、望ましい世代に向けてLMを操る有望な結果を示している。 本稿では,特定のアクティベーション層内のすべての注意点に対するプローブフリー干渉法FLORAINを提案する。
  論文  参考訳（メタデータ） (2025-02-06T13:03:05Z)
• Semantics-Adaptive Activation Intervention for LLMs via Dynamic Steering Vectors [8.761404991620285]
  大規模言語モデル(LLM)の行動を修正するための効果的かつ経済的手法として活性化介入が出現した。 本稿では,モデルアクティベーションを推論時に介入するための動的ステアリングベクトルを構成する新しい手法であるSemantics-Adaptive Dynamic Intervention (SADI)を提案する。 実験結果から,SADIが確立したベースラインをかなりのマージンで上回り,トレーニングなしでのタスク性能が向上した。
  論文  参考訳（メタデータ） (2024-10-16T06:58:49Z)
• Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
  本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。 実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T17:59:07Z)
• InferAligner: Inference-Time Alignment for Harmlessness through Cross-Model Guidance [56.184255657175335]
  我々は,無害アライメントのためのクロスモデルガイダンスを利用する新しい推論時間アライメント手法であるtextbfInferAligner を開発した。 実験結果から,本手法はファイナンス,医学,数学の分野特化モデルに極めて効果的に適用可能であることが示された。 これは有害な命令とジェイルブレイク攻撃の両方のアタック成功率(ASR)を著しく低下させ、下流タスクではほとんど変化のないパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2024-01-20T10:41:03Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。