論文の概要: Beyond Prompt Engineering: Robust Behavior Control in LLMs via Steering Target Atoms

• arxiv url: http://arxiv.org/abs/2505.20322v2
• Date: Tue, 03 Jun 2025 13:40:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:31.992592
• Title: Beyond Prompt Engineering: Robust Behavior Control in LLMs via Steering Target Atoms
• Title（参考訳）: プロンプト工学を超えて:ステアリングターゲット原子によるLCMのロバスト挙動制御
• Authors: Mengru Wang, Ziwen Xu, Shengyu Mao, Shumin Deng, Zhaopeng Tu, Huajun Chen, Ningyu Zhang,
• Abstract要約: モデルにおける膨大な数のパラメータは、しばしば高度に絡み合った内部表現をもたらす。 最近の研究は、スパースオートエンコーダ(SAE)を用いて、ステアリングのための高次元空間における知識を歪めている。 本研究では,非絡み合った知識コンポーネントを分離・操作し,安全性を高める手法であるステアリングターゲット原子(STA)を提案する。
• 参考スコア（独自算出の注目度）: 71.85633762642125
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Precise control over language model generation is vital for ensuring both safety and reliability. Although prompt engineering and steering are commonly used to intervene in model behaviors, the vast number of parameters in models often results in highly intertwined internal representations. This interdependency can limit control precision and sometimes lead to unintended side effects. Recent research has explored the use of sparse autoencoders (SAE) to disentangle knowledge in high-dimensional spaces for steering. However, these applications have been limited to toy tasks owing to the nontrivial issue of locating atomic knowledge components. In this paper, we propose Steering Target Atoms (STA), a novel method that isolates and manipulates disentangled knowledge components to enhance safety. Comprehensive experiments demonstrate the effectiveness of our approach. Further analysis reveals that steering exhibits superior robustness and flexibility, particularly in adversarial scenarios. We also apply the steering strategy to the large reasoning model, confirming its effectiveness in precise reasoning control.
• Abstract（参考訳）: 言語モデル生成の正確な制御は、安全性と信頼性の両方を保証するために不可欠である。 迅速な工学と操舵はモデル行動に介入するために一般的に使用されるが、モデル内の膨大な数のパラメータは、しばしば高度に絡み合った内部表現をもたらす。 この相互依存は制御精度を制限し、時には意図しない副作用を引き起こすことがある。 近年の研究では、スパースオートエンコーダ(SAE)を用いて、ステアリングのための高次元空間における知識を歪めている。 しかし、これらの応用は、原子知識コンポーネントを探索する非自明な問題のために、おもちゃのタスクに限られている。 本稿では,不整合知識成分を分離・操作し,安全性を高める新手法であるステアリングターゲット原子(STA)を提案する。 総合的な実験は、我々のアプローチの有効性を実証する。 さらなる分析により、ステアリングは特に敵のシナリオにおいて、優れた堅牢性と柔軟性を示すことが明らかになった。 また,大きな推論モデルにステアリング戦略を適用し,精度の高い推論制御の有効性を確認した。

関連論文リスト

• Steering Safely or Off a Cliff? Rethinking Specificity and Robustness in Inference-Time Interventions [2.977664945581083]
  ステアリングは高い有効性を実現し,全般的および制御的特異性を維持するが,ロバスト性特異性を維持することは一貫して失敗することを示す。 本研究は, モデルステアリングにおける特異性の最初の体系的評価を行い, 標準有効性および特異性チェックが不十分であることを示す。
  論文  参考訳（メタデータ） (2026-02-05T23:14:05Z)
• Steering Externalities: Benign Activation Steering Unintentionally Increases Jailbreak Risk for Large Language Models [62.16655896700062]
  活性化ステアリングは大規模言語モデル(LLM)の有用性を高める技術である 重要かつ過度に調査された安全リスクを無意識に導入することを示します。 実験によると、これらの介入は強制乗算器として機能し、ジェイルブレイクに新たな脆弱性を発生させ、標準ベンチマークで攻撃成功率を80%以上向上させる。
  論文  参考訳（メタデータ） (2026-02-03T12:32:35Z)
• RISER: Orchestrating Latent Reasoning Skills for Adaptive Activation Steering [62.63376387138257]
  本稿では,アクティベーション空間における大規模言語モデル(LLM)推論を適応的に制御するプラグイン・アンド・プレイ介入フレームワークを提案する。 RISERは再利用可能な推論ベクトルのライブラリを構築し、軽量ルータを使用して各入力に対して動的に構成する。 ルーターは、タスクレベルの報酬の下で強化学習を通じて最適化され、緊急かつ構成的な方法で潜在する認知的プリミティブを活性化する。
  論文  参考訳（メタデータ） (2026-01-14T08:04:33Z)
• PILOT: Planning via Internalized Latent Optimization Trajectories for Large Language Models [51.43746425777865]
  大規模言語モデル(LLM)は、しばしばグローバル戦略を定式化する能力に欠けており、長い水平タスクにおけるエラーの伝播につながる。 PILOTは,大規模モデルの戦略的監視を本質的な潜伏誘導に内部化するためのフレームワークである。
  論文  参考訳（メタデータ） (2026-01-07T12:38:56Z)
• Control-ITRA: Controlling the Behavior of a Driving Model [14.31198056147624]
  エージェントの動作に影響を与える制御ITRAと呼ばれる手法を,ウェイポイントの割り当てと目標速度の変調によって導入する。 本手法は, 可制御性, 無屈折性トラジェクトリを生成できると同時に, 視界と見えない位置の両方でリアリズムを保ち得ることを示す。
  論文  参考訳（メタデータ） (2025-01-17T03:35:11Z)
• Enhancing Multiple Dimensions of Trustworthiness in LLMs via Sparse Activation Control [44.326363467045496]
  大規模言語モデル(LLM)は、ヒューマンフィードバック(RLHF)からの強化学習において重要な研究領域となっている。 表現工学は、新しい、トレーニングなしのアプローチを提供する。 この手法は意味的特徴を利用してLLMの中間隠れ状態の表現を制御する。 正直さや安全性などの様々な意味内容を特異な意味的特徴に符号化することは困難である。
  論文  参考訳（メタデータ） (2024-11-04T08:36:03Z)
• Detectors for Safe and Reliable LLMs: Implementations, Uses, and Limitations [76.19419888353586]
  大規模言語モデル(LLM)は、不誠実なアウトプットからバイアスや有害な世代に至るまで、さまざまなリスクを受けやすい。 我々は,様々な害のラベルを提供するコンパクトで容易に構築できる分類モデルである,検出器のライブラリを作成し,展開する取り組みについて述べる。
  論文  参考訳（メタデータ） (2024-03-09T21:07:16Z)
• InferAligner: Inference-Time Alignment for Harmlessness through Cross-Model Guidance [56.184255657175335]
  我々は,無害アライメントのためのクロスモデルガイダンスを利用する新しい推論時間アライメント手法であるtextbfInferAligner を開発した。 実験結果から,本手法はファイナンス,医学,数学の分野特化モデルに極めて効果的に適用可能であることが示された。 これは有害な命令とジェイルブレイク攻撃の両方のアタック成功率(ASR)を著しく低下させ、下流タスクではほとんど変化のないパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2024-01-20T10:41:03Z)
• Learning Exactly Linearizable Deep Dynamics Models [0.06554326244334867]
  本稿では, 安定度, 信頼性, 信頼性を確保するために, 様々な制御理論を容易に適用可能な, 線形化可能な動的モデルの学習法を提案する。 提案手法は, 自動車エンジンのリアルタイム制御に応用され, 予測性能と制約下での安定制御が良好であることを示す。
  論文  参考訳（メタデータ） (2023-11-30T05:40:55Z)
• Empowering Autonomous Driving with Large Language Models: A Safety Perspective [82.90376711290808]
  本稿では,Large Language Models (LLM) の自律運転システムへの統合について検討する。 LLMは行動計画におけるインテリジェントな意思決定者であり、文脈的安全学習のための安全検証シールドを備えている。 適応型LLM条件モデル予測制御(MPC)と状態機械を用いたLLM対応対話型行動計画スキームという,シミュレーション環境における2つの重要な研究について述べる。
  論文  参考訳（メタデータ） (2023-11-28T03:13:09Z)
• Constrained Reinforcement Learning for Robotics via Scenario-Based Programming [64.07167316957533]
  DRLをベースとしたエージェントの性能を最適化し,その動作を保証することが重要である。 本稿では,ドメイン知識を制約付きDRLトレーニングループに組み込む新しい手法を提案する。 我々の実験は、専門家の知識を活用するために我々のアプローチを用いることで、エージェントの安全性と性能が劇的に向上することを示した。
  論文  参考訳（メタデータ） (2022-06-20T07:19:38Z)
• Scalable Synthesis of Verified Controllers in Deep Reinforcement Learning [0.0]
  高品質の安全シールドを合成できる自動検証パイプラインを提案します。 私たちの重要な洞察は、事前に計算された安全シールドを使用して神経コントローラのトレーニングを制限し、神経コントローラから安全検証を分離することを含みます。 実測的な高次元深部RLベンチマークによる実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2021-04-20T19:30:29Z)
• Runtime Safety Assurance Using Reinforcement Learning [37.61747231296097]
  本稿では,安全でない状況を高精度に識別できるメタコントローラを設計することを目的とする。 我々は,RTSAの設計をマルコフ決定プロセス(MDP)と組み合わせ,強化学習(RL)を用いて解決する。
  論文  参考訳（メタデータ） (2020-10-20T20:54:46Z)
• Evaluating the Safety of Deep Reinforcement Learning Models using Semi-Formal Verification [81.32981236437395]
  本稿では,区間分析に基づく半形式的意思決定手法を提案する。 本手法は, 標準ベンチマークに比較して, 形式検証に対して比較結果を得る。 提案手法は, 意思決定モデルにおける安全性特性を効果的に評価することを可能にする。
  論文  参考訳（メタデータ） (2020-10-19T11:18:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。