論文の概要: Effectively Steer LLM To Follow Preference via Building Confident Directions

• arxiv url: http://arxiv.org/abs/2503.02989v1
• Date: Tue, 04 Mar 2025 20:32:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-06 15:53:46.059451
• Title: Effectively Steer LLM To Follow Preference via Building Confident Directions
• Title（参考訳）: LLMが信頼関係の方向性を生かして推論を効果的に進める
• Authors: Bingqing Song, Boran Han, Shuai Zhang, Hao Wang, Haoyang Fang, Bonan Min, Yuyang Wang, Mingyi Hong,
• Abstract要約: 本稿では,モデルステアリング手法の理解と定量化のための理論的枠組みを提案する。 本フレームワークに着想を得て,LDMの活性化を制御できる確実な方向ステアリング法(CONFST)を提案する。 このアプローチは、一般的な双方向モデルステアリング方法に対して、3つの大きな利点を提供します。
• 参考スコア（独自算出の注目度）: 39.40603123075168
• License:
• Abstract: Having an LLM that aligns with human preferences is essential for accommodating individual needs, such as maintaining writing style or generating specific topics of interest. The majority of current alignment methods rely on fine-tuning or prompting, which can be either costly or difficult to control. Model steering algorithms, which modify the model output by constructing specific steering directions, are typically easy to implement and optimization-free. However, their capabilities are typically limited to steering the model into one of the two directions (i.e., bidirectional steering), and there has been no theoretical understanding to guarantee their performance. In this work, we propose a theoretical framework to understand and quantify the model steering methods. Inspired by the framework, we propose a confident direction steering method (CONFST) that steers LLMs via modifying their activations at inference time. More specifically, CONFST builds a confident direction that is closely aligned with users' preferences, and this direction is then added to the activations of the LLMs to effectively steer the model output. Our approach offers three key advantages over popular bidirectional model steering methods: 1) It is more powerful, since multiple (i.e. more than two) users' preferences can be aligned simultaneously; 2) It is simple to implement, since there is no need to determine which layer to add the steering vector to; 3) No explicit user instruction is required. We validate our method on GPT-2 XL (1.5B), Mistral (7B) and Gemma-it (9B) models for tasks that require shifting the output of LLMs across various topics and styles, achieving superior performance over competing methods.
• Abstract（参考訳）: 人間の好みに合わせたLCMを持つことは、書き方を維持することや特定の関心事を生成することなど、個々のニーズの調整に不可欠である。 現在のアライメント手法の大半は微調整やプロンプトに依存しており、コストがかかるか制御が難しい。 モデルステアリングアルゴリズムは、特定のステアリング方向を構築してモデル出力を変更するが、通常は実装や最適化は容易である。 しかしながら、それらの能力は典型的には2つの方向(すなわち双方向の操舵)の1つに限られており、それらの性能を保証する理論的には理解されていない。 本研究では,モデルステアリング手法の理解と定量化のための理論的枠組みを提案する。 本フレームワークに着想を得て,提案手法は,推定時間にアクティベーションを変更することでLCMを操る,確実な方向ステアリング法(CONFST)を提案する。 より具体的には、CONFSTはユーザーの好みと密接に一致した自信ある方向を構築し、この方向をLCMのアクティベートに追加し、モデル出力を効果的に制御する。 私たちのアプローチは、一般的な双方向モデルステアリング方法よりも3つの大きな利点を提供します。 1) 複数の(つまり2つ以上の)ユーザの好みを同時に調整できるため、より強力である。 2) どの層にステアリングベクターを追加するかを決定する必要はないので、実装は簡単です。 3)明示的なユーザ命令は不要である。 GPT-2 XL (1.5B) と Mistral (7B) と Gemma-it (9B) のモデルを用いて,LLM の出力を様々なトピックやスタイルにシフトする必要のあるタスクに対して検証し,競合する手法よりも優れた性能を実現する。

関連論文リスト

• Steering Large Language Models with Feature Guided Activation Additions [0.0]
  本稿では,新しいアクティベーションステアリング法であるFeature Guided Activation Additions (FGAA)を紹介する。 スパースオートエンコーダ(SAE)の潜在空間で操作することにより、FGAAは正確なステアリングベクトルを構成する。 Gemma-2-2B と Gemma-2-9B モデルの評価は、FGAA が既存のステアリング法より優れていることを示す。
  論文  参考訳（メタデータ） (2025-01-17T02:55:23Z)
• Zero-Shot Strategies for Length-Controllable Summarization [56.15356055672189]
  大規模言語モデル(LLM)は、特にゼロショット設定において、正確な長さ制御に苦しむ。 本研究では, LLMの長さ制御能力を複数の尺度で評価し, 制御性向上のための実用的手法を提案する。 LLaMA 3 を用いて行った実験では,測定値間の長さの密着性の違いが明らかになり,モデル固有のバイアスが強調された。
  論文  参考訳（メタデータ） (2024-12-31T02:53:27Z)
• Aligning Large Language Models with Representation Editing: A Control Perspective [38.71496554018039]
  人間の目的に合わせて微調整された大規模言語モデル(LLM)は、現実世界のアプリケーションには不可欠である。 プロンプトやガイドデコードといったテスト時のアライメント技術は、基礎となるモデルを変更しない。 表現編集によるLLMの整合性を提案する。
  論文  参考訳（メタデータ） (2024-06-10T01:21:31Z)
• Personalized Steering of Large Language Models: Versatile Steering Vectors Through Bi-directional Preference Optimization [34.05163996072159]
  人選好データのアクティベーションから「ステアリングベクトル」を抽出する。 この研究は、双方向の選好最適化によってより効果的なステアリングベクトルを生み出すことができる革新的なアプローチを提案する。 提案手法は, ステアリングベクトルが人間の嗜好データペアの生成確率に直接影響を与えるように設計されている。
  論文  参考訳（メタデータ） (2024-05-28T05:10:40Z)
• Arithmetic Control of LLMs for Diverse User Preferences: Directional Preference Alignment with Multi-Objective Rewards [32.799198549439716]
  大規模言語モデル(LLM)の整合化のためのDPA(Directional Preference Alignment)フレームワークを導入する。 スカラー・リワードのRLHFとは異なり、DPAは多目的報酬モデルを導入し、多様な好みプロファイルを表現している。 本手法は有用性と冗長性の間のトレードオフを算術的に簡単に制御する。
  論文  参考訳（メタデータ） (2024-02-28T18:58:25Z)
• InferAligner: Inference-Time Alignment for Harmlessness through Cross-Model Guidance [56.184255657175335]
  我々は,無害アライメントのためのクロスモデルガイダンスを利用する新しい推論時間アライメント手法であるtextbfInferAligner を開発した。 実験結果から,本手法はファイナンス,医学,数学の分野特化モデルに極めて効果的に適用可能であることが示された。 これは有害な命令とジェイルブレイク攻撃の両方のアタック成功率(ASR)を著しく低下させ、下流タスクではほとんど変化のないパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2024-01-20T10:41:03Z)
• LanguageMPC: Large Language Models as Decision Makers for Autonomous Driving [87.1164964709168]
  この作業では、複雑な自律運転シナリオの意思決定コンポーネントとして、Large Language Models(LLM)を採用している。 大規模実験により,提案手法は単車載タスクのベースラインアプローチを一貫して超えるだけでなく,複数車載コーディネートにおいても複雑な運転動作の処理にも有効であることが示された。
  論文  参考訳（メタデータ） (2023-10-04T17:59:49Z)
• Parameter-Efficient Tuning Helps Language Model Alignment [57.27390187540737]
  これまでは主に強化学習(RLHF)と直接選好最適化(DPO)を採用してきた。 コントロール可能な生成は、データフォーマットに関して、より柔軟性を提供します。 パラメータ効率調整(MEET)を併用したアライメントMEntでは,制御トークンの品質が向上する。
  論文  参考訳（メタデータ） (2023-10-01T23:27:14Z)
• Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
  我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。