論文の概要: DIAL: Steerable Language Models with Distilled Instruction-Adherence Levels

• arxiv url: http://arxiv.org/abs/2610.31438v1
• Date: Thu, 22 Oct 2026 15:34:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.427934
• Title: DIAL: Steerable Language Models with Distilled Instruction-Adherence Levels
• Title（参考訳）: DIAL: 拡張インストラクション-アジェンスレベルを持つステアブル言語モデル
• Abstract要約: 本研究では,テキストで指定された一般的な命令に従う程度を詳細に数値的に制御する「ステアブル言語モデル」について検討する。 既存のアプローチは、様々な命令にわたってきめ細かな制御、効率、スケーラビリティを共同で提供するものではない。 DIAL(Distilled Instruction-Adherence Levels)を導入し、3つの特性をすべて実現した。
• 参考スコア（独自算出の注目度）: 79.15943142158518
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When a user says "Keep it short", how short should the LLM's response be? More generally, users and applications require different levels of instruction adherence, but prompting does not reliably provide fine-grained control over them. We therefore study "steerable language models" that provide fine-grained numerical control over the degree to which models follow general instructions specified in text. However, existing approaches do not jointly offer fine-grained control, efficiency, and scalability across diverse instructions. To address this gap, we introduce DIAL (Distilled Instruction-Adherence Levels) to achieve all three properties. For fine-grained control, we perform classifier-free guidance (CFG) with a frozen LLM to provide training signals for on-policy distillation of instruction adherence at different levels. For efficiency, we design a lightweight steering adapter that uses a classifier over the LLM's hidden states to compute a closed-form steering edit. The classifier adaptively sets the steering magnitude at each token based on the target adherence level, while accounting for the geometry of the LLM's hidden states to preserve response coherence. For scalability, the classifier is text-conditioned, allowing a shared adapter to support new instructions without per-instruction fitting, and training requires only instruction and request text. Evaluation across multiple LLM families shows that DIAL achieves a competitive balance between concept expression and response fluency, with concept scores increasing monotonically across adherence levels. We introduce SteerIF, an instruction-only dataset of 98, 625 concept, persona, verifiable, and descriptive instructions. When trained on SteerIF, DIAL provides fine-grained control over personas and, when combined with prompting, improves verifiable instruction following.
• Abstract（参考訳）: ユーザが“Keep it short”と言うと、LLMのレスポンスはどれくらい短くなるのでしょうか? より一般的には、ユーザとアプリケーションは異なるレベルの命令順守を必要とするが、プロンプトはそれらに対するきめ細かい制御を確実に提供しない。 そこで本研究では,テキストで指定された一般的な命令に従う程度を詳細に数値的に制御する「ステアブル言語モデル」について検討する。 しかし、既存のアプローチは様々な命令に対してきめ細かい制御、効率、スケーラビリティを共同で提供するわけではない。 このギャップに対処するために、DIAL(Distilled Instruction-Adherence Levels)を導入し、3つの特性をすべて達成する。 微粒化制御のために, 凍結LDMを用いた分類器フリーガイダンス (CFG) を行い, 異なるレベルの命令付着度をオンライン蒸留する訓練信号を提供する。 効率向上のために,LLMの隠蔽状態上の分類器を用いてクローズドフォームのステアリング編集を行う軽量ステアリングアダプタを設計する。 分類器は、LLMの隠れ状態の幾何学を考慮し、応答コヒーレンスを保ちながら、目標付着度に基づいて各トークンのステアリングサイズを適応的に設定する。 拡張性のために、分類器はテキスト条件付きであり、共有アダプタは命令ごとのフィッティングなしに新しい命令をサポートすることができ、トレーニングは命令と要求テキストのみを必要とする。 複数のLLMファミリーに対する評価は、DIALが概念表現と反応流速の競合バランスを達成し、概念スコアは付着レベル全体で単調に増加することを示している。 我々は,98,625概念,ペルソナ,検証可能,記述的命令の命令専用データセットであるSteerIFを紹介する。 SteerIFでトレーニングを行うと、DIALはペルソナのきめ細かい制御を提供し、プロンプトと組み合わせることで、検証可能なインストラクションの改善を行う。

関連論文リスト

• Facet-Level Persona Control by Trait-Activated Routing with Contrastive SAE for Role-Playing LLMs [6.715533531385597]
  Role-Playing Agents (RPAs) におけるパーソナリティコントロールは、トレーニング不要の手法によって一般的に達成される。 本稿では,Big Five 30-facetモデルに適合する顔レベルの人格制御ベクトルを学習するSparse AutoEncoderフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-22T12:39:02Z)
• From Instructions to Constraints: Language Model Alignment with Automatic Constraint Verification [70.08146540745877]
  NLPタスクの共通制約を調査し、それらの引数の型に基づいて、それらを3つのクラスに分類する。 本稿では,ACT(ConsTraintsのアラインメント)という統合フレームワークを提案し,制約に適応したユーザアライメントのための監視信号を自動的に生成する。
  論文  参考訳（メタデータ） (2024-03-10T22:14:54Z)
• Contrastive Instruction Tuning [61.97704869248903]
  意味論的に等価な命令-インスタンスペア間の類似性を最大化するために、コントラスト命令チューニングを提案する。 PromptBenchベンチマークの実験によると、CoINはLLMの頑健さを一貫して改善し、文字、単語、文、意味のレベルを平均して2.5%の精度で変化させる。
  論文  参考訳（メタデータ） (2024-02-17T00:09:32Z)
• Evaluating the Instruction-Following Robustness of Large Language Models to Prompt Injection [70.28425745910711]
  LLM(Large Language Models)は、命令追従に非常に熟練した言語である。 この能力は、迅速なインジェクション攻撃のリスクをもたらす。 このような攻撃に対する命令追従LDMの堅牢性を評価する。
  論文  参考訳（メタデータ） (2023-08-17T06:21:50Z)
• Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
  我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。