論文の概要: Beyond Token-Level Guidance: Inference-Time Alignment of Specialized LLMs via Cross-Family Representation Steering

• arxiv url: http://arxiv.org/abs/2608.30319v1
• Date: Mon, 31 Aug 2026 06:34:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.258536
• Title: Beyond Token-Level Guidance: Inference-Time Alignment of Specialized LLMs via Cross-Family Representation Steering
• Title（参考訳）: Token-Level Guidanceを超えて:クロスファミリ表現ステアリングによる特殊化LDMの推測時間アライメント
• Abstract要約: 推論時メソッドは、ドメイン能力を損なうことなく安全性を確実に改善することができない。 我々は,任意の家族の誘導モデルから抽出された安全方向を用いて,ベースモデル隠れ表現を操る推論時アライメント手法であるCRESTを提案する。 CRESTは、ドメイン固有の機能と、すでに整合したモデルの安全性を保ちながら、特殊化が弱まった安全を改善します。
• 参考スコア（独自算出の注目度）: 9.4417382684481
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) finetuned for specialized domains represent crucial high-impact applications. Inference-time alignment improves safety degraded from specialization finetuning without requiring substantial computational resources, complementing finetuning-based methods with an easy-to-use, plug-and-play solution. However, existing inference-time methods fail to reliably improve safety without disrupting domain capability. We identify the root cause as complementary expertise orthogonality: specialized base models and general-domain guidance models have orthogonal competencies, making the guidance signal unreliable for specialized generation. This primarily manifests as stop token interference, where the guidance model's tendency toward continuation overrides the base model's decision to stop, burying correct answers under guidance-induced continuation. To address this problem, we propose CREST, an inference-time alignment method that steers base model hidden representations using safety directions extracted from a guidance model of any family, avoiding token-level structural limitations entirely. CREST improves safety where specialization has weakened it while preserving both domain-specific capability and the safety of already well-aligned models, outperforming baselines by up to 22.2\% on safety benchmarks. Our code is available at: https://github.com/DecayingSeart/CREST.
• Abstract（参考訳）: 大きな言語モデル (LLM) は、特殊なドメイン向けに微調整され、重要なハイインパクトなアプリケーションである。 推論時間アライメントは、重要な計算資源を必要とせず、特別な微調整から生じる安全性を向上し、簡単に使えるプラグアンドプレイソリューションで微調整ベースの手法を補完する。 しかし、既存の推論時メソッドは、ドメイン能力を損なうことなく安全性を確実に改善することができない。 我々は、根本原因を相補的な専門的専門性として認識する: 特殊ベースモデルと一般ドメインガイダンスモデルが直交能力を有しており、特定世代にとって誘導信号の信頼性が低い。 これは主にストップトークン干渉として現れ、そこではガイダンスモデルが継続する傾向がベースモデルの停止決定を覆い、ガイダンスによる継続の下で正しい回答を埋める。 この問題に対処するため,任意の家族の誘導モデルから抽出された安全方向をベースモデルに隠蔽表現を操り,トークンレベルの構造的制約を完全に回避する推論時アライメント手法であるCRESTを提案する。 CRESTは、ドメイン固有の機能と、すでに整合したモデルの安全性を保ちながら、特殊化が弱まった安全を改善し、安全ベンチマークで最大22.2\%のベースラインを上回ります。 私たちのコードは、https://github.com/DecayingSeart/CRESTで利用可能です。

関連論文リスト

• Selective Safety Steering via Value-Filtered Decoding [54.87935112120107]
  大型言語モデル(LLM)は人間の価値観に合わせるように訓練されているが、その世代は安全上の制約に反する可能性がある。 既存のデコード時のステアリング手法は、しばしば不要に介入し、ベースモデルの下で安全であった世代を変更する。 安全でない応答の安全性を向上しつつ、そのような不要な介入を減らすための新しいテストタイムステアリング手法を提案する。
  論文  参考訳（メタデータ） (2026-05-14T12:13:08Z)
• Internalizing Safety Understanding in Large Reasoning Models via Verification [33.2377930782685]
  本稿では,安全確認タスクにのみ焦点をあてた LRM のトレーニングにより,安全性仕様を内部化するフレームワークを提案する。 検証の学習は、応答安全性の強力な一般化を誘導し、ドメイン外ジェイルブレイクに対する堅牢性を著しく向上させることを示した。
  論文  参考訳（メタデータ） (2026-05-09T13:05:00Z)
• RefusalGuard: Geometry-Preserving Fine-Tuning for Safety in LLMs [5.100622189286672]
  下流タスクのための微調整型セーフティアライメント言語モデルは、拒否動作を著しく低下させる可能性がある。 本稿では,モデル適応時の安全関連構造を保存する表現レベルの微調整フレームワークREFUSALGUARDを紹介する。
  論文  参考訳（メタデータ） (2026-05-03T14:48:18Z)
• Steering Externalities: Benign Activation Steering Unintentionally Increases Jailbreak Risk for Large Language Models [62.16655896700062]
  活性化ステアリングは大規模言語モデル(LLM)の有用性を高める技術である 重要かつ過度に調査された安全リスクを無意識に導入することを示します。 実験によると、これらの介入は強制乗算器として機能し、ジェイルブレイクに新たな脆弱性を発生させ、標準ベンチマークで攻撃成功率を80%以上向上させる。
  論文  参考訳（メタデータ） (2026-02-03T12:32:35Z)
• Provably Safe Model Updates [6.7544474785403885]
  確実に安全なモデル更新のためのフレームワークを導入します。 パラメータ化された抽象領域(orthotopes, zonotopes)に問題を緩和すると、抽出可能な原始双対の定式化が得られることを示す。 これにより、安全なドメインにプロジェクションすることで、更新(使用するデータやアルゴリズムに依存しない)の効率的な認証が可能になる。
  論文  参考訳（メタデータ） (2025-12-01T17:19:53Z)
• ERIS: An Energy-Guided Feature Disentanglement Framework for Out-of-Distribution Time Series Classification [51.07970070817353]
  理想的な時系列分類(TSC)は不変表現をキャプチャできるべきである。 現在の手法は、真に普遍的な特徴を分離するために必要な意味的な方向性を欠いている。 本稿では,シフト・ロバストネス・フレームワークのためのエンドツーエンドのエネルギー規則化情報を提案する。
  論文  参考訳（メタデータ） (2025-08-19T12:13:41Z)
• Rethinking Safety in LLM Fine-tuning: An Optimization Perspective [56.31306558218838]
  我々は、本質的にトレードオフではなく、最適化の貧弱な選択が、しばしば安全上の問題を引き起こすことを示し、敵のプロンプトに対する有害な応答として測定する。 安全性能を保ったパラメータ空間における簡易指数移動平均(EMA)運動量法を提案する。 複数のデータセットにまたがるLlamaファミリーに関する実験は、安全性の問題が特別な介入なしに回避できることを実証している。
  論文  参考訳（メタデータ） (2025-08-17T23:46:36Z)
• LookAhead Tuning: Safer Language Models via Partial Answer Previews [62.529794567687354]
  ファインチューニングにより、大きな言語モデルは特定のドメインに適応できるが、しばしば以前に確立された安全アライメントを損なう。 LookAhead Tuningは、微調整時の安全性を維持する軽量で効果的なデータ駆動型アプローチである。
  論文  参考訳（メタデータ） (2025-03-24T18:11:42Z)
• InferAligner: Inference-Time Alignment for Harmlessness through Cross-Model Guidance [56.184255657175335]
  我々は,無害アライメントのためのクロスモデルガイダンスを利用する新しい推論時間アライメント手法であるtextbfInferAligner を開発した。 実験結果から,本手法はファイナンス,医学,数学の分野特化モデルに極めて効果的に適用可能であることが示された。 これは有害な命令とジェイルブレイク攻撃の両方のアタック成功率(ASR)を著しく低下させ、下流タスクではほとんど変化のないパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2024-01-20T10:41:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。