論文の概要: ALIGNBEAM : Inference-Time Alignment Transfer via Cross-Vocabulary Logit Mixing

• arxiv url: http://arxiv.org/abs/2606.12342v1
• Date: Wed, 10 Jun 2026 17:15:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.585217
• Title: ALIGNBEAM : Inference-Time Alignment Transfer via Cross-Vocabulary Logit Mixing
• Title（参考訳）: ALIGNBEAM : クロスボキャブラリロジットミキシングによる推論時間アライメント転送
• Abstract要約: ALIGNBEAMは、アンカーロジットを各復号ステップでターゲットモデルの語彙トークンに変換する。 重みは変更されず、再トレーニングすることなく、配置時に安全ユーティリティのトレードオフを調整することができる。 その結果,モデルの重みに触ることなく,モデルファミリ間で安全アライメントを伝達できることが示唆された。
• 参考スコア（独自算出の注目度）: 3.6704226968275253
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Domain fine-tuning degrades the safety of large language models: fine-tuned specialists readily comply with harmful prompts framed in domain language. Existing inference-time defenses that mix logits from a safe anchor model require both models to share a vocabulary, which rules them out for the cross-family specialists where safety is most degraded. We present ALIGNBEAM, a training-free method that lifts this restriction by translating anchor logits into the target model's vocabulary token-by-token at each decoding step; a small LLM judge then selects the safest among K candidate continuations. No weights are changed, and the safety-utility trade-off can be tuned at deployment without retraining. Across both cross-vocabulary and same-vocabulary evaluation pairs, ALIGNBEAM substantially raises refusal on adversarial benchmarks while keeping task accuracy and inference overhead within practical bounds. The results show that safety alignment can be transferred between model families at inference time, without touching either model's weights.
• Abstract（参考訳）: ドメインファインチューニング(Domain Fine-tuning)は、大きな言語モデルの安全性を低下させる。 安全なアンカーモデルからロジットを混ぜ合わせた既存の推論時防御では、両方のモデルが語彙を共有する必要がある。 本稿では,各復号ステップにおいて,アンカーロジットをターゲットモデルの語彙単位のトークンに翻訳することで,この制限を解除するトレーニングフリー手法であるALIGNBEAMについて述べる。 重みは変更されず、再トレーニングすることなく、配置時に安全ユーティリティのトレードオフを調整することができる。 ALIGNBEAMは、クロスボキャブラリと同語彙評価ペアの双方にわたって、実際の境界内でタスク精度と推論オーバーヘッドを維持しながら、対向ベンチマークの拒絶を著しく高めている。 その結果,モデルの重みに触ることなく,モデルファミリ間で安全アライメントを伝達できることが示唆された。

関連論文リスト

• Beyond Token-Level Guidance: Inference-Time Alignment of Specialized LLMs via Cross-Family Representation Steering [9.4417382684481]
  推論時メソッドは、ドメイン能力を損なうことなく安全性を確実に改善することができない。 我々は,任意の家族の誘導モデルから抽出された安全方向を用いて,ベースモデル隠れ表現を操る推論時アライメント手法であるCRESTを提案する。 CRESTは、ドメイン固有の機能と、すでに整合したモデルの安全性を保ちながら、特殊化が弱まった安全を改善します。
  論文  参考訳（メタデータ） (2026-08-31T06:34:58Z)
• Towards Context-Invariant Safety Alignment for Large Language Models [37.23800025875439]
  我々は,検証可能なプロンプトをアンカーとして扱うアンカー不変性正規化(AIR)を導入し,アンカー性能に対するオープンエンド変種のみを正規化するために,停止段階のターゲットを用いる。 AIRは、流通グループの精度を12.71%向上し、流通の一貫性を33.49%向上させ、敵のフレーミングに対する安全性の制約を堅牢にする。
  論文  参考訳（メタデータ） (2026-05-20T10:33:11Z)
• Self-Distilled Trajectory-Aware Boltzmann Modeling: Bridging the Training-Inference Discrepancy in Diffusion Language Models [65.89572755202245]
  拡散言語モデル(DLM)は、より強力なグローバル認識と高い並列生成を提供する。 標準負のエビデンス下界(NELBO)に基づく教師付き微調整後のDLMは非効率である。 そこで本研究では,学習を推論の容易かつハードな構造に整合させる,自己蒸留軌道に基づくポストトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-12T09:39:06Z)
• Few Tokens, Big Leverage: Preserving Safety Alignment by Constraining Safety Tokens during Fine-tuning [4.839980912290382]
  大規模言語モデル(LLM)は、ダウンストリームタスクでうまく機能するために細調整(FT)を必要とすることが多い。 FTは、トレーニングデータセットが良性データのみを含む場合でも、安全アライメントドリフトを誘導することができる。 本稿では,安全トークンに対するモデルの信頼性を安定化させる,制約付きトークンによる安全アライメントの保存(PACT)という微調整フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-08T03:42:55Z)
• A Granular Study of Safety Pretraining under Model Abliteration [64.24346997570275]
  本稿では,リフレクションに敏感な方向を除去する軽量プロジェクション技術であるモデルアブリーブレーションについて検討する。 我々は、バランスのとれた有害かつ無害なケースで100のプロンプトを発行し、複数の判断を用いて**Refusal*または***Non-Refusal*として応答を分類し、判断の忠実さを検証する。 本研究は,データ中心の安全コンポーネントが失語中も頑健であるチェックポイントレベルの特徴付けを行う。
  論文  参考訳（メタデータ） (2025-10-03T07:01:45Z)
• AdvChain: Adversarial Chain-of-Thought Tuning for Robust Safety Alignment of Large Reasoning Models [62.70575022567081]
  本稿では,逆CoTチューニングによる動的自己補正をモデルに教えるアライメントパラダイムであるAdvChainを提案する。 私たちの仕事は、より堅牢で信頼性の高い推論モデルを構築するための新しい方向性を確立します。
  論文  参考訳（メタデータ） (2025-09-29T04:27:23Z)
• Learning Natural Language Constraints for Safe Reinforcement Learning of Language Agents [13.63944785085617]
  一般化可能なアライメントは、現実世界のNLPアプリケーションにLLM(Large Language Models)を安全にデプロイする上で、重要な課題である。 チューニング前にデータを最初にキュレートするパラダイムシフトに触発されて、安全な言語アライメントのための新しいフレームワークを導入しました。 制約付きマルコフ決定プロセス(CMDP)内のフレームワークを形式化し,テキストベースのナビゲーション環境を通じて検証する。
  論文  参考訳（メタデータ） (2025-04-04T05:26:28Z)
• A Generative Approach to LLM Harmfulness Mitigation with Red Flag Tokens [26.119521867045616]
  モデルの語彙を特別な赤いフラグトークンで拡張することを提案する。 有害なコンテンツが生成または差し迫ったときに、このトークンを挿入するようにモデルをトレーニングします。 このアプローチは,既存の安全技術と補完するものだ。
  論文  参考訳（メタデータ） (2025-02-22T21:48:48Z)
• Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
  我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を付与する,新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。 DeRTaは,(1)安全応答の開始に有害な応答のセグメントを付加することにより,安全でないコンテンツの認識と回避をモデルに訓練する,(2)有害応答シーケンスを通して潜在的障害から安全拒絶へ移行する能力をモデルに装備する強化遷移最適化(RTO)という,2つの新しいコンポーネントを組み込んでいる。
  論文  参考訳（メタデータ） (2024-07-12T09:36:33Z)
• Defending Large Language Models against Jailbreak Attacks via Semantic Smoothing [107.97160023681184]
  適応型大規模言語モデル(LLM)は、ジェイルブレイク攻撃に対して脆弱である。 提案するSEMANTICSMOOTHは,与えられた入力プロンプトのセマンティック変換されたコピーの予測を集約するスムージングベースのディフェンスである。
  論文  参考訳（メタデータ） (2024-02-25T20:36:03Z)
• Emulated Disalignment: Safety Alignment for Large Language Models May Backfire! [65.06450319194454]
  大きな言語モデル(LLM)は、人間との安全な会話を確保するために安全アライメントを行う。 本稿では,安全アライメントの反転が可能なトレーニングフリーアタック手法を提案する。 本手法をエミュレートした脱アライメント (ED) と呼ぶのは, このコントラスト分布からのサンプリングは, 安全報酬を最小限に抑えるため, 微調整の結果を確実にエミュレートするからである。
  論文  参考訳（メタデータ） (2024-02-19T18:16:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。