論文の概要: Constitutional adapters: Inference-time interventions for misalignment and misuse

• arxiv url: http://arxiv.org/abs/2609.36657v1
• Date: Tue, 29 Sep 2026 03:59:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.169266
• Title: Constitutional adapters: Inference-time interventions for misalignment and misuse
• Title（参考訳）: コンスティチューションアダプタ:誤調整と誤用に対する推論時間の介入
• Abstract要約: 本研究では, 合成コーパスから軽量物体へ, 構成整合性挙動を蒸留可能であることを示す。 私たちはこれらを"constitutional adapters" (CA) と呼んでいる。 これらの結果は、APIデプロイメントにおけるミスアライメントと誤用を軽減するために、軽量でポータブルでチューニング可能なレバーとしてCAを推奨している。
• 参考スコア（独自算出の注目度）: 0.00304396936267654
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training models to act in accordance with an explicitly defined set of principles, or "constitution," has shown promise as a robust and transparent mechanism for AI alignment. However, the generality and flexibility of such methods remain unclear. Here, we show that constitution-consistent behavior can be distilled from synthetic corpora into lightweight objects (low-rank adapters and steering vectors). Despite never seeing a harmful request or jailbreak during training, such objects increase jailbreak defense success and measured alignment -- particularly at long context lengths and against multi-turn attacks, where they outperform both prompted and steered baselines. Subtracting control-trained from constitution-trained objects further accentuates these effects, yielding defenses we call "constitutional adapters" (CAs). CAs can be trained on a base model, transferred zero-shot to its post-trained checkpoint, and scaled at inference time to predictably trade off defense for benign compliance. Taken together, these results recommend CAs as a lightweight, portable, and tunable lever for mitigating misalignment and misuse in API deployments.
• Abstract（参考訳）: 明確に定義された原則のセット、すなわち“構成”に従って行動するためのトレーニングモデルは、AIアライメントのための堅牢で透明なメカニズムとして、約束を示している。 しかし、そのような手法の一般性と柔軟性はいまだに不明である。 本稿では, 合成コーパスから軽量物体(低ランクアダプタ, ステアリングベクトル)へ構成整合挙動を蒸留可能であることを示す。 トレーニング中に有害な要求や脱獄を見たことはないが、これらのオブジェクトはジェイルブレイク防衛の成功とアライメントの測定を増加させる。 コンスティチューショントレーニング対象から訓練された制御の抽出は、これらの効果をさらにアクセントし、"constitutional adapters" (CA) と呼ばれる防衛効果をもたらす。 CAはベースモデルでトレーニングし、訓練後のチェックポイントにゼロショットを転送し、推論時にスケールして、良心的なコンプライアンスのために防御を確実にトレードオフすることができる。 まとめると、これらの結果は、APIデプロイメントにおけるミスアライメントと誤用を軽減するために、CAを軽量でポータブルでチューニング可能なレバーとして推奨する。

関連論文リスト

• From Constitutions to Control: Interpretable Rewards for Aligning Language Models [5.982687595237653]
  言語モデルの整合化に対する現在のアプローチは、どのような振る舞いが報われているのか、あるいは目標とする方法でその報酬を変更するのが難しくなっています。 汎用構成を解釈可能かつ調整可能な報酬モデルに変換するためのルーブリックベースのフレームワークを開発する。 また,学習報酬に対する影響を低減し,選好判断におけるバイアスを緩和できることを示した。
  論文  参考訳（メタデータ） (2026-09-27T01:44:01Z)
• Constitutional Midtraining: Content Presence Drives Alignment Gains [12.852698038753369]
  訓練後のアライメントはしばしば浅く、微調整の下で侵食される。 我々は、Arthropic's Constitutionから3億4400万のコンスティチューションコーパスを構築した。 我々は120Bスケールのコンスティチューション・ミッドトレーニングを適用し、そこでは原則的に値に基づくコンテンツがミッドトレーニングに挿入される。
  論文  参考訳（メタデータ） (2026-07-29T09:15:40Z)
• Mitigating Adaptive Attacks against Reasoning Models with Activation Consistency Training [7.873125096854494]
  我々は、クリーンなプロンプトと敵の書き直しに同一の振る舞いを強制する微調整目的のファミリーである一貫性トレーニングについて研究する。 我々はこれらの手法を即時噴射防御として定式化し、ACTが他の訓練ベースの防御と競合することを発見した。 また,ACTの脱獄に対する防御は,補助ターン境界における活性化空間の概ね線形シフトとして符号化されていることを示す。
  論文  参考訳（メタデータ） (2026-05-27T13:33:26Z)
• TwinGate: Stateful Defense against Decompositional Jailbreaks in Untraceable Traffic via Asymmetric Contrastive Learning [60.68349524623048]
  分解されたジェイルブレイクは、大きな言語モデルにとって重大な脅威となる。 我々はステートフルなデュアルエンコーダ防御フレームワークであるTwinGateを紹介する。 我々は、8600の異なる悪意のある意図にまたがる360万以上の命令の包括的なデータセットを構築した。
  論文  参考訳（メタデータ） (2026-04-30T13:44:01Z)
• Compiling Activation Steering into Weights via Null-Space Constraints for Stealthy Backdoors [48.881343993730844]
  安全性に整合した大規模言語モデル(LLM)は、現実世界のパイプラインにますますデプロイされている。 敵は通常の評価では動作しないバックドアのチェックポイントを配布することができる。 最近のポストホック重み付け法は、そのようなバックドアを注入するための効率的なアプローチを提供する。
  論文  参考訳（メタデータ） (2026-04-14T06:48:33Z)
• Steerable Adversarial Scenario Generation through Test-Time Preference Alignment [58.37104890690234]
  対立シナリオ生成は、自律運転システムの安全性評価のためのコスト効率の良いアプローチである。 textbfSteerable textbfAdversarial scenario textbfGEnerator (SAGE) という新しいフレームワークを導入する。 SAGEは、逆境とリアリズムの間のトレードオフを、再トレーニングなしできめ細かいテストタイムコントロールを可能にします。
  論文  参考訳（メタデータ） (2025-09-24T13:27:35Z)
• Improving LLM Safety Alignment with Dual-Objective Optimization [81.98466438000086]
  大規模言語モデル(LLM)の既存のトレーニング時間安全アライメント技術は、ジェイルブレイク攻撃に対して脆弱なままである。 本研究では,DPOの目的を2つの構成要素にまとめる安全アライメントの改善について提案する。(1) 安全でない世代が部分的に発生しても拒否を促す頑健な拒絶訓練,(2) 有害な知識の未学習。
  論文  参考訳（メタデータ） (2025-03-05T18:01:05Z)
• Latent-space adversarial training with post-aware calibration for defending large language models against jailbreak attacks [23.793583584784685]
  大規模言語モデル(LLM)は、システム脆弱性を利用して安全対策を回避し、有害または不適切な出力を誘発するジェイルブレイク攻撃の影響を受ける。 LATPC(Latent-space Adrial Training with Post-aware framework)を紹介する。 LATPCは有害な入力と良性入力を対比することにより安全性に重要な潜伏次元を同定し、ターゲットの拒絶特徴除去攻撃を適応的に構築する。
  論文  参考訳（メタデータ） (2025-01-18T02:57:12Z)
• Fundamental Limitations of Alignment in Large Language Models [16.393916864600193]
  人間と対話する言語モデルを開発する上で重要な側面は、その行動が有用で有害であるように整列することである。 これは通常、望ましい振る舞いを高め、望ましくない振る舞いを抑制する方法でモデルをチューニングすることで達成される。 本研究では,行動予測境界 (BEB) と呼ばれる理論的手法を提案する。
  論文  参考訳（メタデータ） (2023-04-19T17:50:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。