論文の概要: Beyond Average Safety: Chance-Constrained LLM Fine-tuning

• arxiv url: http://arxiv.org/abs/2609.29960v1
• Date: Thu, 24 Sep 2026 15:17:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:10.045634
• Title: Beyond Average Safety: Chance-Constrained LLM Fine-tuning
• Title（参考訳）: 環境に配慮したLLMファインチューニング
• Abstract要約: 微調整された大きな言語モデルは、有用性、命令従順性、ドメイン固有のパフォーマンスを改善することができる。 既存の安全保存細調整法は、平均的な安全損失を制御するか、重み付けされた補助罰則を使用する。 本稿では、基準モデルに対する劣化が所定の閾値を超えた安全事例のごく一部を制限する、安全保存微調整のための機会拘束型定式化を提案する。
• 参考スコア（独自算出の注目度）: 10.685380941330687
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning large language models on new objectives can improve helpfulness, instruction following, or domain-specific performance, but it can also induce regressions on safety-critical prompts. Existing safety-preserving fine-tuning methods typically control average safety loss or use weighted auxiliary penalties, which can obscure rare but severe failures. We propose a chance-constrained formulation for safety-preserving fine-tuning that limits the fraction of safety examples whose degradation relative to a reference model exceeds a prescribed threshold. Because the resulting empirical chance constraint contains a discontinuous indicator, we introduce a differentiable majorization of the violation rate, yielding a tractable conservative constraint. We then develop a constraint-aware gradient descent method that treats the majorized constraint as a safe set in parameter space and minimally modifies the fine-tuning direction to preserve feasibility. The resulting update admits a closed form and produces a tail-aware safety correction that emphasizes examples near or above the degradation threshold. We conduct an extensive set of experiments on harmful fine-tuning across three different tasks and three models and show that our approach consistently outperforms the baselines that exist in the literature. These results suggest that safety preservation in LLM fine-tuning is better viewed as a reliability-constrained optimization problem than as average-risk regularization.
• Abstract（参考訳）: 新しい目的に対して微調整された大きな言語モデルは、有用性、命令従順性、ドメイン固有のパフォーマンスを改善することができるが、安全クリティカルなプロンプトに対する回帰も引き起こすことができる。 既存の安全保存細調整法は、通常、平均的な安全損失を制御するか、重み付けされた補助的な罰則を使用する。 本稿では、基準モデルに対する劣化が所定の閾値を超えた安全事例のごく一部を制限する、安全保存微調整のための機会拘束型定式化を提案する。 結果として生じる経験的可能性制約は不連続な指標を含むため,違反率のバラエティ化を導入し,トラクタブルな保守的制約をもたらす。 そこで本研究では,パラメータ空間の安全な集合として大規模制約を扱い,微調整方向を最小限に調整して実現可能性を維持する制約対応勾配降下法を開発した。 その結果得られた更新は、クローズドなフォームを認め、劣化しきい値付近またはそれ以上の例を強調するテールアウェアの安全修正を生成する。 我々は3つの異なるタスクと3つのモデルにまたがる有害な微調整に関する広範な実験を行い、我々のアプローチが文学に存在する基礎を一貫して上回っていることを示す。 これらの結果から, LLM微調整における安全性の保全は, 平均リスク正規化よりも信頼性に制約のある最適化問題であると考えられた。

関連論文リスト

• Distribution-Specific Curvature Control with Finite-Sample Guarantees for Open-Weight Safety [22.283880969803846]
  短い微調整で、オープンウェイトモデルの安全ガードを解除することができる。 経験的に、固定構造、有限予算の1次脅威モデルにおいて、HarmAlignは直接微調整と3つのデータまたは客観的アダプティブ攻撃をブロックする。
  論文  参考訳（メタデータ） (2026-07-24T22:00:31Z)
• Selective Safety Steering via Value-Filtered Decoding [54.87935112120107]
  大型言語モデル(LLM)は人間の価値観に合わせるように訓練されているが、その世代は安全上の制約に反する可能性がある。 既存のデコード時のステアリング手法は、しばしば不要に介入し、ベースモデルの下で安全であった世代を変更する。 安全でない応答の安全性を向上しつつ、そのような不要な介入を減らすための新しいテストタイムステアリング手法を提案する。
  論文  参考訳（メタデータ） (2026-05-14T12:13:08Z)
• BarrierSteer: LLM Safety via Learning Barrier Steering [83.12893815611052]
  BarrierSteerは、学習した非線形安全性制約を直接モデルの潜在表現空間に埋め込むことで、安全性を形式化する新しいフレームワークである。 BarrierSteerは、敵の成功率を大幅に低下させ、安全でない世代を減少させ、既存の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2026-02-23T18:19:46Z)
• Safe Reinforcement Learning via Recovery-based Shielding with Gaussian Process Dynamics Models [57.006252510102506]
  強化学習(Reinforcement Learning, RL)は、最適な意思決定と制御のための強力なフレームワークである。 本稿では,未知および非線形連続力学系に対する安全性を低くした安全RLを実現するための新しい回復型遮蔽フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-12T22:03:35Z)
• Rethinking Safety in LLM Fine-tuning: An Optimization Perspective [56.31306558218838]
  我々は、本質的にトレードオフではなく、最適化の貧弱な選択が、しばしば安全上の問題を引き起こすことを示し、敵のプロンプトに対する有害な応答として測定する。 安全性能を保ったパラメータ空間における簡易指数移動平均(EMA)運動量法を提案する。 複数のデータセットにまたがるLlamaファミリーに関する実験は、安全性の問題が特別な介入なしに回避できることを実証している。
  論文  参考訳（メタデータ） (2025-08-17T23:46:36Z)
• Mitigating Fine-tuning Risks in LLMs via Safety-Aware Probing Optimization [7.1060720569792215]
  微調整された大きな言語モデル(LLM)は、必然的に安全性を損なう可能性がある。 安全リスクの軽減を目的とした安全意識探索(SAP)フレームワークを導入する。 実験の結果,SAPは従来の微調整モデルよりも有害性を効果的に低減できることがわかった。
  論文  参考訳（メタデータ） (2025-05-22T14:52:10Z)
• From Uncertain to Safe: Conformal Fine-Tuning of Diffusion Models for Safe PDE Control [16.249515106834355]
  偏微分方程式(PDE)制約制御のための深層学習が注目されている。 我々は,安全制約下での最適制御を実現するために,PDE制御のためのセーフ拡散モデル(SafeDiffCon)を提案する。 我々は,1次元バーガー方程式,2次元非圧縮流体,制御核融合問題という3つの制御課題についてSafeDiffConを評価した。
  論文  参考訳（メタデータ） (2025-02-04T10:42:30Z)
• Tilted Quantile Gradient Updates for Quantile-Constrained Reinforcement Learning [12.721239079824622]
  予測型近似を使わずに高いレベルの安全性を実現する安全な強化学習(RL)パラダイムを提案する。 非対称分布密度を補償するために、量子勾配の傾き更新戦略を実装した。 実験により、提案モデルが安全性要件(量子的制約)を完全に満たし、高いリターンで最先端のベンチマークより優れていることが示された。
  論文  参考訳（メタデータ） (2024-12-17T18:58:00Z)
• Penalized Proximal Policy Optimization for Safe Reinforcement Learning [68.86485583981866]
  本稿では、等価な制約のない問題の単一最小化により、煩雑な制約付きポリシー反復を解決するP3Oを提案する。 P3Oは、コスト制約を排除し、クリップされたサロゲート目的による信頼領域制約を除去するために、単純なyet効果のペナルティ関数を利用する。 P3Oは,一連の制約された機関車作業において,報酬改善と制約満足度の両方に関して,最先端のアルゴリズムより優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-24T06:15:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。