論文の概要: Almost Surely Safe Alignment of Large Language Models at Inference-Time

• arxiv url: http://arxiv.org/abs/2502.01208v1
• Date: Mon, 03 Feb 2025 09:59:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:03:43.189933
• Title: Almost Surely Safe Alignment of Large Language Models at Inference-Time
• Title（参考訳）: 推論時間における大言語モデルのほぼ確実に安全なアライメント
• Authors: Xiaotong Ji, Shyam Sundhar Ramesh, Matthieu Zimmer, Ilija Bogunovic, Jun Wang, Haitham Bou Ammar,
• Abstract要約: 高い能力を持つ大規模言語モデル(LLM)でさえ、バイアスや安全でない応答を発生させることができる。 本稿では,新しい推論時間アライメント手法を提案する。 我々は、マルコフ決定プロセスとして安全な推論時間応答をフレーミングすることでこれを達成している。
• 参考スコア（独自算出の注目度）: 20.5164976103514
• License:
• Abstract: Even highly capable large language models (LLMs) can produce biased or unsafe responses, and alignment techniques, such as RLHF, aimed at mitigating this issue, are expensive and prone to overfitting as they retrain the LLM. This paper introduces a novel inference-time alignment approach that ensures LLMs generate safe responses almost surely, i.e., with a probability approaching one. We achieve this by framing the safe generation of inference-time responses as a constrained Markov decision process within the LLM's latent space. Crucially, we augment a safety state that tracks the evolution of safety constraints and enables us to demonstrate formal safety guarantees upon solving the MDP in the latent space. Building on this foundation, we propose InferenceGuard, a practical implementation that safely aligns LLMs without modifying the model weights. Empirically, we demonstrate InferenceGuard effectively balances safety and task performance, outperforming existing inference-time alignment methods in generating safe and aligned responses.
• Abstract（参考訳）: 高い能力を持つ大言語モデル(LLM)でさえバイアスや安全でない応答を発生させることができ、この問題の緩和を目的としたRLHFのようなアライメント技術は高価であり、LLMを再訓練するときに過度に適合する傾向にある。 本稿では, LLM がほぼ確実に安全な応答を生成できる新しい推論時アライメント手法を提案する。 LLMの潜在空間内でのマルコフ決定過程として、安全な推論時間応答をフレーミングすることで、これを実現できる。 重要なこととして、我々は安全制約の進化を追跡する安全状態を強化し、潜伏空間におけるMDPの解決に際し、正式な安全保証を証明できるようにします。 この基盤の上に構築されたInferenceGuardは、モデル重みを変更せずにLLMを安全に整列する実用的な実装である。 InferenceGuardは安全性とタスクパフォーマンスを効果的にバランスさせ、安全かつ整合性のある応答を生成するために既存の推論時間アライメント手法より優れていることを実証する。

関連論文リスト

• Superficial Safety Alignment Hypothesis [8.297367440457508]
  本稿では,安全アライメントが安全でないモデルに正しい推論方向を選択するよう教えるべきであるとする,表向きの安全アライメント仮説(SSAH)を提案する。 安全に整合した大言語モデル(LLM)における属性クリティカルな4つのコンポーネントを同定する。 本研究は,特定の安全クリティカル成分の凍結を微調整中に行うことにより,新しい作業に適応しつつ,その安全性特性を維持できることを示した。
  論文  参考訳（メタデータ） (2024-10-07T19:53:35Z)
• Jailbreak Antidote: Runtime Safety-Utility Balance via Sparse Representation Adjustment in Large Language Models [8.024771725860127]
  ジェイルブレイク攻撃は、大きな言語モデルを操作して有害なコンテンツを生成する。 Jailbreak Antidoteは、モデルの内部状態のスパースサブセットを操作することで、安全優先のリアルタイム調整を可能にする。 解析の結果,LLMの安全性関連情報はわずかに分散していることがわかった。
  論文  参考訳（メタデータ） (2024-10-03T08:34:17Z)
• SCANS: Mitigating the Exaggerated Safety for LLMs via Safety-Conscious Activation Steering [56.92068213969036]
  悪意のある命令から脅威を守るために、LLM(Large Language Models)には安全アライメントが不可欠である。 近年の研究では、過大な安全性の問題により、安全性に配慮したLCMは、良質な問い合わせを拒否する傾向にあることが明らかになっている。 過大な安全性の懸念を和らげるために,SCANS法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T10:01:34Z)
• Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
  本研究では,Large Language Models (LLMs) の安全性チューニングにおける重要なギャップについて考察する。 我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を与える新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。 DeRTaは、(1)安全応答の開始に有害な応答のセグメントを付加することにより、安全でないコンテンツを認識・回避するようモデルに訓練する、(1)有害応答前フィックスによる最大限の類似度推定、(2)有害応答の開始を通して潜在的害から安全拒絶へ継続的に移行する能力を持つ強化遷移最適化(RTO)という2つの新しいコンポーネントを組み込んでいる。
  論文  参考訳（メタデータ） (2024-07-12T09:36:33Z)
• SLM as Guardian: Pioneering AI Safety with Small Language Models [6.799423428734095]
  より大型のモデルにセーフガード機能を組み込むことで、トレーニングコストの上昇と意図しない有用性の低下が問題となった。 本稿では、有害なクエリ検出とセーフガード応答生成の両方に、より小さなLSMを利用する。 提案手法の有効性を実証し,LLMと比較して,有害なクエリ検出およびセーフガード応答性能を同等又は超過する手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T08:03:15Z)
• Towards Comprehensive Post Safety Alignment of Large Language Models via Safety Patching [74.62818936088065]
  textscSafePatchingは包括的なPSAのための新しいフレームワークである。 textscSafePatchingはベースラインメソッドよりも包括的なPSAを実現する。 textscSafePatchingは、連続的なPSAシナリオにおいて、その優位性を示している。
  論文  参考訳（メタデータ） (2024-05-22T16:51:07Z)
• SALAD-Bench: A Hierarchical and Comprehensive Safety Benchmark for Large Language Models [107.82336341926134]
  SALAD-Benchは、大規模言語モデル(LLM)を評価するために特別に設計された安全ベンチマークである。 それは、その大規模な、豊富な多様性、三つのレベルにまたがる複雑な分類、多目的機能を通じて、従来のベンチマークを超越している。
  論文  参考訳（メタデータ） (2024-02-07T17:33:54Z)
• The Art of Defending: A Systematic Evaluation and Analysis of LLM Defense Strategies on Safety and Over-Defensiveness [56.174255970895466]
  大規模言語モデル(LLM)は、自然言語処理アプリケーションにおいて、ますます重要な役割を担っている。 本稿では,SODE(Safety and Over-Defensiveness Evaluation)ベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-12-30T17:37:06Z)
• Lyapunov-based uncertainty-aware safe reinforcement learning [0.0]
  InReinforcement Learning (RL)は、様々なシーケンシャルな意思決定タスクに対して最適なポリシーを学ぶ上で、有望なパフォーマンスを示している。 多くの現実世界のRL問題において、主な目的を最適化する以外に、エージェントは一定のレベルの安全性を満たすことが期待されている。 これらの制約に対処するために,リャプノフに基づく不確実性を考慮した安全なRLモデルを提案する。
  論文  参考訳（メタデータ） (2021-07-29T13:08:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。