論文の概要: Deliberative Alignment: Reasoning Enables Safer Language Models

• arxiv url: http://arxiv.org/abs/2412.16339v2
• Date: Wed, 08 Jan 2025 20:11:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-10 15:31:17.003077
• Title: Deliberative Alignment: Reasoning Enables Safer Language Models
• Title（参考訳）: デリバティブなアライメント: 推論により、より安全な言語モデルを可能にする
• Authors: Melody Y. Guan, Manas Joglekar, Eric Wallace, Saachi Jain, Boaz Barak, Alec Helyar, Rachel Dias, Andrea Vallone, Hongyu Ren, Jason Wei, Hyung Won Chung, Sam Toyer, Johannes Heidecke, Alex Beutel, Amelia Glaese,
• Abstract要約: モデルセーフティ仕様を教える新しいパラダイムであるDeliberative Alignmentを紹介します。 このアプローチを使ってOpenAIのoシリーズモデルを整列させ、人書きのチェーンや回答を必要とせず、OpenAIの安全ポリシーに極めて正確な順守を実現しました。
• 参考スコア（独自算出の注目度）: 64.60765108418062
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large-scale language models increasingly impact safety-critical domains, ensuring their reliable adherence to well-defined principles remains a fundamental challenge. We introduce Deliberative Alignment, a new paradigm that directly teaches the model safety specifications and trains it to explicitly recall and accurately reason over the specifications before answering. We used this approach to align OpenAI's o-series models, and achieved highly precise adherence to OpenAI's safety policies, without requiring human-written chain-of-thoughts or answers. Deliberative Alignment pushes the Pareto frontier by simultaneously increasing robustness to jailbreaks while decreasing overrefusal rates, and also improves out-of-distribution generalization. We demonstrate that reasoning over explicitly specified policies enables more scalable, trustworthy, and interpretable alignment.
• Abstract（参考訳）: 大規模言語モデルが安全クリティカルな領域にますます影響を及ぼす中、明確に定義された原則への信頼性の高い準拠を保証することは、依然として根本的な課題である。 モデルセーフティ仕様を直接教える新しいパラダイムであるDeliberative Alignmentを紹介します。 このアプローチを使ってOpenAIのoシリーズモデルを整列させ、人書きのチェーンや回答を必要とせず、OpenAIの安全ポリシーに極めて正確な順守を実現しました。 デリバティブ・アライメント(Deliberative Alignment)はパレト・フロンティアを強固にし、脱獄率を下げながら脱獄を同時に増加させ、流通の一般化を改善する。 明示されたポリシーに対する推論は、よりスケーラブルで信頼性があり、解釈可能なアライメントを可能にします。

関連論文リスト

• SaRO: Enhancing LLM Safety through Reasoning-based Alignment [20.754670444745067]
  大規模言語モデル(LLM)の現在の安全アライメント技術は、2つの大きな課題に直面している。 過度な調整は、良心的な指示の過剰な拒絶につながる。 本稿では,安全志向型推論をアライメントプロセスに組み込むための安全指向推論最適化フレームワーク(SaRO)を提案する。
  論文  参考訳（メタデータ） (2025-04-13T03:36:06Z)
• Learning Natural Language Constraints for Safe Reinforcement Learning of Language Agents [13.63944785085617]
  一般化可能なアライメントは、現実世界のNLPアプリケーションにLLM(Large Language Models)を安全にデプロイする上で、重要な課題である。 チューニング前にデータを最初にキュレートするパラダイムシフトに触発されて、安全な言語アライメントのための新しいフレームワークを導入しました。 制約付きマルコフ決定プロセス(CMDP)内のフレームワークを形式化し,テキストベースのナビゲーション環境を通じて検証する。
  論文  参考訳（メタデータ） (2025-04-04T05:26:28Z)
• Representation-based Reward Modeling for Efficient Safety Alignment of Large Language Model [84.00480999255628]
  大規模言語モデル(LLM)の安全性アライメントのための強化学習アルゴリズムは,分散シフトの課題に直面している。 現在のアプローチでは、ターゲットポリシーからのオンラインサンプリングを通じてこの問題に対処するのが一般的である。 モデル固有の安全判断能力を活用して報酬信号を抽出する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-13T06:40:34Z)
• Safety is Not Only About Refusal: Reasoning-Enhanced Fine-tuning for Interpretable LLM Safety [31.933503076797148]
  大きな言語モデル(LLM)は、従来の安全アライメントの弱点を利用するジェイルブレイク攻撃に対して脆弱である。 解釈可能なLLM安全性のための推論強化ファインタニング(Rational)を提案する。 合理的列車は、応答前に明確な安全な推論を行うようにモデル化する。
  論文  参考訳（メタデータ） (2025-03-06T22:47:45Z)
• Safety Alignment Depth in Large Language Models: A Markov Chain Perspective [23.347349690954452]
  大規模言語モデル(LLM)は、ハイステークなシナリオでますます採用されているが、その安全性メカニズムは脆弱であることが多い。 本論文は,安全アライメントのための理想的な深度を同定する方法について,最初の理論的結果を提供する。 より広いアンサンブルがより浅いアライメントを補うことができることを示すために,アライメント深さとアンサンブル幅の基本的な相互作用を明らかにする。
  論文  参考訳（メタデータ） (2025-02-02T04:43:35Z)
• Smoothed Embeddings for Robust Language Models [11.97873981355746]
  大規模言語モデル(LLM)は、アライメントを抑え、有害な出力を誘導するジェイルブレイク攻撃に対して脆弱である。 本稿では,埋め込みベクトルにランダムノイズを付加し,各出力トークンの生成時にアグリゲーションを行うRESTAディフェンスを提案する。 本実験は,本手法がベースラインディフェンスと比較して,実用上のトレードオフよりも優れたロバスト性を実現することを示す。
  論文  参考訳（メタデータ） (2025-01-27T20:57:26Z)
• Turning Logic Against Itself : Probing Model Defenses Through Contrastive Questions [51.51850981481236]
  非倫理的反応を引き起こすために、対照的な推論を利用する新しいジェイルブレイク手法であるPOATEを導入する。 PoATEは意味論的に意図に反し、敵のテンプレートと統合し、有害なアウトプットを驚くほど微妙に操る。 これに対応するために、悪意のある意図と理性を検出するためにクエリを分解して、有害な応答を評価し、拒否するIntent-Aware CoTとReverse Thinking CoTを提案する。
  論文  参考訳（メタデータ） (2025-01-03T15:40:03Z)
• OpenAI o1 System Card [274.83891368890977]
  o1モデルシリーズは、思考の連鎖を用いて推論するために大規模な強化学習で訓練されている。 本報告では,OpenAI o1およびOpenAI o1-miniモデルに対して実施される安全作業の概要について述べる。
  論文  参考訳（メタデータ） (2024-12-21T18:04:31Z)
• ABC Align: Large Language Model Alignment for Safety & Accuracy [0.0]
  大規模言語モデル(LLM)のための新しいアライメント手法ABC Alignを提案する。 合成データ生成、選好最適化、ポストトレーニングモデル量子化における最近のブレークスルーの上に構築された一連のデータとメソッドを組み合わせる。 我々の統一的なアプローチは、標準ベンチマークに対して測定されたように、バイアスを軽減し、推論能力を保ちながら精度を向上させる。
  論文  参考訳（メタデータ） (2024-08-01T06:06:25Z)
• One-Shot Safety Alignment for Large Language Models via Optimal Dualization [64.52223677468861]
  本稿では,制約付きアライメントを等価な非制約アライメント問題に還元する双対化の観点を提案する。 我々は、閉形式を持つ滑らかで凸な双対函数を事前に最適化する。 我々の戦略は、モデルベースと嗜好ベースの設定における2つの実用的なアルゴリズムに導かれる。
  論文  参考訳（メタデータ） (2024-05-29T22:12:52Z)
• SoFA: Shielded On-the-fly Alignment via Priority Rule Following [90.32819418613407]
  本稿では,各ダイアログにおけるルールを主制御機構として定義する,新たなアライメントパラダイムである優先ルールを提案する。 そこで本研究では,厳密な規則統合と固着性を確保するために,シミュレーションから優先信号に従う半自動蒸留手法であるプライオリティディスティルを提案する。
  論文  参考訳（メタデータ） (2024-02-27T09:52:27Z)
• On Prompt-Driven Safeguarding for Large Language Models [172.13943777203377]
  表現空間では、入力クエリは通常、安全プロンプトによって「より高い拒絶」方向に移動される。 これらの知見に触発されて,安全性向上,すなわちDROの最適化手法を提案する。 安全性プロンプトを継続的かつトレーニング可能な埋め込みとして扱うことで、DROは、その有害性に応じて、クエリの表現を拒否方向に沿ってあるいは反対に移動させることを学ぶ。
  論文  参考訳（メタデータ） (2024-01-31T17:28:24Z)
• On Regularization and Inference with Label Constraints [62.60903248392479]
  機械学習パイプラインにおけるラベル制約を符号化するための2つの戦略、制約付き正規化、制約付き推論を比較した。 正規化については、制約に不整合なモデルを前置することで一般化ギャップを狭めることを示す。 制約付き推論では、モデルの違反を訂正することで人口リスクを低減し、それによってその違反を有利にすることを示す。
  論文  参考訳（メタデータ） (2023-07-08T03:39:22Z)
• Fundamental Limitations of Alignment in Large Language Models [16.393916864600193]
  人間と対話する言語モデルを開発する上で重要な側面は、その行動が有用で有害であるように整列することである。 これは通常、望ましい振る舞いを高め、望ましくない振る舞いを抑制する方法でモデルをチューニングすることで達成される。 本研究では,行動予測境界 (BEB) と呼ばれる理論的手法を提案する。
  論文  参考訳（メタデータ） (2023-04-19T17:50:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。