論文の概要: Challenges in Ensuring AI Safety in DeepSeek-R1 Models: The Shortcomings of Reinforcement Learning Strategies

• arxiv url: http://arxiv.org/abs/2501.17030v1
• Date: Tue, 28 Jan 2025 15:52:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-29 16:43:16.759842
• Title: Challenges in Ensuring AI Safety in DeepSeek-R1 Models: The Shortcomings of Reinforcement Learning Strategies
• Title（参考訳）: DeepSeek-R1モデルにおけるAI安全性確保の課題:強化学習戦略の欠点
• Authors: Manojkumar Parmar, Yuvaraj Govindarajulu,
• Abstract要約: 本稿では,DeepSeek-R1における有害なアウトプットを減らすための主要なアプローチとして,強化学習の限界について検討する。 我々はRLとSupervised Fine-Tuningを組み合わせたハイブリッドトレーニング手法を提案し、ロバストな無害化を実現する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Large Language Models (LLMs) have achieved remarkable progress in reasoning, alignment, and task-specific performance. However, ensuring harmlessness in these systems remains a critical challenge, particularly in advanced models like DeepSeek-R1. This paper examines the limitations of Reinforcement Learning (RL) as the primary approach for reducing harmful outputs in DeepSeek-R1 and compares it with Supervised Fine-Tuning (SFT). While RL improves reasoning capabilities, it faces challenges such as reward hacking, generalization failures, language mixing, and high computational costs. We propose hybrid training approaches combining RL and SFT to achieve robust harmlessness reduction. Usage recommendations and future directions for deploying DeepSeek-R1 responsibly are also presented.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、推論、アライメント、タスク固有のパフォーマンスにおいて顕著な進歩を遂げています。 しかし、特にDeepSeek-R1のような先進的なモデルでは、これらのシステムの無害性の確保は依然として重要な課題である。 本稿では,DeepSeek-R1における有害な出力を減らすための主要なアプローチとして,強化学習(Reinforcement Learning, RL)の限界について検討し,それをSupervised Fine-Tuning (SFT)と比較する。 RLは推論能力を改善するが、報酬ハック、一般化失敗、言語混合、高い計算コストといった課題に直面している。 我々はRLとSFTを組み合わせたハイブリッドトレーニング手法を提案し、ロバストな無害化を実現する。 責任を持ってDeepSeek-R1をデプロイするための推奨と今後の方向性も紹介されている。

関連論文リスト

• Demystifying Long Chain-of-Thought Reasoning in LLMs [46.352406501403465]
  ロングチェーン・オブ・シント(CoT)は、バックトラックやエラー修正のような戦略を可能にする。 強化学習(Reinforcement Learning, RL)は、これらの能力を開発する上で重要な方法である。 モデルが長いCoT軌道を生成できる重要な要素を同定する。
  論文  参考訳（メタデータ） (2025-02-05T17:13:32Z)
• DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning [147.16121855209246]
  第一世代の推論モデルであるDeepSeek-R1-ZeroとDeepSeek-R1を紹介します。 DeepSeek-R1-Zeroは大規模な強化学習を通じて訓練されている。 DeepSeek-R1は、RLの前にマルチステージトレーニングとコールドスタートデータを組み込んでいる。
  論文  参考訳（メタデータ） (2025-01-22T15:19:35Z)
• Reinforcement Learning with Intrinsically Motivated Feedback Graph for Lost-sales Inventory Control [12.832009040635462]
  強化学習(Reinforcement Learning, RL)は, インベントリコントロール(IC)領域において, 優れた性能と汎用性があることが証明されている。 オンライン体験は、現実世界のアプリケーションで入手するのに費用がかかる。 オンライン体験は、ICの典型的な失業現象による真の需要を反映していない可能性がある。
  論文  参考訳（メタデータ） (2024-06-26T13:52:47Z)
• Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
  本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。 このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。 本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-07T21:58:40Z)
• Hyperbolic Deep Reinforcement Learning [8.983647543608226]
  双曲空間における潜在表現をモデル化する深層強化学習アルゴリズムを提案する。 Procgen と Atari 100K ベンチマークで一般的なオンライン RL アルゴリズムに適用することで,我々のフレームワークを実証的に検証する。
  論文  参考訳（メタデータ） (2022-10-04T12:03:04Z)
• DR3: Value-Based Deep Reinforcement Learning Requires Explicit Regularization [125.5448293005647]
  教師付き学習で見られるSGDの暗黙的な正則化効果が、オフラインの深いRLでは有害である可能性について論じる。 我々の理論的解析は、暗黙正則化の既存のモデルが時間差分学習に適用された場合、導出正規化器は退化解を好むことを示している。 我々は、この暗黙的正則化の望ましくない効果に対処する、DR3と呼ばれる単純で効果的な明示的正則化器を提案する。
  論文  参考訳（メタデータ） (2021-12-09T06:01:01Z)
• Supervised Advantage Actor-Critic for Recommender Systems [76.7066594130961]
  本稿では、RL成分を学習するための負のサンプリング戦略を提案し、それを教師付き逐次学習と組み合わせる。 サンプル化された(負の)作用 (items) に基づいて、平均ケース上での正の作用の「アドバンテージ」を計算することができる。 SNQNとSA2Cを4つのシーケンシャルレコメンデーションモデルでインスタンス化し、2つの実世界のデータセットで実験を行う。
  論文  参考訳（メタデータ） (2021-11-05T12:51:15Z)
• Combining Pessimism with Optimism for Robust and Efficient Model-Based Deep Reinforcement Learning [56.17667147101263]
  実世界のタスクでは、強化学習エージェントはトレーニング中に存在しない状況に遭遇する。 信頼性を確保するため、RLエージェントは最悪の状況に対して堅牢性を示す必要がある。 本稿では,Robust Hallucinated Upper-Confidence RL (RH-UCRL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-18T16:50:17Z)
• Robust Deep Reinforcement Learning through Adversarial Loss [74.20501663956604]
  近年の研究では、深層強化学習剤は、エージェントの入力に対する小さな逆方向の摂動に弱いことが示されている。 敵攻撃に対する堅牢性を向上した強化学習エージェントを訓練するための原則的フレームワークであるRADIAL-RLを提案する。
  論文  参考訳（メタデータ） (2020-08-05T07:49:42Z)
• Stealing Deep Reinforcement Learning Models for Fun and Profit [33.64948529132546]
  本稿では,Deep Reinforcement Learning (DRL) に対する最初のモデル抽出攻撃を提案する。 これにより、外部の敵は環境との相互作用からのみブラックボックスDRLモデルを正確に回復することができる。
  論文  参考訳（メタデータ） (2020-06-09T03:24:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。