論文の概要: Challenges in Ensuring AI Safety in DeepSeek-R1 Models: The Shortcomings of Reinforcement Learning Strategies

• arxiv url: http://arxiv.org/abs/2501.17030v1
• Date: Tue, 28 Jan 2025 15:52:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-29 22:09:11.18826
• Title: Challenges in Ensuring AI Safety in DeepSeek-R1 Models: The Shortcomings of Reinforcement Learning Strategies
• Title（参考訳）: DeepSeek-R1モデルにおけるAI安全性確保の課題:強化学習戦略の欠点
• Authors: Manojkumar Parmar, Yuvaraj Govindarajulu,
• Abstract要約: 本稿では,DeepSeek-R1における有害なアウトプットを減らすための主要なアプローチとして,強化学習の限界について検討する。 我々はRLとSupervised Fine-Tuningを組み合わせたハイブリッドトレーニング手法を提案し、ロバストな無害化を実現する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have achieved remarkable progress in reasoning, alignment, and task-specific performance. However, ensuring harmlessness in these systems remains a critical challenge, particularly in advanced models like DeepSeek-R1. This paper examines the limitations of Reinforcement Learning (RL) as the primary approach for reducing harmful outputs in DeepSeek-R1 and compares it with Supervised Fine-Tuning (SFT). While RL improves reasoning capabilities, it faces challenges such as reward hacking, generalization failures, language mixing, and high computational costs. We propose hybrid training approaches combining RL and SFT to achieve robust harmlessness reduction. Usage recommendations and future directions for deploying DeepSeek-R1 responsibly are also presented.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、推論、アライメント、タスク固有のパフォーマンスにおいて顕著な進歩を遂げています。 しかし、特にDeepSeek-R1のような先進的なモデルでは、これらのシステムの無害性の確保は依然として重要な課題である。 本稿では,DeepSeek-R1における有害な出力を減らすための主要なアプローチとして,強化学習(Reinforcement Learning, RL)の限界について検討し,それをSupervised Fine-Tuning (SFT)と比較する。 RLは推論能力を改善するが、報酬ハック、一般化失敗、言語混合、高い計算コストといった課題に直面している。 我々はRLとSFTを組み合わせたハイブリッドトレーニング手法を提案し、ロバストな無害化を実現する。 責任を持ってDeepSeek-R1をデプロイするための推奨と今後の方向性も紹介されている。

関連論文リスト

• SRPO: A Cross-Domain Implementation of Large-Scale Reinforcement Learning on LLM [18.275547804539016]
  Two-Staged History-Resampling Policy 最適化は AIME24 と LiveCodeBench ベンチマークにおける DeepSeek-R1-Zero-32B のパフォーマンスを上回る。 本研究では,(1)数学的推論と符号化能力の両立を図った2段階のクロスドメイン・トレーニングパラダイム,(2)非効率なサンプルに対処する手法であるヒストリ・サンプリング(HR)を紹介する。
  論文  参考訳（メタデータ） (2025-04-19T13:06:03Z)
• RealSafe-R1: Safety-Aligned DeepSeek-R1 without Compromising Reasoning Capability [29.437113221903715]
  我々は、DeepSeek-R1モデルの安全対応バージョンとしてRealSafe-R1を紹介する。 本手法は,学習データを生成元の分布内に保持することにより,モデルの推論能力を維持できる。
  論文  参考訳（メタデータ） (2025-04-14T10:26:37Z)
• Reasoning Under 1 Billion: Memory-Augmented Reinforcement Learning for Large Language Models [53.4530106173067]
  強化学習(RL)を伴う大規模言語モデル(LLM)は、複雑な推論タスクにおいて有望な改善を示す。 RLは10億のパラメータを持つ小さなLLMでは、効果的に探索するために必要な事前訓練能力が欠如しているため、依然として困難である。 この研究は、この課題に対処するためにエピソード記憶を活用する、新しい本質的なモチベーションアプローチを導入する。
  論文  参考訳（メタデータ） (2025-04-03T04:46:17Z)
• OpenVLThinker: An Early Exploration to Complex Vision-Language Reasoning via Iterative Self-Improvement [91.88062410741833]
  本研究では,類似の推論機能を大規模視覚言語モデル(LVLM)にうまく組み込むことができるか検討する。 本稿では,教師付き微調整(SFT)と強化学習(RL)を反復的に活用し,モデル一般化をさらに改善する手法を検討する。 OpenVLThinkerは、MathVista、MathVerse、MathVisionといった挑戦的なベンチマークで一貫して改善された推論性能を示すLVLMである。
  論文  参考訳（メタデータ） (2025-03-21T17:52:43Z)
• Demystifying Long Chain-of-Thought Reasoning in LLMs [46.352406501403465]
  ロングチェーン・オブ・シント(CoT)は、バックトラックやエラー修正のような戦略を可能にする。 強化学習(Reinforcement Learning, RL)は、これらの能力を開発する上で重要な方法である。 モデルが長いCoT軌道を生成できる重要な要素を同定する。
  論文  参考訳（メタデータ） (2025-02-05T17:13:32Z)
• DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning [147.16121855209246]
  第一世代の推論モデルであるDeepSeek-R1-ZeroとDeepSeek-R1を紹介します。 DeepSeek-R1-Zeroは大規模な強化学習を通じて訓練されている。 DeepSeek-R1は、RLの前にマルチステージトレーニングとコールドスタートデータを組み込んでいる。
  論文  参考訳（メタデータ） (2025-01-22T15:19:35Z)
• Reinforcement Learning with Intrinsically Motivated Feedback Graph for Lost-sales Inventory Control [12.832009040635462]
  強化学習(Reinforcement Learning, RL)は, インベントリコントロール(IC)領域において, 優れた性能と汎用性があることが証明されている。 オンライン体験は、現実世界のアプリケーションで入手するのに費用がかかる。 オンライン体験は、ICの典型的な失業現象による真の需要を反映していない可能性がある。
  論文  参考訳（メタデータ） (2024-06-26T13:52:47Z)
• Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
  本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。 このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。 本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-07T21:58:40Z)
• Stabilizing Contrastive RL: Techniques for Robotic Goal Reaching from Offline Data [101.43350024175157]
  自己指導型学習は、制御戦略を学ぶのに必要な人間のアノテーションとエンジニアリングの労力を減らす可能性がある。 我々の研究は、強化学習(RL)自体が自己監督的な問題であることを示す先行研究に基づいている。 コントラスト学習に基づく自己教師付きRLアルゴリズムは,実世界の画像に基づくロボット操作タスクを解くことができることを示す。
  論文  参考訳（メタデータ） (2023-06-06T01:36:56Z)
• Robust Reinforcement Learning Objectives for Sequential Recommender Systems [7.44049827436013]
  我々は、報酬の形で直接ユーザーフィードバックを取り入れ、ユーザのパーソナライズを高めるレコメンデーションシステムを開発する。 RLアルゴリズムを採用することで、政治外のトレーニング、拡張可能なアクションスペース、十分な報酬信号を持つデータセットの不足など、課題が提示される。 これらの課題に対して、より効果的な解決策を提供するための拡張された方法論を導入します。
  論文  参考訳（メタデータ） (2023-05-30T08:09:08Z)
• Hyperbolic Deep Reinforcement Learning [8.983647543608226]
  双曲空間における潜在表現をモデル化する深層強化学習アルゴリズムを提案する。 Procgen と Atari 100K ベンチマークで一般的なオンライン RL アルゴリズムに適用することで,我々のフレームワークを実証的に検証する。
  論文  参考訳（メタデータ） (2022-10-04T12:03:04Z)
• Supervised Advantage Actor-Critic for Recommender Systems [76.7066594130961]
  本稿では、RL成分を学習するための負のサンプリング戦略を提案し、それを教師付き逐次学習と組み合わせる。 サンプル化された(負の)作用 (items) に基づいて、平均ケース上での正の作用の「アドバンテージ」を計算することができる。 SNQNとSA2Cを4つのシーケンシャルレコメンデーションモデルでインスタンス化し、2つの実世界のデータセットで実験を行う。
  論文  参考訳（メタデータ） (2021-11-05T12:51:15Z)
• Combining Pessimism with Optimism for Robust and Efficient Model-Based Deep Reinforcement Learning [56.17667147101263]
  実世界のタスクでは、強化学習エージェントはトレーニング中に存在しない状況に遭遇する。 信頼性を確保するため、RLエージェントは最悪の状況に対して堅牢性を示す必要がある。 本稿では,Robust Hallucinated Upper-Confidence RL (RH-UCRL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-18T16:50:17Z)
• Robust Deep Reinforcement Learning through Adversarial Loss [74.20501663956604]
  近年の研究では、深層強化学習剤は、エージェントの入力に対する小さな逆方向の摂動に弱いことが示されている。 敵攻撃に対する堅牢性を向上した強化学習エージェントを訓練するための原則的フレームワークであるRADIAL-RLを提案する。
  論文  参考訳（メタデータ） (2020-08-05T07:49:42Z)
• Stealing Deep Reinforcement Learning Models for Fun and Profit [33.64948529132546]
  本稿では,Deep Reinforcement Learning (DRL) に対する最初のモデル抽出攻撃を提案する。 これにより、外部の敵は環境との相互作用からのみブラックボックスDRLモデルを正確に回復することができる。
  論文  参考訳（メタデータ） (2020-06-09T03:24:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。