論文の概要: Reinforcement Learning Towards Broadly and Persistently Beneficial Models

• arxiv url: http://arxiv.org/abs/2606.24014v1
• Date: Mon, 22 Jun 2026 23:35:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 22:16:48.713163
• Title: Reinforcement Learning Towards Broadly and Persistently Beneficial Models
• Title（参考訳）: 広範囲かつ永続的な有効モデルに向けた強化学習
• Authors: Akshay V. Jagadeesh, Rahul K. Arora, Khaled Saab, Ali Malik, Mikhail Trofimov, Foivos Tsimpourlas, Johannes Heidecke, Karan Singhal,
• Abstract要約: 現実的な領域でインスタンス化されるRLが、広範かつ永続的なアライメント一般化をもたらすかどうかを考察する。 我々は,真理性,公正性,リスク認識,調整性など,有益な特性を計測し,訓練するために設計された現実的な状況のデータセットを構築した。 次に、このデータセット上でRLでモデルをトレーニングし、50以上の独立したアライメントと有益な振る舞いのベンチマークでそれらを評価します。
• 参考スコア（独自算出の注目度）: 5.737612356236512
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As AI systems are deployed across increasingly diverse and high-stakes settings, model alignment must generalize beyond the tasks and domains seen during training. This is especially important for reinforcement learning (RL), which can introduce unexpected misalignment through reward hacking, deception, or other unintended strategies. We study whether RL on beneficial behavior, instantiated in realistic domains, can produce broad and persistent alignment generalization beyond the training distribution. We construct a dataset of realistic situations designed to measure and train beneficial traits, such as truthfulness, fairness, risk awareness, and corrigibility, spanning varied domains, including health, science, and education. We then train models with RL on this dataset and evaluate them on more than 50 independent benchmarks of alignment and beneficial behavior. Compared to a compute-matched baseline, beneficial trait RL improves performance on over 80% of these out-of-distribution benchmarks. We observe substantial out-of-distribution alignment transfer: a beneficial-behavior RL intervention entirely limited to one domain, health, produces broad improvements on non-health alignment evaluations, including reduced reward hacking, deception, and general misalignment. Finally, we study alignment persistence: whether behavior remains robustly aligned under attempts to steer models towards misalignment. Models trained with beneficial trait RL show improved persistence, including greater resistance to adversarial prompting and harmful finetuning; further work is required to isolate the sources of these effects. These results suggest that RL to reinforce beneficial behavior in realistic domains can produce models that are more robustly aligned with human flourishing.
• Abstract（参考訳）: AIシステムは、ますます多様で高度な設定に展開されるため、トレーニング中に見られるタスクやドメインを超えて、モデルアライメントを一般化する必要がある。 これは特に強化学習(RL)において重要であり、報酬のハッキング、偽装、その他の意図しない戦略を通じて予期せぬ不適応をもたらすことができる。 現実的な領域でインスタンス化されたRLが、トレーニング分布を超えて広範かつ永続的なアライメント一般化を実現できるかどうかを考察する。 我々は、健康、科学、教育など様々な領域にまたがる、真理性、公正性、リスク認識、調整可能性などの有益な特性を計測し、訓練するために設計された現実的な状況のデータセットを構築します。 次に、このデータセット上でRLでモデルをトレーニングし、50以上の独立したアライメントと有益な振る舞いのベンチマークでそれらを評価します。 計算整合ベースラインと比較して、有益な特性RLは、これらのアウト・オブ・ディストリビューションベンチマークの80%以上のパフォーマンスを改善する。 便益行動RLの介入は1つのドメインに完全に制限され、健康状態は改善され、報酬のハッキング、詐欺、一般的な不適応などの非健康アライメント評価が大幅に改善される。 最後に、アライメントの持続性について研究する。不整合に向けてモデルを操ろうとする試みにおいて、動作が頑健に整合しているかどうか。 有益形質RLで訓練されたモデルでは、敵のプロンプトに対する抵抗性の向上や有害な微調整など、持続性の向上が示されており、これらの効果源の分離にはさらなる作業が必要である。 これらの結果は、現実的な領域における有益な行動を強化するためのRLが、人間の繁栄とよりしっかりと整合したモデルを生み出すことを示唆している。

関連論文リスト

• Reinforcement Learning on Pre-Training Data [55.570379963147424]
  我々は,大規模言語モデル(LLM)を最適化するための新しい訓練時間スケーリングパラダイムである,事前学習データ(R)の強化学習を紹介する。 Rは、有意義な軌道を自律的に探索し、事前学習データから学び、強化学習(RL)を通してその能力を向上させる。 複数のモデルにわたる一般領域および数学的推論ベンチマークの広範な実験は、Rの有効性を検証した。
  論文  参考訳（メタデータ） (2025-09-23T17:10:40Z)
• Revisiting Reinforcement Learning for LLM Reasoning from A Cross-Domain Perspective [82.24301452333577]
  強化学習(RL)は,大規模言語モデル(LLM)推論を改善するための有望なアプローチとして登場した。 重要な課題は、様々な推論領域にまたがる信頼性とスケーラブルなRL報酬信号の欠如である。 我々は,6つの推論領域にまたがる92Kの検証可能な例をキュレートしたRL推論コーパスであるGuruを紹介する。
  論文  参考訳（メタデータ） (2025-06-17T20:24:00Z)
• Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [93.00629872970364]
  強化学習(Reinforcement Learning, RL)は, 複雑な推論タスクにおいて, 言語モデルの性能向上のための主要なパラダイムとなっている。 SPARKLE(SPARKLE)は、3つの重要な次元にわたるRLの効果を詳細に解析するフレームワークである。 我々は、RL信号と混合品質の推論トレースを産出しない難題が、依然としてトレーニングに有効であるかどうかを調査する。
  論文  参考訳（メタデータ） (2025-06-05T07:53:59Z)
• A Snapshot of Influence: A Local Data Attribution Framework for Online Reinforcement Learning [45.19254609437857]
  オンライン強化学習(RL)は、複雑で安全クリティカルな領域で優れているが、サンプルの非効率性、トレーニング不安定性、限定的な解釈可能性に悩まされている。 データ属性は、モデルの振る舞いをトレーニングサンプルに遡る、原則化された方法を提供する。 本稿では、オンラインRLトレーニングのためのアルゴリズムである反復的影響ベースのフィルタリング(IIF)を提案し、ポリシー更新を洗練するための経験的フィルタリングを反復的に行う。
  論文  参考訳（メタデータ） (2025-05-25T19:25:57Z)
• Behavior Injection: Preparing Language Models for Reinforcement Learning [45.744838898763554]
  我々はRL目標のステップごとの影響を分析し、効果的な後学習のための2つの重要な条件を同定する。 RLに先立って適用されたタスクに依存しないデータ拡張方式である振舞い注入を提案する。 提案手法は,複数のベースモデルを用いた2つの推論ベンチマークで評価する。
  論文  参考訳（メタデータ） (2025-05-25T00:54:50Z)
• Echo Chamber: RL Post-training Amplifies Behaviors Learned in Pretraining [74.83412846804977]
  強化学習(RL)に基づく微調整は、訓練後の言語モデルにおいて重要なステップとなっている。 数理推論のためのRLファインタニングを、スクラッチから完全にトレーニングモデルを用いて体系的にエンドツーエンドに研究する。
  論文  参考訳（メタデータ） (2025-04-10T17:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。