論文の概要: Self-CTRL: Self-Consistency Training with Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2606.18327v1
- Date: Tue, 16 Jun 2026 17:59:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-18 17:16:50.82999
- Title: Self-CTRL: Self-Consistency Training with Reinforcement Learning
- Title（参考訳）: 自己CTRL:強化学習による自己整合性トレーニング
- Abstract要約: 自身の振る舞いを忠実に記述した言語モデル(LM)は、ユーザがより容易に監査、理解、信頼することができる。
本稿では,LMの自己説明と関連する入力に対する動作の一貫性を最適化する自己整合性学習(Self-CTRL)について述べる。
- 参考スコア（独自算出の注目度）: 45.9704217495657
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language models (LMs) that faithfully describe their own behavior can more easily be audited, understood, and trusted by users. This paper describes Self-Consistency Training with Reinforcement Learning (Self-CTRL), a method that optimizes for consistency between a LM's self-explanations and behavior on related inputs by updating explanations to better predict behavior or updating behavior to better match explanations. We apply our method in two domains. First, we study a formal probabilistic reasoning task in which LMs must learn to imitate a family of biased samplers and evaluated on their ability to report the associated biases. We find that consistency training improves the correlation between self-reported and behaviorally-measured latent biases from $R^2=0.24$ to $R^2=0.64$ on a set of held-out distributions, matching the generalization of direct ground-truth supervision. Second, we study a constitutional AI domain in which LMs must describe when they will refuse or comply with user requests. Here, Self-CTRL produces rules that faithfully describe the model's behavior on held-out requests, improving the refusal predictions of a third-party auditor model from $36\%$ to $92\%$. In the other direction, behavior updates improve alignment, reducing HarmBench failure rate from $15.0\%$ to $0.5\%$ without substantially increasing refusal on harmless prompts. By aligning explanations and behavior, our work provides a general recipe for training AI models to be safer, more transparent, and more controllable.
- Abstract（参考訳）: 自身の振る舞いを忠実に記述した言語モデル(LM)は、ユーザがより容易に監査、理解、信頼することができる。
本稿では,LMの自己説明と関連する入力に対する動作の整合性を最適化する手法である自己整合性学習(Self-CTRL)について述べる。
我々はこの手法を2つの領域に適用する。
まず,本研究は, LMが偏りのあるサンプル群を模倣することを学習し, 関連する偏りを報告する能力を評価するための形式的確率論的推論課題について検討する。
整合性学習は, 自己申告と行動計測による潜伏バイアスの相関関係を, 拘束分布の集合上では$R^2=0.24$から$R^2=0.64$に改善し, 直接接地トラス監視の一般化と一致することがわかった。
第2に,LMがユーザ要求の拒否や遵守をいつ行うかを記述しなければならない,立憲AIドメインについて検討する。
ここで、Self-CTRLは、ホールドアウト要求に対するモデルの振る舞いを忠実に記述するルールを作成し、サードパーティ監査モデルの拒絶予測を36\%から92\%に改善する。
一方、振る舞いの更新はアライメントを改善し、HarmBenchの障害率を15.0\%から0.5\%に下げる。
説明と行動を調整することで、私たちの研究は、より安全で透明性があり、より制御可能なAIモデルをトレーニングするための一般的なレシピを提供します。
関連論文リスト
- Training Large Language Models for Self-Explanation Faithfulness [10.933553638236036]
本稿では,自己説明の忠実度を直接最適化する強化学習(RL)手法を提案する。
決定に影響を及ぼす要因を正確に検出するために,モデルをトレーニングできるかどうかを検討する。
モデルが暗黙的に影響要因を識別し、それを開示するように訓練できることが示される。
論文 参考訳（メタデータ） (2026-07-23T09:20:38Z) - Introspective Coupling: Self-Explanation Training Tracks Behavioral Change Despite Fixed Supervision [49.12474373883331]
固定された反事実的説明に基づいて訓練されたLMが、訓練対象よりも現在の行動に忠実な説明をもたらすことを示す。
この「内省的」結合は、トレーニングの過程における現在の行動と十分な相関が保たれているときに起こる。
また, イントロスペクティブ・カップリング・トラックは, 他のトレーニング後の目標と並行して説明訓練を行う場合, 最新の監視を必要とせず, それらの変化をトラックする。
論文 参考訳（メタデータ） (2026-06-30T17:59:32Z) - CLARity: Reasoning Consistency Alone Can Teach Reinforced Experts [20.606939295163752]
少ないデータ領域における訓練専門家のLSMは困難であり、しばしばMCQ(Multi-choice Question)に依存している。
大規模プロセスリワードモデル(PRM)のような既存の推論を監督するソリューションは、違法に高価である。
小型汎用LLMのみを用いて推論品質を向上させる費用対効果の高いRLフレームワークであるCLARityを提案する。
論文 参考訳（メタデータ） (2025-10-10T11:21:09Z) - Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。
認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。
この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
論文 参考訳（メタデータ） (2025-10-01T13:56:44Z) - Co-rewarding: Stable Self-supervised RL for Eliciting Reasoning in Large Language Models [56.055015597319674]
検証可能な報酬(RLVR)を用いた強化学習は,大規模言語モデル(LLM)の推論能力の向上に有効である
近年の自己回帰法は LLM の推論能力を解き放つためのラベルフリーな代替手段について検討している。
我々は、他の視点から補完的な監督を求めることにより、トレーニングの安定性を向上させる新しい自己監督型RLフレームワークであるtextitCo-rewardingを提案する。
論文 参考訳（メタデータ） (2025-08-01T08:09:14Z) - Adaptive Guidance Accelerates Reinforcement Learning of Reasoning Models [3.207886496235499]
検証可能な報酬(RLVR)に基づく強化学習で学習した推論モデルを用いて,新たな問題を解決する方法について検討する。
RLVRは、(1)pass@$k$をpass@1に圧縮し、(2)"capability gain"を介して、モデルが以前、$k$で解決できなかった新しい問題を解決することを学習する、という2つの主な方法でパフォーマンスを駆動する。
論文 参考訳（メタデータ） (2025-06-16T19:03:06Z) - The Surprising Effectiveness of Negative Reinforcement in LLM Reasoning [37.13807960501503]
検証可能な報酬を伴う強化学習(RLVR)は、言語モデル(LM)のトレーニングに有望なアプローチである
我々は学習信号を正しい応答の強化と正負の正負の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の
我々は、NSRが不正確な世代を抑え、確率質量を他の可算候補に向けて再分配することで、モデルの以前の信念に導かれることを示す。
論文 参考訳（メタデータ） (2025-06-02T06:10:54Z) - Can Large Reasoning Models Self-Train? [51.0277533541394]
多数決投票を簡単な自己フィードバック機構として利用し、強化学習において自己学習が持続できるかどうかを検討する。
この基本的なアプローチは、モデルの推論性能だけでなく、次のRLイテレーションでより良い品質フィードバックを生成する能力も改善します。
しかし、我々の分析では、このような自己学習パラダイムの限界も明らかにしています - 自己回帰の長いRLは、報酬のハッキングにつながるため、突然、そして完全なパフォーマンスが崩壊します。
論文 参考訳（メタデータ） (2025-05-27T17:16:00Z) - S$^2$R: Teaching LLMs to Self-verify and Self-correct via Reinforcement Learning [51.84977135926156]
S$2$Rはモデルに推論時の自己検証と自己正当性を教えることによってLLM推論を強化する効率的なフレームワークである。
以上の結果から,Qwen2.5-math-7Bの精度は51.0%から81.6%に向上した。
論文 参考訳（メタデータ） (2025-02-18T13:40:22Z) - Training Language Models to Self-Correct via Reinforcement Learning [98.35197671595343]
自己補正は、現代の大規模言語モデル(LLM)では、ほとんど効果がないことが判明した。
完全自己生成データを用いたLLMの自己補正能力を大幅に向上させるマルチターンオンライン強化学習手法であるSCoReを開発した。
SCoReは最先端の自己補正性能を実現し,MATHとHumanEvalでそれぞれ15.6%,9.1%向上した。
論文 参考訳（メタデータ） (2024-09-19T17:16:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。