論文の概要: Alignment with Reflect-Reasoning: Learning How To Follow Principles
- arxiv url: http://arxiv.org/abs/2611.17398v1
- Date: Thu, 12 Nov 2026 18:31:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.241248
- Title: Alignment with Reflect-Reasoning: Learning How To Follow Principles
- Title(参考訳): リフレクション推論によるアライメント: 原則に従う方法を学ぶ
- Abstract要約: リフレクション・推論(Reflective-Reasoning)は、モデルに原則の整合性について推論方法を教えるトレーニング手法である。
5つのモデルにまたがって、リフレクション-推論は、システムプロンプトと明示的なプロンプト戦略の両方を一貫して上回ります。
さらに、リフレクション・推論は稀だが重大な原則違反の発生を減らすことを実証する。
- 参考スコア(独自算出の注目度): 0.23705923859070213
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The appropriate governing norms and principles for the alignment of Large Language Models (LLMs) often depend on cultural context and deployment application. However, most alignment techniques focus on training models to conform to human preferences or constitutional principles specified at training time and subsequently fixed. In practice, many deployers rely on system prompting to implement contextual norms and guardrails at inference time. Prior work has shown that post-generation reflective reasoning with critique and revision can improve conformance compared to simple system prompting, but such methods are limited to the reasoning abilities inherent in the trained model. We introduce Reflect-Reasoning, a training method that teaches models how to reason about alignment to principles, rather than simply which principles to follow. Across five models, Reflect-Reasoning consistently outperforms both system prompting and explicit prompting strategies for in-context reflective reasoning. These improvements extend and generalize to entirely out-of-distribution domains of medical and financial principles. We additionally demonstrate that Reflect-Reasoning reduces the occurrence of rare but serious principle violations. Finally, we show that Reflect-Reasoning does not erode the safety engineering of a model and is robust against jailbreaking attempts using adversarial constitutions. Overall, our results demonstrate that Reflect-Reasoning is a scalable method for training constitutional alignment as a generalizable reasoning capability, enabling models to adapt to novel principles and produce transparent reasoning traces without additional fine-tuning.
- Abstract(参考訳): LLM(Large Language Models)のアライメントのための適切な統治規範と原則は、しばしば文化的コンテキストとデプロイメントアプリケーションに依存します。
しかし、ほとんどのアライメント技術は、トレーニング時に規定された人間の嗜好や憲法の原則に従うためのトレーニングモデルに焦点を当て、その後修正される。
実際には、多くのデプロイは、推論時にコンテキスト規範やガードレールを実装するよう促すシステムに依存している。
従来の研究は、批判と修正による後世代反射推論は、単純なシステムプロンプトよりも適合性を向上させることができるが、そのような手法は訓練されたモデルに固有の推論能力に限られている。
リフレクション・推論(Reflective-Reasoning)は、モデルに対して、従うべき原則ではなく、原則への整合性について推論する方法を教えるトレーニング手法である。
5つのモデルにまたがって、リフレクション-推論は、インコンテキストのリフレクティブ推論のためのシステムプロンプトと明示的なプロンプト戦略の両方を一貫して上回ります。
これらの改善は、医療と財政の原則を完全にアウト・オブ・ディストリビューション・ドメインに拡張し、一般化する。
さらに、リフレクション・推論は稀だが重大な原則違反の発生を減らすことを実証する。
最後に、リフレクション・推論はモデルの安全工学を損なうものではなく、敵対的構成を用いた脱獄の試みに対して堅牢であることを示す。
全体として、リフレクション・推論は、一般化可能な推論能力として立憲アライメントを訓練するためのスケーラブルな方法であり、モデルが新しい原理に適応し、微調整を伴わずに透明な推論トレースを生成できることを示す。
関連論文リスト
- INSPIRE: An Internalize-Then-Improve Approach for Example-Driven Mathematical Reasoning [61.60016491769943]
人間の数学教育において、定理境界をテストするために反例を構築するような例に基づく推論は、深い概念的理解を反映している。
本稿では,RGSI(Reference-Guided Students Internalization)と段階的選好学習戦略を組み合わせた内在化・内在化アプローチであるINSPIREを提案する。
複数のモデルスケールとファミリーにわたる実験は、大規模なオープンソースモデルを超えながら、一貫した改善を示している。
論文 参考訳(メタデータ) (2026-08-27T03:24:03Z) - Evo-PI: Aligning Medical Reasoning via Evolving Principle-Guided Supervision [13.266458413629893]
Evo-PIは原則中心の学習フレームワークで、推論の原則を言語に基づく明示的な監視信号として扱う。
医用視覚質問応答におけるEvo-PIを,構造化された視覚的テキスト推論を必要とするハイテイクテストベッドとしてインスタンス化する。
本研究は,MLLMにおける専門家対応推論の学習に,原則指導の進化が,スケーラブルで汎用的なパラダイムを提供することを示唆するものである。
論文 参考訳(メタデータ) (2026-06-30T15:19:26Z) - Reforming the Mechanism: Editing Reasoning Patterns in LLMs with Circuit Reshaping [51.33479921152361]
大規模言語モデル(LLM)は、信頼性を損なう欠点のある推論能力を示すことが多い。
推論を改善する既存のアプローチは一般的に、一般的なモノリシックなスキルとして扱い、非効率で特定の推論エラーをターゲットできない広範囲なトレーニングを適用する。
本稿では,LLMにおける特定の推論パターンを選択的に修正し,他の推論経路を保存するためのパラダイムであるReasoning Editingを紹介する。
論文 参考訳(メタデータ) (2026-03-06T22:51:39Z) - Native Reasoning Models: Training Language Models to Reason on Unverifiable Data [16.065264121785294]
NRT(Native Reasoning Training)は、複雑な推論を育む新しいフレームワークである。
NRTは、推論プロセスを潜在変数として扱うことで、トレーニング問題を再構築する。
NRTは検証不要な手法の最先端性能を実現する。
論文 参考訳(メタデータ) (2026-02-12T04:15:46Z) - Reflect: Transparent Principle-Guided Reasoning for Constitutional Alignment at Scale [0.225739374955489]
textscreflectは、コンスティチューションアライメントのための推論時フレームワークである。
textscreflectは完全にコンテキスト内で動作し、(i)構成条件のベースレスポンスとポストジェネレーションの自己評価を組み合わせる。
以上の結果から,textscreflect は LLM の多様かつ複雑な原理への適合性を著しく向上させることが示された。
論文 参考訳(メタデータ) (2026-01-26T17:54:54Z) - Step-Aware Policy Optimization for Reasoning in Diffusion Large Language Models [57.42778606399764]
拡散言語モデル(dLLM)は、テキスト生成に有望で非自己回帰的なパラダイムを提供する。
現在の強化学習アプローチは、しばしばスパースで結果に基づく報酬に頼っている。
これは推論の自然な構造との根本的なミスマッチに由来すると我々は主張する。
論文 参考訳(メタデータ) (2025-10-02T00:34:15Z) - Large Reasoning Models Learn Better Alignment from Flawed Thinking [56.08883934423522]
大規模推論モデル(LRM)は、最終的な答えを生成する前に構造化チェーン・オブ・シント(CoT)を生成することで「考える」。
本稿では,Regressed Learning (RL) 手法であるRECAPを提案する。
論文 参考訳(メタデータ) (2025-10-01T14:15:43Z) - Deliberative Alignment: Reasoning Enables Safer Language Models [64.60765108418062]
モデルセーフティ仕様を教える新しいパラダイムであるDeliberative Alignmentを紹介します。
このアプローチを使ってOpenAIのoシリーズモデルを整列させ、人書きのチェーンや回答を必要とせず、OpenAIの安全ポリシーに極めて正確な順守を実現しました。
論文 参考訳(メタデータ) (2024-12-20T21:00:11Z) - Retrieved In-Context Principles from Previous Mistakes [55.109234526031884]
In-context Learning (ICL) は、入力出力の正しい例を用いて、下流のタスクにLarge Language Models (LLM) を適用するのに役立っている。
近年の進歩は、ミスから派生した原則により、モデルパフォーマンスの改善を試みている。
本稿では,新しい教師学習フレームワークであるRetrieved In-Context Principles (RICP)を提案する。
論文 参考訳(メタデータ) (2024-07-08T07:32:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。