論文の概要: QA-LIGN: Aligning LLMs through Constitutionally Decomposed QA

• arxiv url: http://arxiv.org/abs/2506.08123v1
• Date: Mon, 09 Jun 2025 18:24:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:40.365481
• Title: QA-LIGN: Aligning LLMs through Constitutionally Decomposed QA
• Title（参考訳）: QA-LIGN: 構造的に分解されたQAによるLCMの調整
• Authors: Jacob Dineen, Aswin RRV, Qin Liu, Zhikun Xu, Xiao Ye, Ming Shen, Zhaonan Li, Shijie Lu, Chitta Baral, Muhao Chen, Ben Zhou,
• Abstract要約: シンボル報酬の自動分解手法であるQA-LIGNを導入する。 モノリシックスコアを出力するブラックボックス報酬モデルをトレーニングする代わりに、QA-LIGNは原則固有の評価質問を定式化する。 QA-LIGNはより透明性と適応性を提供することを示した。
• 参考スコア（独自算出の注目度）: 49.9801383018588
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Alignment of large language models with explicit principles (such as helpfulness, honesty, and harmlessness) is crucial for ensuring safe and reliable AI systems. However, standard reward-based alignment methods typically collapse diverse feedback into a single scalar reward, entangling multiple objectives into one opaque training signal, which hinders interpretability. In this work, we introduce QA-LIGN, an automatic symbolic reward decomposition approach that preserves the structure of each constitutional principle within the reward mechanism. Instead of training a black-box reward model that outputs a monolithic score, QA-LIGN formulates principle-specific evaluation questions and derives separate reward components for each principle, making it a drop-in reward model replacement. Experiments aligning an uncensored large language model with a set of constitutional principles demonstrate that QA-LIGN offers greater transparency and adaptability in the alignment process. At the same time, our approach achieves performance on par with or better than a DPO baseline. Overall, these results represent a step toward more interpretable and controllable alignment of language models, achieved without sacrificing end-task performance.
• Abstract（参考訳）: 安全で信頼性の高いAIシステムを保証するためには、明確な原則(有用性、正直性、無害性など)を持つ大規模言語モデルのアライメントが不可欠である。 しかし、標準的な報酬に基づくアライメント手法は、様々なフィードバックを1つのスカラー報酬に分解し、複数の目標を1つの不透明な訓練信号に絞ることで、解釈可能性を妨げる。 本稿では,報酬機構内の各構成原理の構造を保存した自動記号報酬分解手法であるQA-LIGNを紹介する。 モノリシックスコアを出力するブラックボックス報酬モデルをトレーニングする代わりに、QA-LIGNは原則固有の評価質問を定式化し、各原則に対して異なる報酬要素を導出し、ドロップイン報酬モデルを置き換える。 QA-LIGNはアライメントプロセスにおいて、より透明性と適応性を提供することを示している。 同時に,本手法はDPOベースラインと同等以上の性能を実現する。 全体として、これらの結果は、エンドタスクのパフォーマンスを犠牲にすることなく達成される言語モデルのより解釈可能で制御可能なアライメントに向けた一歩である。

関連論文リスト

• Writing-Zero: Bridge the Gap Between Non-verifiable Problems and Verifiable Rewards [1.1981384995161284]
  我々は、検証不可能なタスクと検証可能な報酬のギャップを埋める統一的なRLVRベースのトレーニングパラダイムを提案する。 本稿では,GenRMとBootstrapped Relative Policy Optimization (BRPO)アルゴリズムを提案する。 提案手法は,LLMが微調整を監督せずに堅牢な書込み機能を開発する上で有効である。
  論文  参考訳（メタデータ） (2025-05-30T14:34:57Z)
• Latent Principle Discovery for Language Model Self-Improvement [14.137106102563514]
  本稿では, 自己補正設定で明示的にモデル化することで, 人間の嗜好応答を推論する潜在属性を抽出する手法を提案する。 提案手法は,LM自体から新たな原理を抽出し,発見した要素をクラスタリングにより解釈可能な集合に圧縮する。 複数の反復でアルゴリズムをブートストラップすることで、より小さな言語モデルを自己改善し、AlpacaEvalの勝率+8-10%、MT-Benchの平均+0.3、IFEvalの勝率+19-23%を達成できることを示した。
  論文  参考訳（メタデータ） (2025-05-22T17:20:18Z)
• Closing the Intent-to-Behavior Gap via Fulfillment Priority Logic [1.4542411354617986]
  本稿では,FPL(Fulfillment Priority Logic)を構築する目的達成の概念について述べる。 われわれの新しいバランスポリシー勾配アルゴリズムは、FPL仕様を利用して、ソフトアクター批評家と比較して最大500%のサンプル効率を達成する。
  論文  参考訳（メタデータ） (2025-03-04T18:45:20Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)
• Dense Reward for Free in Reinforcement Learning from Human Feedback [64.92448888346125]
  我々は報酬モデルが単にスカラー出力よりも多くの情報を含んでいるという事実を活用している。 私たちは、これらの注意重みを使って、完了全体に沿って報酬を再分配します。 経験的に、トレーニングを安定化し、学習速度を加速し、実際は、より良い局所最適性をもたらす可能性があることを示す。
  論文  参考訳（メタデータ） (2024-02-01T17:10:35Z)
• Beyond Sparse Rewards: Enhancing Reinforcement Learning with Language Model Critique in Text Generation [29.6763730290473]
  強化学習は、言語モデルと人間の嗜好のような区別できない報酬信号とを一致させることができる。 本稿では,中間段階の報酬を生成するために,大規模言語モデルの批判能力を利用する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-14T22:05:11Z)
• SALMON: Self-Alignment with Instructable Reward Models [80.83323636730341]
  本稿では,基本言語モデルと人間の監督を最小限に整合させる新しいアプローチ,すなわちSALMONを提案する。 私たちはDromedary-2という名のAIアシスタントを開発しており、コンテキスト内学習には6つの例と31の人間定義原則しかありません。
  論文  参考訳（メタデータ） (2023-10-09T17:56:53Z)
• From STL Rulebooks to Rewards [4.859570041295978]
  本稿では,多目的の強化学習のための報酬形成のための原則的アプローチを提案する。 まずSTLに新しい定量的セマンティクスを組み、個々の要求を自動的に評価する。 次に,複数の要件の評価を1つの報酬に体系的に組み合わせる手法を開発した。
  論文  参考訳（メタデータ） (2021-10-06T14:16:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。