論文の概要: From Constitutions to Control: Interpretable Rewards for Aligning Language Models

• arxiv url: http://arxiv.org/abs/2609.33086v1
• Date: Sun, 27 Sep 2026 01:44:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 10:42:29.221201
• Title: From Constitutions to Control: Interpretable Rewards for Aligning Language Models
• Title（参考訳）: コンスティチューションからコントロールへ:言語モデルを調整するための解釈可能なリワード
• Abstract要約: 言語モデルの整合化に対する現在のアプローチは、どのような振る舞いが報われているのか、あるいは目標とする方法でその報酬を変更するのが難しくなっています。 汎用構成を解釈可能かつ調整可能な報酬モデルに変換するためのルーブリックベースのフレームワークを開発する。 また,学習報酬に対する影響を低減し,選好判断におけるバイアスを緩和できることを示した。
• 参考スコア（独自算出の注目度）: 5.982687595237653
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current approaches to aligning language models often make it hard to know what behavior is being rewarded or to change that reward in a targeted way. In particular, standard preference-based methods collapse multiple considerations into aggregate human judgments, obscuring what drives the resulting reward, while principle-based methods specify high-level values without fully operationalizing them. To address this gap, we develop a rubric-based framework to transform a general-purpose constitution into an interpretable and tunable reward model, using constitution-guided AI feedback to estimate initial weights for the constituent rubric items. We then reweight those dimensions to construct modified rewards for training. Across experiments on political alignment and safety-helpfulness tradeoffs, reweighting individual dimensions predictably changes targeted behaviors largely independently while navigating tradeoffs between conflicting alignment objectives. We show that the same framework can mitigate label bias encoded in preference judgments -- including sycophancy and demographic bias -- by reducing their influence on the training reward. Our results demonstrate that constitution-derived, interpretable rewards can translate high-level alignment principles into more transparent and controllable model behavior.
• Abstract（参考訳）: 言語モデルの整合性に対する現在のアプローチは、何の振る舞いが報われているのか、あるいはその報酬を目標とする方法で変更することを難しくすることが多い。 特に、標準的な嗜好に基づく手法は、複数の考慮事項をまとめて人間の判断に分解し、結果の報酬を何に導いたかを見極め、原則に基づく手法はそれらを完全に運用することなく高レベルな値を規定する。 このギャップに対処するために、汎用的な構成を解釈可能かつチューニング可能な報酬モデルに変換するルーリックベースのフレームワークを開発し、構成されたルーリックアイテムの初期重みを推定するために、コンスティチューション誘導型AIフィードバックを用いた。 そして、トレーニングのための修正された報酬を構築するために、これらの次元を再重み付けします。 政治的アライメントと安全ハーフネスのトレードオフに関する実験の全体にわたって、個々の次元の重み付けは、対立するアライメント目標間のトレードオフをナビゲートしながら、ターゲットの行動を大きく独立に変化させる。 我々は、同じフレームワークが、トレーニング報酬への影響を減らすことで、好みの判断に符号化されたラベルバイアスを緩和できることを示した。 この結果から,構成に基づく解釈可能な報酬は,高次アライメントの原理をより透明で制御可能なモデル行動に変換することができることが示された。

関連論文リスト

• Beyond Saying Less: Fine-Grained Alignment for Informative and Faithful Vision-Language Models [71.46915245859357]
  物体幻覚は、大きな視覚言語モデルにとって依然として大きな課題である。 本稿では,データレベルでの高密度報酬信号と,アルゴリズムレベルでの正確な信用割当を結合する微粒化アライメントフレームワークを提案する。 本手法は, 識別評価において, 顕著な性能向上を図りながら, 生成タスクにおける高情報かつ忠実な記述を生成する。
  論文  参考訳（メタデータ） (2026-09-28T14:37:33Z)
• Do LLMs Have Values? A Quantitative Analysis and Alignment Framework for Values in Large Language Models [49.45276299939287]
  大規模言語モデル(LLM)は、ますます複雑な主観的タスクを扱うようになっている。 LLMは、マイナーな単語変更で予測不能に変動する。 この双対性を解決することは 信頼できるAIアライメントに 不可欠です
  論文  参考訳（メタデータ） (2026-09-15T03:35:04Z)
• From Holistic Evaluation to Structured Criteria: Rubrics Across the Evolving LLM Landscape [79.30826980815927]
  ルーブリックは、複雑な品質判断を構造化され、実行可能な標準に変換する明示的な基準セットです。 我々は,既存のルーリックデザインを体系的に整理し,その構築と最適化を検証し,評価と訓練をまたいだ役割を解析する。
  論文  参考訳（メタデータ） (2026-06-07T13:34:55Z)
• Position: General Alignment Has Hit a Ceiling; Edge Alignment Must Be Taken Seriously [51.03213216886717]
  我々は、一般的なアライメントの支配的なパラダイムが、矛盾する値の設定において構造的な天井に達するという立場を取る。 エッジアライメント(Edge Alignment)は,多次元の値構造を保持するシステムにおいて,異なるアプローチである。
  論文  参考訳（メタデータ） (2026-02-23T16:51:43Z)
• Open Rubric System: Scaling Reinforcement Learning with Pairwise Adaptive Rubric [10.220923271217632]
  スカラー報酬モデルでは、多次元の人間の嗜好を1つの不透明スコアに圧縮する。 プラグ・アンド・プレイのルーブリックベースのLLM-as-a-JudgeフレームワークであるOpen System(OpenRS)を紹介する。 OpenRSは明示的なメタルブリックを使用します -- ガバナンスがどのようにインスタンス化され、重み付けされ、強制されるかという、コンスティチューションのような仕様です。
  論文  参考訳（メタデータ） (2026-02-15T09:39:39Z)
• Rectifying Shortcut Behaviors in Preference-based Reward Learning [46.09046818725698]
  強化学習では、好みに基づく報酬モデルが、大きな言語モデルと人間の協調行動の整合において中心的な役割を果たす。 最近の研究では、これらのモデルはハッキングに報いる傾向があり、過度な最適化のため、しばしばうまく一般化できないことが示されている。 我々は、好みに基づく報酬学習におけるショートカット行動を軽減するために、原則的だが柔軟なアプローチを導入する。
  論文  参考訳（メタデータ） (2025-10-21T20:08:32Z)
• QA-LIGN: Aligning LLMs through Constitutionally Decomposed QA [46.65999744568314]
  本稿では,モノリシック報酬を解釈可能な原理固有評価に分解するQA-LIGNを紹介する。 ランマ-3.1-8B-インストラクションの適用により、QA-LIGNは攻撃成功率を最大68.7%まで下げる一方で、偽拒絶率0.67%を維持している。
  論文  参考訳（メタデータ） (2025-06-09T18:24:57Z)
• Democratizing Reward Design for Personal and Representative Value-Alignment [10.1630183955549]
  本稿では,対話型対話アライメント(Interactive-Reflective Dialogue Alignment)について紹介する。 本システムは,言語モデルに基づく嗜好誘導を通じて個々の価値定義を学習し,パーソナライズされた報酬モデルを構築する。 本研究は, 価値整合行動の多様な定義を示し, システムによって各人の独自の理解を正確に捉えることができることを示す。
  論文  参考訳（メタデータ） (2024-10-29T16:37:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。