Fugu-MT 論文翻訳(概要): A Survey on Rubric-Guided Reinforcement Learning for Language Models

論文の概要: A Survey on Rubric-Guided Reinforcement Learning for Language Models

arxiv url: http://arxiv.org/abs/2608.27505v2
Date: Mon, 31 Aug 2026 06:06:09 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-01 15:47:04.329324
Title: A Survey on Rubric-Guided Reinforcement Learning for Language Models
Title（参考訳）: 言語モデルのためのルーブリックガイド強化学習に関する調査
Abstract要約: 我々は、構成を事前分布として定義するベイズフレームワークを導入し、評価基準よりも$P(R)$、条件インスタンスとして$R_x sim P(R|x)$とする。この統一された視点の下では、前後軸に沿って誘導されたRLの分類を提示し、立憲AI、インスタンス固有のルーリック、プロセスレベルの監督、自己進化する粒度、およびエージェントおよびマルチモーダル拡張を網羅する。粒度が自然言語のアーティファクトであるので、トレードオフ、セマンティックドリフト、言語報酬ハッキングがアライメントの信頼性に与える影響を言語学的に分析する。
参考スコア（独自算出の注目度）: 4.616913473334196
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Reinforcement learning from human feedback (RLHF) has become the dominant paradigm for aligning large language models (LLMs) with human preferences. However, traditional RLHF relies on scalar reward signals that lack interpretability and fail to capture the multifaceted nature of response quality. Rubric-guided reinforcement learning addresses these limitations by introducing structured, interpretable evaluation criteria, or rubrics, as the backbone of reward design, feedback generation, and policy optimization. In this survey, we introduce a Bayesian framework that defines constitutions as prior distributions $P(R)$ over evaluation criteria and rubrics as conditional instantiations $R_x \sim P(R|x)$. Under this unified view, we present a taxonomy of rubric-guided RL along the prior-posterior axis, covering constitutional AI, instance-specific rubrics, process-level supervision, self-evolving rubrics, and their agentic and multimodal extensions. Furthermore, as rubrics are natural-language artifacts, we present a linguistic analysis of how granularity trade-offs, semantic drift, and linguistic reward hacking impact alignment reliability, identifying key open problems for future research.
Abstract（参考訳）: 人間からのフィードバックからの強化学習(RLHF)は、大規模言語モデル(LLM)と人間の嗜好を整合させる主要なパラダイムとなっている。しかし、従来のRLHFは、解釈可能性に欠け、応答品質の多面的な性質を捉えることができないスカラー報酬信号に依存している。ルーブリック誘導強化学習は、報酬設計、フィードバック生成、ポリシー最適化のバックボーンとして構造化され解釈可能な評価基準またはルーブリックを導入することで、これらの制限に対処する。本調査では,コンスティチューションを事前分布として定義するベイズ的枠組みを,評価基準よりも$P(R)$,条件付インスタンスとして$R_x \sim P(R|x)$とする。この統一された視点の下では、前後軸に沿ったルーブリック誘導RLの分類を示し、立憲AI、インスタンス固有のルーブリック、プロセスレベルの監督、自己進化ルーブリック、およびそれらのエージェントおよびマルチモーダル拡張を網羅する。さらに, ルーブリックは自然言語の人工物であるため, 粒度のトレードオフ, セマンティックドリフト, 言語報酬のハッキングが, 信頼性にどのように影響するかを言語学的に分析し, 今後の研究の鍵となるオープンな問題を特定する。

関連論文リスト

GenRubric: Self-Evolving Rubric Generation for Scalable LLM Evaluation [74.44235943118994]
GenRubricは、ラベルのないクエリからルーブリック生成を改善する自己進化フレームワークである。我々はこの原理を強化学習により実現し、ルーブリック間の包括性信号とグループレベルの報酬と基準レベルの報酬を組み合わせる。人間の注釈付きルーブリックベンチマークの実験では、自己進化は生成されたルーブリックと専門家によるルーブリックによる評価の一致を改善することが示されている。
論文参考訳（メタデータ） (2026-08-30T15:39:39Z)
A Regret Minimization Framework on Preference Learning in Large Language Models [33.19510618137341]
検証可能な報酬による強化学習は、タスク固有の検証に頼って推論集約的なタスクの進行を可能にした。多くの現実的な言語タスクは信頼性の高い検証器を装備することは困難であり、人間のフィードバックからの強化学習への依存度が高まっている。本稿では、RegretベースのPreference Optimization $(textbfRePO)$を紹介します。
論文参考訳（メタデータ） (2026-06-08T07:18:44Z)
From Holistic Evaluation to Structured Criteria: Rubrics Across the Evolving LLM Landscape [79.30826980815927]
ルーブリックは、複雑な品質判断を構造化され、実行可能な標準に変換する明示的な基準セットです。我々は,既存のルーリックデザインを体系的に整理し,その構築と最適化を検証し,評価と訓練をまたいだ役割を解析する。
論文参考訳（メタデータ） (2026-06-07T13:34:55Z)
SAVOIR: Learning Social Savoir-Faire via Shapley-based Reward Attribution [82.31558282651811]
複雑な対人相互作用をナビゲートするソーシャルインテリジェンスは、言語エージェントに根本的な課題を提示する。既存のアプローチでは、言語モデルを直接使用してエピソードレベルの報酬を分配する。協調ゲーム理論に基づく新しい原理的枠組みであるSAVOIRを提案する。
論文参考訳（メタデータ） (2026-04-21T02:08:25Z)
R-Align: Enhancing Generative Reward Models through Rationale-Centric Meta-Judging [69.96389360650072]
解析精度は, 標準ラベルの精度を超えて, 下流RLHFの結果を高い精度で予測できることが示される。我々は,金の判断でトレーニングを増強し,合理的アライメントを明示的に監督するR-Alignを提案する。
論文参考訳（メタデータ） (2026-02-06T15:17:11Z)
OpenRubrics: Towards Scalable Synthetic Rubric Generation for Reward Modeling and LLM Alignment [38.1645520104553]
OpenRubricsは,ルーブリック世代とルーブリックベースの報酬モデルをトレーニングするための,大規模な(プロンプト,エクスプリシット)ペアのコレクションである。識別的・包括的評価信号を引き出すために,優先的・拒否的な応答を対比することにより,厳格な規則(単純質)と原則(簡易品質)の両方を導出するコントラスト生成(CRG)を導入する。この結果から,ごみは費用対人評価と自動報酬モデリングのギャップを狭めるような,スケーラブルなアライメント信号を提供することがわかった。
論文参考訳（メタデータ） (2025-10-09T03:31:26Z)
Parallel Scaling Law: Unveiling Reasoning Generalization through A Cross-Linguistic Perspective [52.452449102961225]
本研究は、推論一般化を探求する新たな言語横断的視点を提案する。本研究により,言語間の伝達性は,初期モデル,対象言語,訓練パラダイムによって大きく異なることが明らかとなった。我々の研究は、LRM推論が人間の認知を反映し、言語に依存しないLRMの開発に重要な洞察を与えるという仮定に挑戦する。
論文参考訳（メタデータ） (2025-10-02T17:49:49Z)
HeQ: a Large and Diverse Hebrew Reading Comprehension Benchmark [54.73504952691398]
我々は,抽出質問としてヘブライ語機械読解データセットの提供に着手した。ヘブライ語の形態学的に豊かな性質はこの努力に挑戦している。我々は,新しいガイドラインのセット,制御されたクラウドソーシングプロトコル,評価基準の改訂を考案した。
論文参考訳（メタデータ） (2025-08-03T15:53:01Z)
Writing-Zero: Bridge the Gap Between Non-verifiable Tasks and Verifiable Rewards [11.149294285483782]
我々は、検証不可能なタスクと検証可能な報酬のギャップを埋める統一的なRLVRベースのトレーニングパラダイムを提案する。本稿では,GenRMとBootstrapped Relative Policy Optimization (BRPO)アルゴリズムを提案する。提案手法は,LLMが微調整を監督せずに堅牢な書込み機能を開発する上で有効である。
論文参考訳（メタデータ） (2025-05-30T14:34:57Z)
HD-Eval: Aligning Large Language Model Evaluators Through Hierarchical Criteria Decomposition [92.17397504834825]
HD-Evalは、大規模な言語モデル評価ツールと人間の好みを反復的に調整するフレームワークである。 HD-Evalは、人間の専門家の評価思想から本質を継承し、LLMに基づく評価器のアライメントを強化する。 3つの評価領域に関する広範囲な実験は、HD-Evalのさらなる整合状態評価器の優位性を実証している。
論文参考訳（メタデータ） (2024-02-24T08:01:32Z)
Review of coreference resolution in English and Persian [8.604145658574689]
参照解決(CR)は、同じ現実世界の実体を参照する表現を識別する。本稿では、コア参照とアナフォラ分解能にまたがるCRの最近の進歩について考察する。ペルシャのCRの独特な課題を認識し、このアンダーリソース言語に焦点をあてる。
論文参考訳（メタデータ） (2022-11-08T18:14:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。