論文の概要: RubricOpt: Self-Revision of Semantic Rubrics for Preference Optimization
- arxiv url: http://arxiv.org/abs/2610.29491v1
- Date: Wed, 21 Oct 2026 09:46:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 09:50:43.240778
- Title: RubricOpt: Self-Revision of Semantic Rubrics for Preference Optimization
- Title（参考訳）: RubricOpt: 推奨最適化のためのセマンティックルーブの自己修正
- Abstract要約: 我々は、優先順位最適化における行動基準をポリシーが修正するフレームワークであるOptを紹介した。
共有セマンティック表現は、タスク要求、嗜好データコントラスト、ルーリック節を結合する。
実験により, ルーブリックコンディショニングは通常のDPOよりも良好な結果が得られることが示された。
- 参考スコア（独自算出の注目度）: 21.21703214292865
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A model's failures can reveal gaps in the behavioral criteria guiding its training. We introduce RubricOpt, a framework that lets a policy revise these criteria within preference optimization. The policy diagnoses its own rubric-free outputs, retains requirements already covered by the rubric, and edits clauses that leave recurring failures unaddressed. A shared semantic representation connects task demands, preference-data contrasts, and rubric clauses, while a deterministic gate checks evidence references and fixed semantic anchors. The rubric then guides Direct Preference Optimization (DPO) during training, with preference pairs, labels, and the objective held fixed, and is removed at evaluation. Our analysis relates the local effect on rubric-free success to semantic alignment and a residual beyond the measured factors. Experiments on capability and open-ended generation benchmarks show that rubric conditioning can improve outcomes over ordinary DPO, with gains and regressions varying across models and datasets. A matched continuation isolates the contribution of revision from additional training and finds mixed incremental effects for the tested edit, whose feedback overlaps the evaluation set. RubricOpt thus brings the behavioral specification itself into the policy's feedback loop.
- Abstract（参考訳）: モデルの失敗は、そのトレーニングを導く行動基準のギャップを明らかにすることができる。
RubricOptは、ポリシーが優先順位最適化の中でこれらの基準を改訂することを可能にするフレームワークです。
このポリシーは、自身のルーリックフリーアウトプットを診断し、すでにルーリックでカバーされている要件を保持し、繰り返し発生する障害を未修正のままに残す条項を編集する。
共有セマンティック表現はタスク要求、嗜好データコントラスト、ルーリック節を結び、決定論的ゲートはエビデンス参照と固定セマンティックアンカーをチェックする。
次に、このルーブリックは、トレーニング中の直接選好最適化(DPO)をガイドし、優先ペア、ラベル、固定された目的を指定し、評価時に除去する。
本分析は, ルーブリックフリーの成功に対する局所的な影響と, セマンティックアライメント, および測定因子を超える残差について考察した。
機能とオープンな生成ベンチマークの実験は、ルーブリック条件付けが通常のDPOよりも改善し、モデルやデータセットによって利得と回帰が変化することを示している。
一致した継続は、追加のトレーニングからリビジョンの貢献を分離し、テストされた編集に対して混合的な効果を見つけ、フィードバックは評価セットと重なる。
これにより、RubricOptは行動仕様自体をポリシーのフィードバックループに含めます。
関連論文リスト
- TextualRL: Textual Reinforcement Learning for Context Management [55.50029888438733]
TextualRLは勾配のない強化学習フレームワークで、同じタスクから同じコンテキスト下でロールアウトするグループを扱う。
Groupwise Policy Critiqueは、タスク内の成功と失敗のロールアウトを対比し、保存する価値のある行動や補修仮説を定式化するためのクロスタスクの証拠を描いている。
Cross-Group Policy Updateは、グループ間でプールされた証拠に対する提案をレビューした。
論文 参考訳（メタデータ） (2026-10-13T11:47:32Z) - From Migration to Calibration: Preserving Agent Capabilities across Models, Jurisdictions, and Scale [4.321360447503974]
エージェントキャリブレーションを標準優先適応として定式化し,基本能力,技術環境,ユーザコンテキスト標準を定義する。
制限されたユーザトラジェクトリとテストを用いた自動校正ツールを今後の作業として提案する。
論文 参考訳（メタデータ） (2026-09-28T13:31:46Z) - Optimizing the Score, Losing Sight of the Task: Reward Hacking Across Weights, Selection, and Prompts [0.0]
プロキシエラーに対する到達可能な動作、最適化予算、永続的な適応形状の露出について示す。
正確な有限出力図示は、スコアリング欠陥の位置が各メソッドが好む振る舞いをどう変えるかを示す。
結果として得られるフレームワークは、最適化の選択と検証要件を結びつける。
論文 参考訳（メタデータ） (2026-09-22T08:12:58Z) - Offline Policy Evaluation as a decision support tool for designing Adaptive Experiments [0.0]
固定ランダム化実験(A/Bテスト)の履歴データを用いて,文脈的帯域幅に基づく適応実験の展開を知らせる方法について検討する。
我々は、規制された温暖化開始シミュレーションとオフ政治評価を組み合わせることで、あらかじめ特定された適応政策と非適応政策のポートフォリオをランク付けする。
論文 参考訳（メタデータ） (2026-08-10T20:13:14Z) - RRPO: Reference-Relative Policy Optimization with Stratified Conditional Rollouts [84.20747697259326]
グループ相対政策最適化(GRPO)は、検証可能なフィードバックからの強化学習において大きな効果を示している。
我々は,直接正当性に基づく優位性構築を参照相対的比較に置き換えることでGRPOを一般化するtextbfReference-Relative Policy Optimization (RRPO)を提案する。
我々は,タスクベーストラス検証に頼らずに,ポリシー最適化全体を通じてアンカーベースのコントラスト的優位性を用いてRRPOを評価する。
論文 参考訳（メタデータ） (2026-07-20T19:40:25Z) - CriterAlign: Criterion-Centric Rationale Alignment for Code Preference Judging [95.02210956333374]
本稿では,一対の選好評価にルーブリックに基づく判断を適応させる基準中心のフレームワークを提案する。
BigCodeRewardでは、CriterAlignはQwen2.5-VL-32Bモノリシック判事を60.4%から66.3%に改善した。
論文 参考訳（メタデータ） (2026-05-19T10:59:19Z) - Rubrics as an Attack Surface: Stealthy Preference Drift in LLM Judges [39.6038287387348]
LLMに基づく審査員の行動は自然なルーリックによってガイドされ、ベンチマークで検証される。
我々は、このワークフローにおいて、事前に認識されていない脆弱性を識別し、このワークフローは、Preference Drift (RIPD) という用語で表現する。
我々は、この脆弱性を選好攻撃によって悪用できることを示し、そこでは、ベンチマーク準拠者が、固定された人間またはターゲットドメインの信頼された参照から、ステア判断を編集する。
論文 参考訳（メタデータ） (2026-02-14T03:19:14Z) - In-context Ranking Preference Optimization [65.5489745857577]
In-context Ranking Preference Optimization (IRPO) フレームワークを提案する。
IRPOは標準のDPO手法よりも高い性能を示し、LLMと直接文脈内ランキング設定の整合性を強調した。
論文 参考訳（メタデータ） (2025-04-21T23:06:12Z) - Uncertainty-Penalized Direct Preference Optimization [52.387088396044206]
我々は、優先不確実性ペナル化スキームを導入し、DPOの悲観的な枠組みを開発する。
ペナル化は、不確実なサンプルの損失勾配を減衰させる損失の補正として機能する。
我々は,バニラDPOと比較して全体的な性能が向上し,高い不確実性選択/拒絶反応によるプロンプトの完成度も向上した。
論文 参考訳（メタデータ） (2024-10-26T14:24:37Z) - Post-Contextual-Bandit Inference [57.88785630755165]
コンテキストバンディットアルゴリズムは、電子商取引、医療、政策立案における非適応的なA/Bテストを置き換える傾向にある。
研究参加者の成果を改善することもでき、良い方針や最良の政策を特定できる可能性を高めることもできる。
研究の終盤における新規介入の信頼性推論を支援するため, 平均治療効果, サブグループ効果, あるいは新政策の価値について, 有効な信頼区間を構築したい。
論文 参考訳（メタデータ） (2021-06-01T12:01:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。