論文の概要: Intra-Rubric Reward Divergence: Mitigating Rubric Hacking through Latent Dimension Recovery and Balancing
- arxiv url: http://arxiv.org/abs/2610.26685v1
- Date: Mon, 19 Oct 2026 16:31:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 01:58:53.368439
- Title: Intra-Rubric Reward Divergence: Mitigating Rubric Hacking through Latent Dimension Recovery and Balancing
- Title（参考訳）: Rubric Reward Divergence:潜伏次元回復とバランシングによるRubric Hackingの軽減
- Abstract要約: ルービリックをサブ次元に分解することで,ルービリック・リワード・ディバージェンスを明らかにする。
本報告では,Fair-Race Dimension Aggregation(FRDA)とResidual Semantic Dimension Completion(RSDC)を提案する。
チャット、科学、医療分野での実験は、FRDAがより安定した改善でルーリックハッキングを緩和していることを示している。
- 参考スコア（独自算出の注目度）: 7.198652690629008
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Rubric hacking limits both performance and training robustness in rubric-based reinforcement learning. By decomposing rubrics into sub-dimensions, we reveal the Intra-Rubric Reward Divergence: as the total rubric score increases, certain sub-dimension scores systematically decrease, suggesting the model sacrifices specific quality aspects to optimize the aggregated objective. From the sub-dimension perspective, we observe two phenomena: (1) dimension imbalance, causing the policy to favor heavily covered dimensions; (2) dimension absence, leading to a systematic gap between rewards and true quality. To mitigate these issues, we propose Fair-Race Dimension Aggregation (FRDA), which has generations compete within each dimension separately to mitigate rubric imbalance, and Residual Semantic Dimension Completion (RSDC), which mines evaluation dimensions implicitly encoded in a holistic preference signal to complete rubric coverage. Experiments in chat, science, and medical domains indicate that FRDA mitigates rubric hacking with more stable improvements, while RSDC outperforms both single-reward training and naive multi-reward aggregation, yielding generally higher-quality responses.
- Abstract（参考訳）: ルーブリックハッキングは、ルーブリックベースの強化学習におけるパフォーマンスとトレーニングの堅牢性の両方を制限する。
ゴムをサブディメンジョンに分解することにより,全ルーブルのスコアが増加するにつれて,特定のサブディメンションスコアが体系的に減少し,モデルが特定の品質面を犠牲にして集約された目的を最適化することを示す。
サブ次元の観点からは,(1) 次元の不均衡,(2) 次元の欠如,(2) 報酬と真の品質の間に体系的なギャップが生じる,という2つの現象が観察される。
これらの問題を緩和するために、各次元で世代が個別に競合するFair-Race Dimension Aggregation (FRDA) と、全体的選好信号で暗黙的に符号化された評価次元を抽出して、完全なルーリックカバレッジを抑えるResidual Semantic Dimension Completion (RSDC) を提案する。
チャット、科学、医療分野での実験では、FRDAはルーリックハッキングをより安定した改善で軽減し、RSDCはシングルリワードトレーニングとナイーブマルチリワードアグリゲーションの両方を上回り、一般的には高品質な応答をもたらす。
関連論文リスト
- ReDiS: Reasoning-Diagnosis Self-Evolution for Multimodal Reasoning in Remote Sensing [53.65780048695954]
我々は、推論探索と候補評価を分離するフレームワークである textbfReasoning-Diagnosis-Self-Evolution (ReDiS) を導入する。
多様な視覚的証拠を探索するtextbfReasoner と、完全な候補セットを共同で評価する textbfDiagnoser である。
LHRS-Bench, MME-RS, CHOICEの実験では、Qwen3.5バックボーンを0.8B, 2B, 4Bスケールで一貫した改善が見られた。
論文 参考訳（メタデータ） (2026-10-13T13:38:02Z) - Silence and Noise: Resolving Suppression and Overvaluation in Multimodal Entity Alignment [18.621015338747508]
マルチモーダルエンティティアライメント(MMEA)は、ヘテロジニアス知識グラフ(KG)の統合の基礎である
既存のパラダイムは、不完全なモダリティやクロスグラフ構造的非対称性に批判的に弱いままである。
ALMEAは、低レベル特徴再構成と高レベル遅延空間アライメントの双方向フィードバックループを確立する、生成・校正フレームワークである。
論文 参考訳（メタデータ） (2026-10-12T03:14:36Z) - Refining Multidimensional Video Reward Models via Disentangled Influence Functions [23.990715388650557]
本稿では,次元別監視リスクを効率的に見積もるアンタングルの影響フレームワークを提案する。
極端に高リスクなサンプルを除去する次元差分法と、高リスクの監督をソフトに下方修正する次元差分法という2つの次元差分法を導入する。
論文 参考訳（メタデータ） (2026-05-27T09:26:46Z) - Explaining and Breaking the Safety-Helpfulness Ceiling via Preference Dimensional Expansion [75.37308041820552]
大規模言語モデルの多目的アライメントの領域では、異なる人間の嗜好のバランスがゼロサム競合として現れることが多い。
提案するMORA: Multi-Objective Reward Assimilationは, 複数次元インテントを組み込むために, 元の質問を書き換えることにより, 報酬の多様性を拡大し, シングルリワードプロンプトを分離する。
論文 参考訳（メタデータ） (2026-05-12T07:38:59Z) - Robust Diabetic Retinopathy Grading Using Dual-Resolution Attention-Based Deep Learning with Ordinal Regression [0.0]
本研究は糖尿病網膜症診断のための頑健なデュアルレゾリューション深層学習フレームワークを提案する。
注意に基づく特徴融合と順序回帰を統合し、データセット間の一般化を改善する。
実験の結果, APTOS検証セットでは0.88の2次重み付きカッパ(QWK), 見えないMessidor-2データセットでは0.68の2次重み付きカッパ(QWK)が達成された。
論文 参考訳（メタデータ） (2026-04-19T09:27:37Z) - Evaluating the Efficiency of Latent Spaces via the Coupling-Matrix [0.5013248430919224]
本稿では,次元間の依存関係を直接定量化する冗長指数rho(C)を導入する。
低rho(C)は高い分類精度または低い再構成誤差を確実に予測する一方、高い冗長性は性能崩壊と関連付けられる。
木構造型Parzen Estimator (TPE) は低ロー領域を優先的に探索し,rho(C) がニューラルアーキテクチャ探索を誘導し,冗長性を考慮した正規化ターゲットとして機能することを示唆する。
論文 参考訳（メタデータ） (2025-09-08T03:36:47Z) - NDCG-Consistent Softmax Approximation with Accelerated Convergence [67.10365329542365]
本稿では,ランキングの指標と直接一致した新たな損失定式化を提案する。
提案したRG損失を高効率な Alternating Least Squares (ALS) 最適化手法と統合する。
実世界のデータセットに対する実証的な評価は、我々のアプローチが同等または上位のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2025-06-11T06:59:17Z) - A Simple and Generalist Approach for Panoptic Segmentation [57.94892855772925]
本稿では,深部エンコーダ-浅部デコーダアーキテクチャに基づく簡易な一般化フレームワークを提案する。
これはトレーニング中の不均衡に起因することを示し、その削減のための新しい方法を提案する。
提案手法は,MS-COCOデータセット上で55.1のPQを実現する。
論文 参考訳（メタデータ） (2024-08-29T13:02:12Z) - Multi-Dimensional Optimization for Text Summarization via Reinforcement Learning [12.083649916114402]
本研究では,4次元にまたがるバランスの取れた要約を生成するために,多目的強化学習を提案する。
従来のROUGEベースの報酬が参照サマリーに依存しているのとは違って、QAベースの報酬モデルが人間の好みに合わせている。
提案手法は, 代表的な要約データセットのベースラインモデルと比較して, かなりの性能向上を達成した。
論文 参考訳（メタデータ） (2024-06-01T05:15:12Z) - Balanced Classification: A Unified Framework for Long-Tailed Object
Detection [74.94216414011326]
従来の検出器は、分類バイアスによる長期データを扱う際の性能劣化に悩まされる。
本稿では,カテゴリ分布の格差に起因する不平等の適応的是正を可能にする,BAlanced CLassification (BACL) と呼ばれる統一フレームワークを提案する。
BACLは、さまざまなバックボーンとアーキテクチャを持つさまざまなデータセット間で、一貫してパフォーマンス改善を実現している。
論文 参考訳（メタデータ） (2023-08-04T09:11:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。