Fugu-MT 論文翻訳(概要): Auto-Rubric: Learning to Extract Generalizable Criteria for Reward Modeling

論文の概要: Auto-Rubric: Learning to Extract Generalizable Criteria for Reward Modeling

arxiv url: http://arxiv.org/abs/2510.17314v1
Date: Mon, 20 Oct 2025 09:01:37 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-25 00:56:39.377529
Title: Auto-Rubric: Learning to Extract Generalizable Criteria for Reward Modeling
Title（参考訳）: オートルーブリック:リワードモデリングのための一般化可能な基準を抽出する学習
Authors: Lipeng Xie, Sen Huang, Zhuo Zhang, Anni Zou, Yunpeng Zhai, Dingchao Ren, Kezun Zhang, Haoyuan Hu, Boyin Liu, Haoran Chen, Zhaoyang Liu, Bolin Ding,
Abstract要約: リワードモデルは、大規模言語モデルと人間の価値の整合に不可欠であるが、その開発はコストのかかる選好データセットと低い解釈可能性によって妨げられている。検証誘導型 textbfPropose-Evaluate-Revise パイプラインを用いて,高品質でクエリ固有のルーリックを推論する,トレーニング不要のフレームワークを構築した。わずか70の選好ペア(ソースデータの1.5%)を使用することで、Qwen3-8Bのようなより小型のモデルでも、専門的で完全に訓練されたモデルよりも優れた性能を発揮する。
参考スコア（独自算出の注目度）: 37.237020102873
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Reward models are essential for aligning Large Language Models (LLMs) with human values, yet their development is hampered by costly preference datasets and poor interpretability. While recent rubric-based approaches offer transparency, they often lack systematic quality control and optimization, creating a trade-off between scalability and reliability. We address these limitations with a novel, training-free framework built on a key assumption: \textit{evaluation rubrics underlying human preferences exhibit significant generalization ability across diverse queries}, a property that enables remarkable data efficiency. Our two-stage approach first infers high-quality, query-specific rubrics using a validation-guided \textbf{Propose-Evaluate-Revise} pipeline. Second, it generalizes these granular rubrics into a compact, non-redundant core set by maximizing an \textbf{information-theoretic coding rate}. The final output is an interpretable, hierarchical "Theme-Tips" rubric set. Extensive experiments demonstrate the framework's exceptional data efficiency and performance. Critically, using just 70 preference pairs (1.5\% of the source data), our method also empowers smaller models like Qwen3-8B to outperform specialized, fully-trained counterparts. This work pioneers a scalable, interpretable, and data-efficient path for reward modeling.
Abstract（参考訳）: リワードモデルは、Large Language Models(LLM)と人的価値の整合に不可欠であるが、その開発はコストのかかる選好データセットと低い解釈可能性によって妨げられている。最近のルーリックベースのアプローチは透明性を提供するが、しばしば体系的な品質管理と最適化が欠如しており、スケーラビリティと信頼性のトレードオフを生み出している。人間の嗜好に根ざした‘textit{evaluation rubrics’は、データ効率を著しく向上させる特性である多様なクエリーにまたがる大きな一般化能力を示す。我々の2段階のアプローチはまず、バリデーション誘導された \textbf{Propose-Evaluate-Revise} パイプラインを用いて、高品質でクエリ固有のルーリックを推論する。第二に、これらの粒状ルーブリックをコンパクトで非冗長なコア集合に一般化し、 \textbf{information-theoretic coding rate} を最大化する。最後の出力は解釈可能で階層的な"Theme-Tips"ルーリック集合である。大規模な実験では、フレームワークの例外的なデータ効率とパフォーマンスが実証されている。重要な点として、70組の選好ペア(ソースデータの1.5パーセント)を使用することで、Qwen3-8Bのような小さなモデルでも、専門的で完全に訓練されたモデルよりも優れたパフォーマンスを実現できる。この作業は、報酬モデリングのためのスケーラブルで解釈可能で、データ効率のよいパスの先駆者です。

関連論文リスト

Explainable Preference Learning: a Decision Tree-based Surrogate Model for Preferential Bayesian Optimization [0.0]
本稿では,カテゴリデータと連続データの両方を扱うことができる,本質的に解釈可能な決定木に基づくサロゲートモデルを提案する。我々のモデルは、スパイク関数に対するGPベースの代替よりも優れており、非スパイク関数に対してわずかに低い性能しか持たない。実世界の寿司データセットに適用し、個人の寿司嗜好を学習する能力を示す。
論文参考訳（メタデータ） (2025-12-16T10:17:31Z)
The Harder The Better: Maintaining Supervised Fine-tuning Generalization with Less but Harder Data [6.136716058442803]
我々は,データ選択とアノテーション指導のための認知科学に触発されたフレームワークTHTB(The Harder The Better)を提案する。実験の結果、THTBは、データの5%しかトレーニングされていないモデルを、フルデータセットトレーニングを上回るパフォーマンスで実現している。さらにTHTBは、垂直領域で効果的なガイダンスを提供するため、2%のデータでトレーニングされたモデルが、はるかに大きなデータセットでトレーニングされたモデルを上回ることができる。
論文参考訳（メタデータ） (2025-10-14T08:25:24Z)
SPaRFT: Self-Paced Reinforcement Fine-Tuning for Large Language Models [51.74498855100541]
大規模言語モデル(LLM)は、強化学習(RL)による微調整時に強い推論能力を示す。トレーニング対象のモデルの性能に基づいて,効率的な学習を可能にする自己評価学習フレームワークである textbfSPaRFT を提案する。
論文参考訳（メタデータ） (2025-08-07T03:50:48Z)
Improving Model Classification by Optimizing the Training Dataset [3.987352341101438]
Coresetsはデータ削減に対する原則的なアプローチを提供し、大規模なデータセットでの効率的な学習を可能にする。下流の分類品質を向上させるために,コアセット生成プロセスを調整するための体系的なフレームワークを提案する。
論文参考訳（メタデータ） (2025-07-22T16:10:11Z)
Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
論文参考訳（メタデータ） (2025-05-21T07:16:44Z)
Multi-Level Aware Preference Learning: Enhancing RLHF for Complex Multi-Instruction Tasks [81.44256822500257]
RLHFは、人工知能システムと人間の好みを結びつける主要なアプローチとして登場した。 RLHFは、複雑なマルチインストラクションタスクに直面すると、不十分なコンプライアンス機能を示す。本稿では,マルチインストラクション能力を向上させる新しいMAPL(Multi-level Aware Preference Learning)フレームワークを提案する。
論文参考訳（メタデータ） (2025-05-19T08:33:11Z)
Towards Robust Universal Information Extraction: Benchmark, Evaluation, and Solution [66.11004226578771]
既存の堅牢なベンチマークデータセットには2つの重要な制限がある。単一の情報抽出(IE)タスクに対して、限られた範囲の摂動しか生成しない。 LLM(Large Language Models)の強力な生成機能を考慮すると、ruIE-Benchと呼ばれるRobust UIEのための新しいベンチマークデータセットを導入する。データのうち、 textbf15% しかトレーニングしない場合、3つの IE タスクに対して、平均 textbf7.5% の相対的なパフォーマンス改善につながることを示す。
論文参考訳（メタデータ） (2025-03-05T05:39:29Z)
TD3: Tucker Decomposition Based Dataset Distillation Method for Sequential Recommendation [50.23504065567638]
本稿では,メタラーニングフレームワークにおける textbfDataset textbfDistillation 手法である textbfTD3 を紹介する。 TD3は、オリジナルのデータから完全に表現力のある合成配列の要約を蒸留する。拡張技術により、学習者は合成要約を忠実に適合させ、アンプループでの正確な更新を確実にすることができる。
論文参考訳（メタデータ） (2025-02-05T03:13:25Z)
In2Core: Leveraging Influence Functions for Coreset Selection in Instruction Finetuning of Large Language Models [37.45103473809928]
In2Coreアルゴリズムは,トレーニングモデルと評価サンプルの相関関係を解析し,コアセットを選択する。 LLMの微調整データにアルゴリズムを適用することで、トレーニングデータの50%で同様の性能を実現することができる。
論文参考訳（メタデータ） (2024-08-07T05:48:05Z)
One-Shot Learning as Instruction Data Prospector for Large Language Models [108.81681547472138]
textscNuggetsはワンショット学習を使用して、広範なデータセットから高品質な命令データを選択する。我々は,textscNuggets がキュレートした例の上位1%による命令チューニングが,データセット全体を用いた従来の手法よりも大幅に優れていることを示す。
論文参考訳（メタデータ） (2023-12-16T03:33:12Z)
HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文参考訳（メタデータ） (2022-06-15T19:10:35Z)
Long Document Summarization with Top-down and Bottom-up Inference [113.29319668246407]
本稿では、2つの側面の要約モデルを改善するための原則的推論フレームワークを提案する。我々のフレームワークは、トップレベルが長距離依存性をキャプチャするドキュメントの階層的な潜在構造を前提としています。本稿では,様々な要約データセットに対して提案手法の有効性を示す。
論文参考訳（メタデータ） (2022-03-15T01:24:51Z)
Data Summarization via Bilevel Optimization [48.89977988203108]
シンプルだが強力なアプローチは、小さなサブセットのデータを操作することだ。本研究では,コアセット選択を基数制約付き双レベル最適化問題として定式化する汎用コアセットフレームワークを提案する。
論文参考訳（メタデータ） (2021-09-26T09:08:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。