論文の概要: CheckDistill: Adaptive Checklist Distillation for Efficient Distributional Reward Modeling in Image Editing
- arxiv url: http://arxiv.org/abs/2610.26740v1
- Date: Mon, 19 Oct 2026 17:05:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 01:44:33.974224
- Title: CheckDistill: Adaptive Checklist Distillation for Efficient Distributional Reward Modeling in Image Editing
- Title(参考訳): CheckDistill: 画像編集における効率的な分散リワードモデリングのための適応型チェックリスト蒸留法
- Abstract要約: CheckDistillは、命令適応型チェックリストを内部化するポイントワイズ報酬モデリングフレームワークである。
チェックリスト、項目レベルの判断、次元レベルの合理化に関する特権教師の条件は、学生のスコアリングの軌跡を監督する。
CheckDistillは、MMRB2、MER-Bench、EditReward-Benchでそれぞれ72.30%、56.67%、82.90%のアキュラシーを達成している。
- 参考スコア(独自算出の注目度): 16.72729078802757
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning for instruction-guided image editing requires reward models that provide reliable, accurate, and efficient feedback. Direct scalar prediction compresses multidimensional editing preferences, whereas generative evaluators can expose their judgment through explicit reasoning. However, broad scoring criteria do not specify all instance-dependent editing and preservation constraints, and generating long reasoning trajectories is costly for online optimization. We introduce CheckDistill, a pointwise reward modeling framework that internalizes instruction-adaptive checklists. We decompose each editing condition into atomic, independently verifiable requirements and construct four-dimensional scoring labels together with structured verification evidence. After supervised score initialization, a privileged teacher conditions on checklists, item-level judgments, and dimension-level rationales to supervise the student's own scoring trajectories. A reliability-weighted on-policy self-distillation objective adjusts supervision at score tokens according to agreement between the teacher's expected scores and reference labels, while retaining candidate probability weights in a truncated token support. The deployed student directly predicts four score distributions without checklist inputs or explicit reasoning and aggregates their expectations into a scalar reward. CheckDistill achieves aggregate accuracies of 72.30%, 56.67% and 82.90% on MMRB2, MER-Bench and EditReward-Bench, respectively, exceeding the compared open-source baselines on all three metrics.
- Abstract(参考訳): 命令誘導画像編集のための強化学習には、信頼性、正確、効率的なフィードバックを提供する報酬モデルが必要である。
直接スカラー予測は多次元の編集選好を圧縮するが、生成的評価器は明示的な推論によってその判断を公開することができる。
しかし、幅広い評価基準は、全てのインスタンス依存の編集と保存の制約を規定するわけではなく、長い推論軌道を生成することは、オンライン最適化にコストがかかる。
命令適応型チェックリストを内在化するポイントワイド報酬モデリングフレームワークであるCheckDistillを紹介する。
我々は,各編集条件を原子的,独立に検証可能な要件に分解し,構造化された検証証拠とともに4次元スコアリングラベルを構築する。
教師によるスコアの初期化の後、教師はチェックリスト、項目レベルの判断、次元レベルの合理性に基づいて生徒のスコアの軌跡を監督する。
教師の期待スコアと基準ラベルとの一致に応じてスコアトークンの監督を調整し、切り捨てられたトークン支援において候補確率重みを保持する。
配置された学生は、チェックリスト入力や明示的な推論なしで4つのスコア分布を直接予測し、期待をスカラー報酬に集約する。
CheckDistillは、MMRB2、MER-Bench、EditReward-Benchで72.30%、56.67%、82.90%のアキュラシーを達成し、3つの指標で比較したオープンソースベースラインを上回っている。
関連論文リスト
- Epistemic Learning from Imprecise Annotation [9.75434908987426]
本稿では,クレダル集合(redal set)と呼ばれる,可塑性ラベリング分布の凸集合を監督し,予測分布の集合を学習するフレームワークを提案する。
我々は,最悪のケースとベストケースの損失を最小限に抑えるために訓練された2つの分類ヘッドと共有バックボーンを組み合わせた悲観的・最適化的クレダル分類器(POCC)を用いて,フレームワークをインスタンス化する。
POCCは、予測精度、キャリブレーション、不確実性に基づく選択的分類と競争ベースラインとの良好なバランスを達成する。
論文 参考訳(メタデータ) (2026-09-28T04:29:52Z) - Optimizing the Score, Losing Sight of the Task: Reward Hacking Across Weights, Selection, and Prompts [0.0]
プロキシエラーに対する到達可能な動作、最適化予算、永続的な適応形状の露出について示す。
正確な有限出力図示は、スコアリング欠陥の位置が各メソッドが好む振る舞いをどう変えるかを示す。
結果として得られるフレームワークは、最適化の選択と検証要件を結びつける。
論文 参考訳(メタデータ) (2026-09-22T08:12:58Z) - Verification-Aware Training for Speculative Decoding [57.84976863792784]
VAT(Verification-Aware Training)は、トレーニングステップ毎に検証をシミュレートし、その結果の受け入れパターンと拒否パターンを監督するプラグインフレームワークである。
VATはトレーニング対象のみを変更するため、ドラフトアーキテクチャやターゲットモデル、推論手順を変更することなく、既存のメソッドの上にレイヤー化することができる。
VATは平均受理期間を最大11.4%改善し、ウォールクロックのスピードアップを最大8.7%向上させ、数学、コード、チャットベンチマークで一貫した利益を得ている。
論文 参考訳(メタデータ) (2026-08-31T01:42:10Z) - AutoVerifier: Residual-Guided Non-Parametric Optimization for Reference-Based Answer Verification [5.990350746292239]
AutoVerifierは繰り返し検証エラーから暗黙の仮定を学ぶ。
4つの検証器ベンチマークの実験により、AutoVerifierは最先端の検証器を大きなマージンで上回ることを示した。
論文 参考訳(メタデータ) (2026-08-26T11:06:40Z) - V-Rubrics: Visual Faithfulness via Rubric-Based Reinforcement Learning [59.47823383593251]
視覚サンプルモデルでは、視覚的証拠が不十分な流動的な答えを生み出すことができる。
本稿では,参照応答を原子命題に分解するVisuals-Based Reinforcement Learningを紹介する。
我々は,コンポーネントワイド,プレフィックスローカライズされたルーリッククレジットを用いて,同じSFTチェックポイントに基づいてモデルをトレーニングする。
論文 参考訳(メタデータ) (2026-08-26T09:40:46Z) - OmniEdit-Bench: A Comprehensive Benchmark for Instruction-based Video Editing [53.21868575804758]
命令ベースのビデオ編集(IVE)のための包括的かつ構造化されたベンチマークを導入する。
本ベンチマークでは,編集タスクを空間,時間,音声,参照ベースの編集など,複数のビデオ特化次元に分解する。
本研究では,4つの相補的な次元(精度,保存性,リアリズム,一貫性)から編集品質を評価する評価フレームワークを提案する。
論文 参考訳(メタデータ) (2026-08-05T16:58:48Z) - Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。
その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
論文 参考訳(メタデータ) (2026-06-17T17:54:04Z) - Prompt-Level Reward Specifications for Open-Ended Post-Training [43.215398565987265]
訓練後のオープンエンドのメリットは、迅速な成功条件を明確にする報酬である。
本稿では、報酬仕様と報酬仕様を分離するプロンプトレベル報酬仕様フレームワークを提案する。
論文 参考訳(メタデータ) (2026-05-28T02:52:06Z) - CriterAlign: Criterion-Centric Rationale Alignment for Code Preference Judging [95.02210956333374]
本稿では,一対の選好評価にルーブリックに基づく判断を適応させる基準中心のフレームワークを提案する。
BigCodeRewardでは、CriterAlignはQwen2.5-VL-32Bモノリシック判事を60.4%から66.3%に改善した。
論文 参考訳(メタデータ) (2026-05-19T10:59:19Z) - Latent Veracity Inference for Identifying Errors in Stepwise Reasoning [78.29317733206643]
本稿では、精度割当てに対する離散探索アルゴリズムであるVeracity Search(VS)を紹介する。
その他の方法では、後続の精度値よりも後続の分布において難解な推論を行う。
VSを一般化し、新しいコンテキストで正確なゼロショットの精度推論を可能にする。
論文 参考訳(メタデータ) (2025-05-17T04:16:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。