論文の概要: TryOnReward: Learning Foveated Consistency for Reinforcement Fine-Tuning of Virtual Try-On

• arxiv url: http://arxiv.org/abs/2609.13259v1
• Date: Sun, 06 Sep 2026 08:58:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.126251
• Title: TryOnReward: Learning Foveated Consistency for Reinforcement Fine-Tuning of Virtual Try-On
• Title（参考訳）: TryOnReward: 仮想トライオンの微調整強化のための定型一貫性の学習
• Abstract要約: 仮想トライオン(VTON)に適した微粒な報酬モデルであるTryOnRewardを提案する。 視覚言語によるバックボーン上に構築され、グローバルなショートカット学習を避けるために、関連する領域のそれぞれの品質を基盤とする、ファベーションキャリブレーションの目標が採用されている。 実験により、TryOnRewardは人間の嗜好調整においてジェネリックな判断を著しく上回っていることが確認された。
• 参考スコア（独自算出の注目度）: 15.024341865309879
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Virtual Try-On (VTON) aims to dress a person with the reference garment, producing visually reasonable results aligned with human preferences. Turning this preference-oriented goal into an actionable objective relies on a scoring function aligned with human taste. However, classic fidelity metrics exhibit weak correlation with human judgments, and generic VLMs fail to provide the discriminative granularity demanded by try-on quality evaluation, which hinges on faithfully preserving garment and person details. This shortcoming is further exacerbated in the reinforcement fine-tuning (RFT) optimization and leads to severe reward hacking. To this end, we present TryOnReward, a fine-grained reward model tailored for VTON. Built on a vision-language backbone, it adopts a foveation calibration objective that grounds each quality dimension in the relevant region to avoid global shortcut learning. Meanwhile, TryOnReward jointly optimizes pairwise preferences and per-dimension quality scores via margin-aware supervision, leveraging both relative and absolute quality signals. For model training and evaluation, we build TryOnReward-100K, a human-annotated per-dimension rating dataset, alongside TryOn-Bench and TryOnRewardBench, two benchmarks covering diverse real scenarios. Extensive experiments confirm that TryOnReward significantly outperforms generic judges in human preference alignment, and when serving as the RFT reward function, it consistently yields human-preferred try-on results across multiple baselines.
• Abstract（参考訳）: 仮想トライオン(Virtual Try-On, VTON)は、人間の好みに合わせて視覚的に合理的な結果をもたらす、基準服を身につけることを目的としている。 この嗜好指向の目標を行動可能な目的に変えることは、人間の嗜好に沿ったスコアリング機能に依存する。 しかしながら、古典的忠実度尺度は人間の判断と弱い相関を示しており、一般的なVLMは、衣服や人物の細部を忠実に保存する上で、試行品質評価によって要求される識別的粒度を提供することができない。 この欠点は、強化微調整(RFT)最適化においてさらに悪化し、深刻な報酬のハッキングにつながる。 この目的のために,VTONに適した微粒な報酬モデルであるTryOnRewardを提案する。 視覚言語によるバックボーン上に構築され、グローバルなショートカット学習を避けるために、関連する領域のそれぞれの品質次元を根拠とした、ファベーションキャリブレーションの目標が採用されている。 一方、TryOnRewardは、相対的な品質信号と絶対的な品質信号の両方を活用することで、ペアワイズ選好とディメンジョン毎の品質スコアを共同で最適化する。 モデルトレーニングと評価のために、TryOn-BenchとTryOnRewardBenchという、さまざまな実シナリオをカバーする2つのベンチマークとともに、人間による注釈付き1次元評価データセットであるTryOnReward-100Kを構築した。 総合的な実験により、TryOnRewardは人間の選好アライメントにおいてジェネリックな判断を著しく上回り、RFT報酬関数として機能すると、複数のベースラインにわたって人間の優先的な試行結果が得られることが確認された。

関連論文リスト

• VA-Judger: Reward Modeling from Human Preference Feedback for Joint Video-Audio Generation [79.34043102155964]
  共同ビデオオーディオ生成のためのチェーン・オブ・オムニ・リワードモデルであるVA-Judgerを提案する。 VA-Judgerは,ドメイン内評価とドメイン外評価の両方において,ヒトの嗜好を予測する上で,指標ベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2026-08-19T06:53:14Z)
• Reliability-Aware LLM Alignment from Inconsistent Human Feedback [8.848575171204729]
  本稿では、不整合性フィードバックの影響を軽減するために、信頼性誘導型優先度最適化(RGPO)を提案する。 RGPOはアノテータの信頼性を推定し、ノイズの多い人間のフィードバックから潜在する真実ラベルを推定し、ロバストな嗜好を特定する。 実験により、RGPOはトレーニングデータにおける矛盾やノイズを効果的に低減し、広く採用されているRLHFベースラインと比較して優れた性能を実現する。
  論文  参考訳（メタデータ） (2026-07-07T20:13:28Z)
• A Regret Minimization Framework on Preference Learning in Large Language Models [33.19510618137341]
  検証可能な報酬による強化学習は、タスク固有の検証に頼って推論集約的なタスクの進行を可能にした。 多くの現実的な言語タスクは信頼性の高い検証器を装備することは困難であり、人間のフィードバックからの強化学習への依存度が高まっている。 本稿では、RegretベースのPreference Optimization $(textbfRePO)$を紹介します。
  論文  参考訳（メタデータ） (2026-06-08T07:18:44Z)
• Personalized RewardBench: Evaluating Reward Models with Human Aligned Personalization [12.964518425036168]
  パーソナライズド・リワードベンチ(Personalized RewardBench)は、パーソナライズされた好みをモデル化するための報酬モデルの能力を厳格に評価する新しいベンチマークである。 選択された応答対と拒否された応答対は、ユーザ固有のルーリックへの厳密な固執(または違反)に基づいて構成し、好みの区別が個人ごとに一意に調整されていることを保証します。 本ベンチマークでは,既存のベースラインと比較して,Best-of-N(BoN)サンプリングとPPO(Porximal Policy Optimization)の両方において,ダウンストリーム性能と有意に高い相関関係を示した。
  論文  参考訳（メタデータ） (2026-04-08T17:55:00Z)
• CausalRM: Causal-Theoretic Reward Modeling for RLHF from Observational User Feedbacks [65.44788139573144]
  我々は、スケーラブルで費用対効果の高い代替手段として、観察的報酬モデル(観察的ユーザフィードバックを伴う報酬モデル)を導入します。 CaulRMは、観察フィードバックから偏見のない報酬モデルを学ぶことを目指している。 実験では、CausalRMがノイズや偏りのある観測フィードバックから正確な報酬信号を効果的に学習することを検証する。
  論文  参考訳（メタデータ） (2026-03-19T10:37:34Z)
• K-Sort Eval: Efficient Preference Evaluation for Visual Generation via Corrected VLM-as-a-Judge [51.93484138861584]
  視覚生成モデルの急速な開発により、よりスケーラブルで人間に合わせた評価方法の必要性が高まっている。 K-Sort Evalは,後方補正と動的マッチングを統合した信頼性と効率的なVLMに基づく評価フレームワークである。 実験の結果、K-Sort EvalはK-Sort Arenaと一致した評価結果を提供する。
  論文  参考訳（メタデータ） (2026-02-10T05:07:46Z)
• Reward-Augmented Data Enhances Direct Preference Alignment of LLMs [63.32585910975191]
  報奨条件付き大言語モデル(LLM)を導入し、データセット内の応答品質のスペクトル全体から学習する。 当社のアプローチは,DPOをかなりのマージンで継続的に向上させることを示す。 本手法は,嗜好データの有用性を最大化するだけでなく,未学習の問題も軽減し,データ拡張を超えてその広範な効果を実証する。
  論文  参考訳（メタデータ） (2024-10-10T16:01:51Z)
• Confidence-aware Reward Optimization for Fine-tuning Text-to-Image Models [85.96013373385057]
  人間のフィードバックデータに基づいて訓練された報酬関数を持つ微調整テキスト・ツー・イメージモデルは、モデル行動と人間の意図との整合性を実証した。 しかし、そのような報酬モデルによる過度な最適化は、単にプロキシの目的として機能し、微調整されたモデルの性能を損なう可能性がある。 本研究では,テキストプロンプトの集合に対して推定された報酬モデル信頼度に基づいてアライメントを強化する手法であるTextNormを提案する。
  論文  参考訳（メタデータ） (2024-04-02T11:40:38Z)
• REBEL: Reward Regularization-Based Approach for Robotic Reinforcement Learning from Human Feedback [61.54791065013767]
  報酬関数と人間の嗜好の相違は、現実世界で破滅的な結果をもたらす可能性がある。 近年の手法は、人間の嗜好から報酬関数を学習することで、不適応を緩和することを目的としている。 本稿では,ロボットRLHFフレームワークにおける報酬正規化の新たな概念を提案する。
  論文  参考訳（メタデータ） (2023-12-22T04:56:37Z)
• AlignDiff: Aligning Diverse Human Preferences via Behavior-Customisable Diffusion Model [69.12623428463573]
  AlignDiffは、人間の好みを定量化し、抽象性をカバーし、拡散計画をガイドする新しいフレームワークである。 ユーザがカスタマイズした動作と正確に一致し、効率的に切り替えることができます。 選好マッチング,スイッチング,カバーにおいて,他のベースラインに比べて優れた性能を示す。
  論文  参考訳（メタデータ） (2023-10-03T13:53:08Z)
• Zeroth-Order Optimization Meets Human Feedback: Provable Learning via Ranking Oracles [16.916111322004557]
  ブラックボックスの客観的関数は、ランクのオラクルを通してのみ測定できる。 ゼロ階最適化アルゴリズムZO-RankSGDを導入する。 また,ZO-RankSGDは,数ラウンドのフィードバックだけで生成した画像のディテールを大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-03-07T09:20:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。