論文の概要: Self-Verifier Capture in Unified Visual Generators: Diagnosing and Repairing Closed-Loop Self-Reward

• arxiv url: http://arxiv.org/abs/2610.16500v1
• Date: Mon, 12 Oct 2026 09:48:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 22:54:32.286498
• Title: Self-Verifier Capture in Unified Visual Generators: Diagnosing and Repairing Closed-Loop Self-Reward
• Title（参考訳）: 統一型ビジュアルジェネレータの自己検証:閉ループ自己回帰の診断と修復
• Abstract要約: 統合されたビジュアルジェネレータは、デコードのない自己供給型報酬のために理解経路を再利用することができる。 自己回帰は上昇し、独立して測定された品質は低下します。
• 参考スコア（独自算出の注目度）: 0.6609675074115839
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image-space reward requires decoding and a separate judge; unified visual generators can instead reuse their understanding pathway for decode-free, self-supplied reward. Optimizing against this verifier closes the self-reward loop; shared trainable weights let one update move generation and scoring even with the reward gradient stopped. We call the resulting failure self-verifier capture: self-reward rises while independently measured quality falls. Matched semantic/denoising by shared/frozen cells on Scale-RAE isolate two routes: the policy exploits on-manifold blind spots of a frozen semantic judge, while shared updates additionally rewrite the judge. A frozen judge also becomes stale, and repeated self-refresh yields progressively weaker recoveries. The diagnosis yields a two-part repair: locking the warmed reward read blocks rewriting, while sparse, parameter-disjoint external anchors counter residual exploitation. Unanchored rollouts retain semantic reward across multiple latent noise levels, providing dense latent reward that terminal image-space judging cannot supply, while a drift-triggered controller allocates anchors to high-drift rollouts and propagates their calibration within each group. At matched budgets, the controller improves on fixed-dose anchoring, increasingly so as coverage tightens. Both the unanchored failure and the repair transfer to the higher-performing, architecturally distinct Show-o2. Across both bases, the complete method significantly outperforms a construct-matched every-rollout judge on GenEval and DPG-Bench while externally scoring only 1/16 of rollouts. At 1/32 coverage, it scores higher in all four comparisons and remains jointly non-inferior.
• Abstract（参考訳）: 統合されたビジュアルジェネレータは、デコードのない自己供給型報酬のために理解経路を再利用することができる。 この検証器に対する最適化は自己回帰ループを閉じる; 共有トレーニング可能な重みは、報酬勾配が止まったとしても、1つの更新とスコアを発生させる。 自己回帰は上昇し、独立して測定された品質は低下します。 Scale-RAE上の共有/凍結細胞によるマッチングされたセマンティック/デノベーションは、2つのルートを分離する。 凍結した裁判官も老朽化し、反復的な自己再生は徐々に回復を弱める。 温められた報酬ブロックをロックする 書き直し、一方、スパースでパラメータ非結合な外部アンカーは、残留的なエクスプロイトに対抗する。 未知のロールアウトは複数の遅延ノイズレベルにわたってセマンティック報酬を保持し、端末画像空間の判定が供給できないような遅延報酬を提供する一方、ドリフトトリガーのコントローラはアンカーを高ドリフトのロールアウトに割り当て、各グループ内のキャリブレーションを伝播させる。 一致した予算で、コントローラは固定量アンカーを改善し、カバーが締められるようにする。 未完成の故障と修理はどちらも高い性能、アーキテクチャ上はShow-o2に移行した。 両基地間では、完全法はGenEval と DPG-Bench で構成整合された全ロールアウトの判定よりも大幅に優れ、外付けのロールアウトは 1/16 のみである。 1/32のカバレッジでは、すべての4つの比較でスコアが高く、共同で非劣悪なままである。

関連論文リスト

• Self-Repairing Recurrent Ensembles for Real-Time Recovery from Distribution Shift [11.755981321328475]
  専門家が修正ラベルを供給できない場合、政策は崩壊する可能性がある。 本稿では,このような変化から政策を回復させる手法を提案する。
  論文  参考訳（メタデータ） (2026-10-02T12:58:36Z)
• Self-Confirming Superposition Traps in Reinforcement Learning [62.71685993550818]
  強化学習はエージェントのポリシーによって選択されたデータに基づいて表現し、その結果のリターンを使って次の選択を導く。 これらのデータに対して表現フィッティングがグローバルに最適である場合でも,このループは低リターンポリシーを維持可能であることを示す。
  論文  参考訳（メタデータ） (2026-09-26T21:56:26Z)
• ReNFT: Repairing Mode Collapse in Reward Post-Training via Internal Probability-Mass Recalibration [84.10540890311843]
  再学習後、必然的に確率質量をいくつかの報奨モード、即時多様性を消去するモード崩壊に集中させる。 本稿では、内部の確率質量再校正により、高逆低ダイバーシティアダプタを修復するReNFTを提案する。 PickScoreとGenEvalでは、ReNFTはNFTの報酬の98.9%と99.0%を保持し、DreamSim-Divは58.8%、55.0%改善している。
  論文  参考訳（メタデータ） (2026-08-30T14:13:50Z)
• RecurSE: Bounded Recursive Self-Evaluation for LLM Rubric Judges [48.831446371402414]
  RecurSEは、訓練可能な裁判官と同期されたポリシーコピーチェッカーをペアにして、裁判官のメタルーブリックに対する推論を監査し、スカラープロセスの報酬を提供する。 本稿では,RecurSEが医療,ペアワイド,要約,プロフェッショナルベンチマークにおいて一貫した一般化を実現していることを示す。
  論文  参考訳（メタデータ） (2026-08-25T08:35:04Z)
• A Shared Encoder Is Not a Shared Task: Conditional Comparison for Deep Expert Pools [0.0]
  凍結共有表現上の交差評価されたヘッドは、浅い交換スコアの補間共役を継承する。 埋め込み空間における条件付き二識別器の不一致は、両方の盲点を解消することを示す。 2軸ゲートは、一致したトレーニング予算で交換や新規トリガーよりも頭が少なく、より良い意思決定品質が得られる。
  論文  参考訳（メタデータ） (2026-08-21T05:33:28Z)
• Survive or Collapse: The Asymmetric Roles of Data Gating and Reward Grounding in Self-Play RL [76.45061154544568]
  セルフプレイ強化学習は、言語モデルを独自の生成タスクで訓練し、人間ラベルなしでプロジェクタとソルバを共進化させる。 最近のシステムでは強い推理効果が報告されているが、崩壊と不安定性は広く観察され、理解されていない。 代わりに、自己プレイの安定性は、提案者生成タスクがトレーニングプールに入るかを判断するデータレベルゲートと、すでに認められたタスクに関するポリシーを更新する報酬信号の2つの異なるレバーによって管理されていると論じる。
  論文  参考訳（メタデータ） (2026-05-21T09:19:23Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。