論文の概要: Perturb, Repair, Verify: Self-Play Vision-Language Verifiers for Compositional Understanding

• arxiv url: http://arxiv.org/abs/2611.05158v1
• Date: Tue, 03 Nov 2026 16:31:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 13:59:37.783497
• Title: Perturb, Repair, Verify: Self-Play Vision-Language Verifiers for Compositional Understanding
• Title（参考訳）: パーターブ, 修復, 検証: 構成理解のためのセルフプレイビジョンランゲージ検証
• Abstract要約: 視覚言語検証器は、画像がテキスト記述に忠実に一致するかどうかを判定する。 PROVEは,閉じたパーターブ・ビジュアライズ・ビジュアライズ・ビジュアライズ・ビジュアライズ・ループを通じて検証者を訓練するセルフプレイフレームワークである。 実験により、PROVEはモデルスケールや家族間できめ細かな構成検証を改善することが示された。
• 参考スコア（独自算出の注目度）: 52.802847315186874
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language verifiers judge whether an image faithfully matches a textual description, yet existing training pipelines typically rely on static supervision from stronger external judges or curated hard-negative data. Such supervision requires external generation or annotation, is teacher-bounded, and is difficult to adapt as model failures evolve. We introduce PROVE (Perturb-and-Repair Optimization for Vision-Language Evaluation), a self-play framework that trains verifiers through a closed perturb-verify-repair-verify loop. Starting from a known-correct image-caption pair, a Mutator introduces a typed perturbation over objects, attributes, counts, or relations. The verifier then judges the perturbed caption and provides textual feedback, which a Repairer uses to recover a faithful caption for re-verification. These two verification rounds produce structured rewards for informative mismatches and visually grounded repairs. Since perturbation, verification, and repair are role-conditioned behaviors of the same evolving multimodal backbone, updating the shared parameters also improves the verifier itself. Experiments show that PROVE improves fine-grained compositional verification across model scales and families and strengthens visual-detail robustness on the reference backbone, with limited, benchmark-dependent changes on broader multimodal tasks.
• Abstract（参考訳）: 視覚言語検証は、画像がテキスト記述に忠実に一致するかどうかを判断するが、既存のトレーニングパイプラインは通常、より強い外部の判断や、キュレートされたハードネガティブなデータからの静的な監督に依存している。 このような監督には外部生成やアノテーションが必要で、教師に縛られ、モデル障害が進化するにつれて適応するのは難しい。 本稿では,PROVE(Perturb-and-Repair Optimization for Vision-Language Evaluation)を紹介する。 既知の正確なイメージキャプチャペアから始めると、Mutatorはオブジェクト、属性、カウント、リレーションに対する型付き摂動を導入する。 そして、検証者は、乱れたキャプションを判断し、テキストフィードバックを提供し、修復者が再検証のために忠実なキャプションを復元する。 これら2つの検証ラウンドは、情報的ミスマッチと視覚的に接地された修復のための構造化された報酬を生み出す。 摂動、検証、修復は、同じ進化するマルチモーダルバックボーンのロール条件の振る舞いであるため、共有パラメータの更新も検証自体を改善する。 実験により、PROVEはモデルスケールや家族間での詳細な構成検証を改善し、参照バックボーン上での視覚的詳細ロバスト性を強化し、より広範なマルチモーダルタスクに対するベンチマーク依存的な変更を限定した。

関連論文リスト

• OmniVerifier-C1: Decomposed Graded Verifier for Rule-Governed Generative World Modeling [50.062869239908736]
  複雑なプロンプトや環境ルールを自動的に細かなコンポーネントに分解する検証器を導入する。 ペアワイズ検証のパラダイムは、ポイントワイズ定式化よりも正確な批判をもたらすことを示す。 生成モデルから構造化世界モデリングエージェントへの移行は、正確なペアグレードの視覚的検証の可用性に重大な影響を与えている。
  論文  参考訳（メタデータ） (2026-10-15T17:58:04Z)
• EviStress: Evidence Stress Learning for Generalizable Face Forgery Detection with Textual Explanations [17.515739051623587]
  標準のLoRA適応CLIP検出器は、パッチレベルの不均一な決定依存を示す。 EviStressは、テキスト説明による顔偽造検出を一般化するための2段階のフレームワークである。 実験では、クロスデータセットとクロスメソッドの一般化と汚職の堅牢性が改善された。
  論文  参考訳（メタデータ） (2026-10-12T14:41:54Z)
• EVISKILL: Grounding Skill Evolution in Replayable Evidence [17.158295760814443]
  本稿では,スキル進化のためのエビデンス駆動フレームワークEVISKILLを紹介する。 実行観察を再生可能なエビデンスカードに整理し、サポートするコンテキストへの明示的なリンクで編集を合成する。 EVISKILLは証拠を保存し、さらなる改良のためにサポートされた編集を暫定的に保持する。
  論文  参考訳（メタデータ） (2026-10-04T07:50:39Z)
• InsightSeg: Reusing Correction Insights for Guideline-Consistent Segmentation [4.501547677532766]
  本稿では,修正エピソードを再利用可能な視覚的根拠に変換するエピソード記憶機構であるInsightSegを紹介する。 InsightSegは、AcrossとCityscapesで、最初のパスと最後のガイドライン一貫性セグメンテーションのパフォーマンスを改善し、改善ステップを少なくする。
  論文  参考訳（メタデータ） (2026-09-02T02:22:35Z)
• Rubrics as Visual-Repair Context for Self-Evolving UI-to-Code Generation [147.1183324267404]
  ローカルコード編集は、レイアウト、スタイル、コンポーネントの依存関係を通じて伝搬し、以前は忠実だった領域を劣化させながら、1つの視覚的ミスマッチを修正する。 本稿では,視覚フィードバックを構造化された視覚再生コンテキストとして表現するために,ルーブリックを用いたルーブリック誘導フレームワークであるRubSEを紹介する。 RubSEは最終ラウンドおよび最高ラウンド設定での自己進化を著しく上回り、より安定した改良とより高い軌道レベルの性能天井を実現する。
  論文  参考訳（メタデータ） (2026-08-25T07:03:46Z)
• IMPACT-CYCLE: A Contract-Based Multi-Agent System for Claim-Level Supervisory Correction of Long-Video Semantic Memory [73.22944697933603]
  既存のパイプラインは不透明でエンドツーエンドの出力を生成し、検査の中間状態は公開しない。 IMPACT-Cycleは,マルチモーダル反復クレームレベルのメンテナンスとして,長時間ビデオ理解を再構築するマルチエージェントシステムである。
  論文  参考訳（メタデータ） (2026-04-22T03:03:33Z)
• Self-Corrected Image Generation with Explainable Latent Rewards [55.29175717238288]
  我々は、説明可能なLatent RewarDを通じて生成をガイドする自己修正フレームワークであるxLARDを提案する。 xLARDは、モデル生成参照からの構造化されたフィードバックに基づいて遅延表現を洗練する軽量な修正器を導入している。 実験により、xLARDは、生成前の状態を維持しながら、意味的アライメントと視覚的忠実性を改善することが示された。
  論文  参考訳（メタデータ） (2026-03-26T02:59:35Z)
• CRAFT: Continuous Reasoning and Agentic Feedback Tuning for Multimodal Text-to-Image Generation [0.0]
  CRAFT(Continuous Reasoning and Agentic Feedback Tuning)は、マルチモーダル画像生成に構造化推論パラダイムをもたらす、トレーニング不要でモデルに依存しないフレームワークである。 コンポジション精度、テキストレンダリング、好みに基づく評価を一貫して改善する。 これらの改善は無視できる推論時間のオーバーヘッドに過ぎず、より小型または安価なモデルでより高価なシステムの品質にアプローチすることができる。
  論文  参考訳（メタデータ） (2025-12-23T13:44:41Z)
• The Consistency Critic: Correcting Inconsistencies in Generated Images via Reference-Guided Attentive Alignment [105.31858867473845]
  ImageCriticはエージェントフレームワークに統合され、不整合を自動的に検出し、マルチラウンドおよびローカル編集で修正する。 実験では、ImageCriticは様々なカスタマイズされた生成シナリオで詳細に関連する問題を効果的に解決することができ、既存のメソッドよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2025-11-25T18:40:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。