論文の概要: DataEvolver: Self-Evolving Multi-Agent Data Construction for Text-Rich Image Generation
- arxiv url: http://arxiv.org/abs/2606.31537v1
- Date: Tue, 30 Jun 2026 11:52:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:19.204917
- Title: DataEvolver: Self-Evolving Multi-Agent Data Construction for Text-Rich Image Generation
- Title(参考訳): DataEvolver:テキストリッチ画像生成のための自己進化型マルチエージェントデータ構築
- Abstract要約: テキストリッチな画像データ構築のためのフレームワークであるDataEvolverを提案する。
Retrieverは候補サンプルを収集し、Verifierは品質スコアと拒絶原因を割り当て、Criticはラウンドレベルのフィードバックをセマンティックフィードバックに要約し、Generatorはターゲット合成を通じてアンダーカバーされた領域を完成させる。
実験によると、DataEvolverは一致したデータ予算の下で、固定データセットベースラインよりも有用なトレーニングデータを生成する。
- 参考スコア(独自算出の注目度): 11.810930790760848
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Text-rich image generation is one of the most challenging settings in image generation, since models must simultaneously produce visually realistic images and render legible, semantically aligned, and layout-consistent text. Existing data pipelines usually follow a static crawl-filter-freeze paradigm. They collect candidate samples, filter them once, and freeze the accepted data for training. However, rejected samples are usually discarded, although they often contain useful failure signals such as OCR errors and semantic mismatches. As a result, later construction rounds may repeat the same failure modes. To address these limitations, we propose DataEvolver, a self-evolving multi-agent framework for text-rich image data construction. DataEvolver treats data construction as feedback-driven construction policy evolution. A Retriever collects candidate samples, a Verifier assigns quality scores and rejection causes, a Critic summarizes round-level feedback into semantic feedback, and a Generator completes under-covered regions through targeted synthesis. The updated feedback memory then guides the next construction round. Experiments on text-rich image generation benchmarks show that DataEvolver produces more useful training data than fixed-dataset baselines under matched data budgets. At the 0.75M scale on PixArt-alpha, DataEvolver improves OCR-F1 over the strongest baseline by 85.3 percent on TextScenesHQ and 35.3 percent on LongTextBench. The improvements are consistent across both evaluated benchmarks and also transfer to Show-o2, indicating that the benefit of DataEvolver is not tied to a single downstream generator. These results suggest that rejected samples can provide actionable feedback for improving text-rich image data construction.
- Abstract(参考訳): テキストリッチな画像生成は、画像生成において最も困難な設定の1つであり、モデルが同時に視覚的にリアルなイメージを生成し、正当性、セマンティックな整合性、レイアウトに一貫性のあるテキストを表示する必要がある。
既存のデータパイプラインは通常、静的なクロールフィルタフリーズパラダイムに従う。
候補サンプルを収集し、一度フィルタし、トレーニング用に受け入れたデータを凍結する。
しかし、拒否されたサンプルは通常破棄されるが、OCRエラーやセマンティックミスマッチのような有用な障害信号を含んでいることが多い。
結果として、後続のビルドラウンドは、同じ障害モードを繰り返す可能性がある。
これらの制約に対処するために,テキストリッチな画像データ構築のための自己進化型マルチエージェントフレームワークであるDataEvolverを提案する。
DataEvolverは、データ構築をフィードバック駆動型建設ポリシーの進化として扱う。
Retrieverは候補サンプルを収集し、Verifierは品質スコアと拒絶原因を割り当て、Criticはラウンドレベルのフィードバックをセマンティックフィードバックに要約し、Generatorはターゲット合成を通じてアンダーカバーされた領域を完成させる。
更新されたフィードバックメモリは次の構築ラウンドをガイドする。
テキストリッチな画像生成ベンチマークの実験では、DataEvolverは一致したデータ予算の下で、固定データセットベースラインよりも有用なトレーニングデータを生成する。
PixArt-alphaの0.75Mスケールでは、DataEvolverはOCR-F1をTextScenesHQで85.3%、LongTextBenchで35.3%改善している。
この改善は評価済みのベンチマークとShow-o2への移行で一致しており、DataEvolverの利点が単一のダウンストリームジェネレータに結び付けられていないことを示している。
これらの結果は,テキストリッチな画像データ構築を改善するための実用的なフィードバックを提供することができることを示唆している。
関連論文リスト
- Generative Retrieval for Unsupervised Text-Based Person Search [77.46429603553388]
テキストベースの人物検索(TBPS)は,ある自然言語記述に基づいて,大きな画像ギャラリーから対象者の画像を検索することを目的としている。
本稿では,2段階の世代別検索フレームワークであるGTR+を提案する。
また、高品質できめ細かいテキストアノテーションを備えた大規模TBPSデータセットであるLargeFine-Personにもコントリビュートしています。
論文 参考訳(メタデータ) (2026-09-11T15:25:00Z) - VeriEvol: Scaling Multimodal Mathematical Reasoning via Verifiable Evol-Instruct [71.22358682581215]
ビジュアルな数学的推論のための強化学習のスケーリングは、難しい質問を生成すること以上のものを必要とします。
これは2つのコンポーネントからなる反復的なフレームワークであるVeriEvolとしてインスタンス化します。
5ベンチマークのビジュアル・マス・スイートでは、10Kから250KサンプルまでのSFTデータのスケーリングが平均精度を35.42から54.73に引き上げている。
論文 参考訳(メタデータ) (2026-06-22T16:17:30Z) - TextSculptor: Training and Benchmarking Scene Text Editing [88.11688559021628]
データ構築とシーンテキスト編集評価のための総合的なフレームワークであるTextSculptorを提案する。
TextSculptorはオープンソースのテキスト編集性能を改善し、プロプライエタリなモデルとのギャップを狭める。
論文 参考訳(メタデータ) (2026-05-20T12:22:26Z) - CycleCap: Improving VLMs Captioning Performance via Self-Supervised Cycle Consistency Fine-Tuning [65.10059440725041]
視覚言語モデル(VLM)は画像キャプション、視覚的質問応答、視覚的推論において顕著な進歩を遂げている。
ヴィジュアル言語を誤用する傾向があり、しばしば過度に汎用的あるいは幻覚的な記述を生み出している。
既存のアプローチでは、コストがかかる大規模アノテートデータセットのインストラクションチューニングと、キャプションリファインメントのための複雑なテストタイムフレームワークによって、この問題に対処している。
本研究では,サイクル一貫性のレンズを用いて,画像テキストのアライメントを再考する。
論文 参考訳(メタデータ) (2026-03-18T20:57:31Z) - When Vision Meets Texts in Listwise Reranking [1.2691047660244335]
Rank-Nexusは、画像とテキストの両方を組み込んだ検索リスト上で、リストワイズで定性的な再ランクを行うマルチモーダルな画像テキスト文書再ランカである。
私たちはまず、大量のテキストを再ランク付けしたデータを活用して、知識をテキストブランチに抽出する、という、モダリティを個別にトレーニングします。
データが少ない画像に対しては,画像検索ベンチマーク上で,マルチモーダル大言語モデル(MLLM)キャプションから蒸留ペアを構築する。
論文 参考訳(メタデータ) (2026-01-28T13:57:14Z) - Recycling the Web: A Method to Enhance Pre-training Data Quality and Quantity for Language Models [92.85086256871027]
我々は,低品質な文書を学習に役立てるために, guIded Rewrite で Web をリサイクルする REWIRE を提案する。
混在するテキストの約82%が、そうでなければ破棄されるであろう、低品質なドキュメントを変換することによるものであることを実証しています。
論文 参考訳(メタデータ) (2025-06-05T07:12:12Z) - Cycle Consistency as Reward: Learning Image-Text Alignment without Human Preferences [23.022496443851235]
画像と生成されたテキストが与えられた場合、テキスト・ツー・イメージ・モデルを用いてテキストを画像空間にマッピングし、元の画像と再構成との類似性を計算する。
サイクル一貫性スコアを用いて候補をランク付けし、866K比較ペアの選好データセットを構築する。
データセットであるCycleRewardでトレーニングされた報酬モデルは、詳細なキャプションに関する最先端のアライメント指標よりも優れています。
論文 参考訳(メタデータ) (2025-06-02T17:42:58Z) - Data Extrapolation for Text-to-image Generation on Small Datasets [3.7356387436951146]
線形外挿を用いたテキスト・画像生成のための新しいデータ拡張手法を提案する。
トレーニングサンプルをオリジナルのデータセットの数十倍の規模で構築する。
我々のモデルは、CUB、オックスフォード、COCOのデータセットで7.91、9.52、および5.00のFIDスコアを達成する。
論文 参考訳(メタデータ) (2024-10-02T15:08:47Z) - Re-Imagen: Retrieval-Augmented Text-to-Image Generator [58.60472701831404]
検索用テキスト・ツー・イメージ・ジェネレータ(再画像)
検索用テキスト・ツー・イメージ・ジェネレータ(再画像)
論文 参考訳(メタデータ) (2022-09-29T00:57:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。