論文の概要: Entity-Faithful Repair of Synthetic Supervision for Zero-Shot Image Captioning

• arxiv url: http://arxiv.org/abs/2608.00994v1
• Date: Sun, 02 Aug 2026 04:43:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.047975
• Title: Entity-Faithful Repair of Synthetic Supervision for Zero-Shot Image Captioning
• Title（参考訳）: ゼロショット画像キャプションのための合成スーパービジョンの実体的修復
• Abstract要約: ゼロショット画像キャプションは、注釈付き画像テキストペアなしで記述を生成することを目的としている。 近年のアプローチでは、テキストのみのコーパスからトレーニングデータを合成するために、テキスト・ツー・イメージモデルを利用している。 ReCapは、合成データの洗練を暗黙のグローバルマッチングから明示的なきめ細かい再配置に移行する、プラグインとプレイのフレームワークである。
• 参考スコア（独自算出の注目度）: 5.694066916138962
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Zero-shot image captioning aims to generate image descriptions without annotated image-text pairs. Recent approaches exploit text-to-image models to synthesize training data from text-only corpora, but most focus on improving overall data quality. In contrast, we observe that synthetic image-text misalignment is often structured and fine-grained: pairs may remain globally plausible while containing missing entities or misgrounded attributes, thereby degrading supervision fidelity. As a result, methods based on global similarity for image rematching or regeneration may improve apparent plausibility, but cannot systematically repair entity-level misalignment. To address this issue, we propose ReCap, a plug-and-play framework that shifts synthetic data refinement from implicit global matching to explicit fine-grained realignment. Specifically, ReCap enforces entity-level correspondence by using detected image-supported entities to guide caption rewriting, yielding more faithful synthetic supervision. In addition, we introduce an adaptive dynamic weighted learning strategy to downweight unreliable synthetic pairs during training. As a general framework, ReCap can be integrated into existing synthetic-data pipelines. Extensive experiments show that ReCap consistently improves image-text consistency and achieves state-of-the-art performance on both in-domain and cross-domain zero-shot image captioning benchmarks.
• Abstract（参考訳）: ゼロショット画像キャプションは、注釈付き画像テキストペアなしで画像記述を生成することを目的としている。 近年のアプローチでは、テキストのみのコーパスからトレーニングデータを合成するために、テキスト・ツー・イメージモデルを活用している。 対照的に、合成画像テキストのミスアライメントは、しばしば構造化され、きめ細かな粒状化され、ペアは、欠落した実体や地下の属性を含まないまま、世界規模で信頼性が保たれるため、監督の忠実度が低下する可能性がある。 その結果、画像再構成や再生のグローバルな類似性に基づく手法は、明らかな可視性を向上するが、実体レベルの誤調整を体系的に修復することはできない。 この問題に対処するために、暗黙のグローバルマッチングから明示的なきめ細かい精細化へと、合成データの洗練をシフトするプラグイン・アンド・プレイのフレームワークであるReCapを提案する。 具体的には、ReCapは、検出された画像支援されたエンティティを使用してキャプションの書き直しをガイドすることにより、エンティティレベルの対応を強制し、より忠実な合成監督を提供する。 さらに,本研究は,トレーニング中の重み付け不可能な合成ペアに対して適応的動的重み付け学習戦略を導入する。 一般的なフレームワークとして、ReCapは既存の合成データパイプラインに統合できる。 大規模な実験により、ReCapは画像テキストの一貫性を一貫して改善し、ドメイン内およびドメイン間ゼロショット画像キャプションベンチマークの両方で最先端のパフォーマンスを実現している。

関連論文リスト

• PRISM: Prior Rectification and Uncertainty-Aware Structure Modeling for Diffusion-Based Text Image Super-Resolution [51.96078493242164]
  PRISMは単一ステップ拡散ベースのText-SRフレームワークである。 PRISMはミリ秒レベルの推論で最先端の性能を達成する。
  論文  参考訳（メタデータ） (2026-05-13T05:31:06Z)
• CycleCap: Improving VLMs Captioning Performance via Self-Supervised Cycle Consistency Fine-Tuning [65.10059440725041]
  視覚言語モデル(VLM)は画像キャプション、視覚的質問応答、視覚的推論において顕著な進歩を遂げている。 ヴィジュアル言語を誤用する傾向があり、しばしば過度に汎用的あるいは幻覚的な記述を生み出している。 既存のアプローチでは、コストがかかる大規模アノテートデータセットのインストラクションチューニングと、キャプションリファインメントのための複雑なテストタイムフレームワークによって、この問題に対処している。 本研究では,サイクル一貫性のレンズを用いて,画像テキストのアライメントを再考する。
  論文  参考訳（メタデータ） (2026-03-18T20:57:31Z)
• SynC: Synthetic Image Caption Dataset Refinement with One-to-many Mapping for Zero-shot Image Captioning [5.23086948974839]
  Zero-shot Image Captioning (ZIC)は、テキスト・トゥ・イメージ(T2I)モデルによって生成される合成データセットをますます活用している。 既存のデータセットプルーニング技術は、Webcrawledデータ中のノイズの多いテキストを削除するために主に設計されている。 我々は、ZICのための合成画像キャプチャデータセットを洗練するための新しいフレームワークであるSynCを紹介する。
  論文  参考訳（メタデータ） (2025-07-24T17:53:26Z)
• Unleashing Text-to-Image Diffusion Prior for Zero-Shot Image Captioning [70.98890307376548]
  そこで本研究では,学習中に不信なコンテンツを適応的に緩和する,新しいPatch-wise Cross-modal Feature Mix-up(PCM)機構を提案する。 私たちのPCM-Netは、ドメイン内およびクロスドメインのゼロショット画像キャプションの両方で第1位です。
  論文  参考訳（メタデータ） (2024-12-31T13:39:08Z)
• Text-only Synthesis for Image Captioning [26.774411180980994]
  画像キャプション(ToCa)のためのテキストのみの合成法を提案する。 我々は字幕テキストを構造と語彙の単語に分解する。 様々な語彙のパターンを含む大量のキャプションが生成される。
  論文  参考訳（メタデータ） (2024-05-28T15:11:17Z)
• PLACE: Adaptive Layout-Semantic Fusion for Semantic Image Synthesis [62.29033292210752]
  一貫性のあるセマンティクスとレイアウトを備えた高品質なイメージは依然として課題である。 本稿では,前述した問題を緩和するために,事前学習モデルを利用したadaPtive LAyout-semantiC fusion modulE (PLACE)を提案する。 われわれのアプローチは、視覚的品質、セマンティック一貫性、レイアウトアライメントの観点から好意的に機能する。
  論文  参考訳（メタデータ） (2024-03-04T09:03:16Z)
• StyleT2I: Toward Compositional and High-Fidelity Text-to-Image Synthesis [52.341186561026724]
  構成性の欠如は、堅牢性と公正性に深刻な影響を及ぼす可能性がある。 テキスト対画像合成の合成性を改善するための新しいフレームワークであるStyleT2Iを導入する。 その結果,StyleT2Iは入力テキストと合成画像との整合性という点で従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2022-03-29T17:59:50Z)
• USIS: Unsupervised Semantic Image Synthesis [9.613134538472801]
  セマンティック画像合成(USIS)のための新しい教師なしパラダイムを提案する。 USISは、自己教師付きセグメンテーションロスを使用して、視覚的に分離可能なセグメンテーションクラスで画像を出力することを学ぶ。 実画像の色とテクスチャの分布を高周波数情報を失うことなく一致させるため,ウェーブレットを用いた識別手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T20:48:41Z)
• You Only Need Adversarial Supervision for Semantic Image Synthesis [84.83711654797342]
  我々は,高品質な結果を得るためには敵対的監督のみを必要とする,新しい簡易ganモデルを提案する。 本モデルによって合成された画像はより多様であり,実画像の色やテクスチャに密接に従っている。
  論文  参考訳（メタデータ） (2020-12-08T23:00:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。