論文の概要: Cycle Consistency as Reward: Learning Image-Text Alignment without Human Preferences

• arxiv url: http://arxiv.org/abs/2506.02095v1
• Date: Mon, 02 Jun 2025 17:42:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 01:42:09.357656
• Title: Cycle Consistency as Reward: Learning Image-Text Alignment without Human Preferences
• Title（参考訳）: リワードとしてのサイクル整合性:人間の選好を伴わない画像テキストアライメントの学習
• Authors: Hyojin Bahng, Caroline Chan, Fredo Durand, Phillip Isola,
• Abstract要約: 本稿では,周期整合性を監視信号として活用する手法を提案する。 テキスト・ツー・イメージ・モデルを用いてテキストを画像空間にマッピングし、元の画像と再構成との類似性を計算する。 サイクル一貫性スコアを用いて候補をランク付けし、866K比較ペアの選好データセットを構築する。
• 参考スコア（独自算出の注目度）: 28.683767105094393
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Learning alignment between language and vision is a fundamental challenge, especially as multimodal data becomes increasingly detailed and complex. Existing methods often rely on collecting human or AI preferences, which can be costly and time-intensive. We propose an alternative approach that leverages cycle consistency as a supervisory signal. Given an image and generated text, we map the text back to image space using a text-to-image model and compute the similarity between the original image and its reconstruction. Analogously, for text-to-image generation, we measure the textual similarity between an input caption and its reconstruction through the cycle. We use the cycle consistency score to rank candidates and construct a preference dataset of 866K comparison pairs. The reward model trained on our dataset outperforms state-of-the-art alignment metrics on detailed captioning, with superior inference-time scalability when used as a verifier for Best-of-N sampling. Furthermore, performing DPO and Diffusion DPO using our dataset enhances performance across a wide range of vision-language tasks and text-to-image generation. Our dataset, model, and code are at https://cyclereward.github.io
• Abstract（参考訳）: 言語とビジョンの整合性を学ぶことは、特にマルチモーダルデータがより詳細に複雑になるにつれて、根本的な課題である。 既存の方法は、人やAIの好みの収集に頼っていることが多い。 本稿では,周期整合性を監視信号として活用する手法を提案する。 画像と生成されたテキストが与えられた場合、テキスト・ツー・イメージ・モデルを用いてテキストを画像空間にマッピングし、元の画像と再構成との類似性を計算する。 典型的には、テキスト・ツー・イメージ生成では、入力キャプションとその再構築のサイクルを通してのテキスト類似性を計測する。 サイクル一貫性スコアを用いて候補をランク付けし、866K比較ペアの選好データセットを構築する。 我々のデータセットでトレーニングされた報酬モデルは、詳細なキャプションにおける最先端のアライメント指標よりも優れており、Best-of-Nサンプリングの検証器として使用する場合、推論時間のスケーラビリティが優れている。 さらに、我々のデータセットを用いてDPOと拡散DPOを実行することで、幅広い視覚言語タスクとテキスト・ツー・イメージ生成のパフォーマンスが向上する。 私たちのデータセット、モデル、コードはhttps://cyclereward.github.ioにあります。

関連論文リスト

• Debiasing Vison-Language Models with Text-Only Training [15.069736314663352]
  視覚バイアスを軽減するために,テキスト・アズ・イメージ・トレーニング・パラダイムを活用するTODというテキスト・オン・デバイアス・フレームワークを提案する。 そこで本研究では,テキスト・アズ・イメージ・トレーニングのパラダイムを活用し,視覚バイアスを緩和するテキスト・オン・デバイアス化フレームワークTODを提案する。
  論文  参考訳（メタデータ） (2024-10-12T04:34:46Z)
• Leveraging Unpaired Data for Vision-Language Generative Models via Cycle Consistency [47.3163261953469]
  現在の視覚言語生成モデルは、最適な性能と一般化能力を達成するために、ペア画像テキストデータの拡張コーパスに依存している。 サイクル整合性の概念に基づく革新的なトレーニングパラダイムであるITITを導入する。 ITITは、分離された画像とテキストデコーダを備えたジョイントな画像テキストエンコーダで構成され、単一のフレームワークで双方向の画像テキスト生成とテキスト画像生成を可能にする。
  論文  参考訳（メタデータ） (2023-10-05T17:55:19Z)
• Learning to Generate Semantic Layouts for Higher Text-Image Correspondence in Text-to-Image Synthesis [37.32270579534541]
  利用可能なセマンティックレイアウトを活用することで,テキスト画像の対応性を向上させる新しい手法を提案する。 提案手法は,Multi-Modal CelebA-HQおよびCityscapesデータセットにおける既存のテキスト・画像生成手法と比較して,高いテキスト・画像対応を実現する。
  論文  参考訳（メタデータ） (2023-08-16T05:59:33Z)
• COSA: Concatenated Sample Pretrained Vision-Language Foundation Model [78.32081709802873]
  ほとんどの視覚言語基盤モデルは、事前トレーニングに画像テキストデータセットを使用している。 我々は,COncatenated SAmple pretrained vision- language foundation modelであるCOSAを提案する。 複数の画像テキストペアを事前学習用入力として逐次結合することで、これを実現する。 この変換により、既存の画像テキストコーパスを擬似長文ビデオパラグラフコーパスに変換する。
  論文  参考訳（メタデータ） (2023-06-15T12:29:42Z)
• Text-based Person Search without Parallel Image-Text Data [52.63433741872629]
  テキストベースの人物探索(TBPS)は,対象者の画像を与えられた自然言語記述に基づいて大きな画像ギャラリーから検索することを目的としている。 既存の手法は、並列画像テキストペアによるトレーニングモデルによって支配されており、収集には非常にコストがかかる。 本稿では,並列画像テキストデータなしでTBPSを探索する試みについて述べる。
  論文  参考訳（メタデータ） (2023-05-22T12:13:08Z)
• CRIS: CLIP-Driven Referring Image Segmentation [71.56466057776086]
  エンドツーエンドのCLIP駆動参照画像フレームワーク(CRIS)を提案する。 CRISは、テキストとピクセルのアライメントを達成するために、視覚言語によるデコーディングとコントラスト学習に頼っている。 提案するフレームワークは, 後処理を伴わずに, 最先端の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2021-11-30T07:29:08Z)
• Cycle-Consistent Inverse GAN for Text-to-Image Synthesis [101.97397967958722]
  本稿では,テキスト・ツー・イメージ・ジェネレーションとテキスト・ガイドによる画像操作を行うために,Cycle-Consistent Inverse GANの統一フレームワークを提案する。 我々は、GANの反転モデルを学び、画像をGANの潜在空間に変換し、各画像の反転潜在符号を得る。 テキスト誘導最適化モジュールでは、反転潜在符号を最適化することにより、所望のセマンティック属性を持つ画像を生成する。
  論文  参考訳（メタデータ） (2021-08-03T08:38:16Z)
• Using Text to Teach Image Retrieval [47.72498265721957]
  ニューラルネットワークを用いて学習した画像の特徴空間をグラフとして表現するために,画像多様体の概念に基づいて構築する。 我々は、幾何学的に整列したテキストで多様体のサンプルを増補し、大量の文を使って画像について教える。 実験結果から, 結合埋め込み多様体は頑健な表現であり, 画像検索を行うためのより良い基礎となることが示唆された。
  論文  参考訳（メタデータ） (2020-11-19T16:09:14Z)
• Deep Multimodal Image-Text Embeddings for Automatic Cross-Media Retrieval [0.0]
  視覚と言語表現を同時に学習するための,エンドツーエンドの深層マルチモーダル畳み込み再帰ネットワークを提案する。 このモデルは、どのペアがマッチ(正)か、どれがミスマッチ(負)かをヒンジベースの三重項ランキングを用いて学習する。
  論文  参考訳（メタデータ） (2020-02-23T23:58:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。