論文の概要: Evaluating Text-to-Image Synthesis with a Conditional Fréchet Distance

• arxiv url: http://arxiv.org/abs/2503.21721v1
• Date: Thu, 27 Mar 2025 17:35:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-28 12:52:22.443655
• Title: Evaluating Text-to-Image Synthesis with a Conditional Fréchet Distance
• Title（参考訳）: 条件付きフレシェ距離を用いたテキスト・画像合成の評価
• Authors: Jaywon Koo, Jefferson Hernandez, Moayed Haji-Ali, Ziyan Yang, Vicente Ordonez,
• Abstract要約: テキストと画像の合成を評価することは、確立されたメトリクスと人間の嗜好の相違により困難である。 視覚的忠実度とテキストプロンプトアライメントの両方を考慮に入れた指標であるcFreDを提案する。 本研究は,テキスト・ツー・イメージ・モデルの体系的評価のための,堅牢で将来性の高い指標として,cFreDを検証した。
• 参考スコア（独自算出の注目度）: 8.216807467478281
• License:
• Abstract: Evaluating text-to-image synthesis is challenging due to misalignment between established metrics and human preferences. We propose cFreD, a metric based on the notion of Conditional Fr\'echet Distance that explicitly accounts for both visual fidelity and text-prompt alignment. Existing metrics such as Inception Score (IS), Fr\'echet Inception Distance (FID) and CLIPScore assess either image quality or image-text alignment but not both which limits their correlation with human preferences. Scoring models explicitly trained to replicate human preferences require constant updates and may not generalize to novel generation techniques or out-of-domain inputs. Through extensive experiments across multiple recently proposed text-to-image models and diverse prompt datasets, we demonstrate that cFreD exhibits a higher correlation with human judgments compared to statistical metrics, including metrics trained with human preferences. Our findings validate cFreD as a robust, future-proof metric for the systematic evaluation of text-to-image models, standardizing benchmarking in this rapidly evolving field. We release our evaluation toolkit and benchmark in the appendix.
• Abstract（参考訳）: 確立された指標と人間の嗜好の相違により、テキスト・ツー・イメージの合成を評価することは困難である。 視覚的忠実度とテキストプロンプトアライメントの両方を明示的に考慮した条件付きFr'echet Distanceの概念に基づく計量であるcFreDを提案する。 Inception Score (IS)、Fr\'echet Inception Distance (FID)、CLIPScoreといった既存のメトリクスは、画像の品質または画像テキストのアライメントを評価するが、どちらも人間の好みとの相関を制限するものではない。 人間の好みを再現するように明示的に訓練されたスコーリングモデルは、一定の更新を必要とし、新しい生成技術やドメイン外の入力には一般化しない。 最近提案された複数のテキスト・ツー・イメージ・モデルと多様なプロンプト・データセットにわたる広範な実験を通して、cFreDは人間の嗜好で訓練された指標を含む統計指標と比較して、人間の判断と高い相関を示すことを示した。 本研究は, cFreDをテキスト・ツー・イメージ・モデルの体系的評価のための頑健で将来性のある指標として評価し, この急速に発展する分野におけるベンチマークを標準化するものである。 評価ツールキットとベンチマークを付録でリリースします。

関連論文リスト

• TypeScore: A Text Fidelity Metric for Text-to-Image Generative Models [39.06617653124486]
  我々はTypeScoreと呼ばれる新しい評価フレームワークを導入し、モデルが高忠実な埋め込みテキストで画像を生成する能力を評価する。 提案手法は、CLIPScoreよりも高解像度で、一般的な画像生成モデルを区別する。
  論文  参考訳（メタデータ） (2024-11-02T07:56:54Z)
• Holistic Evaluation for Interleaved Text-and-Image Generation [19.041251355695973]
  我々はインターリーブドベンチ(InterleavedBench)について紹介する。 また、GPT-4oをベースとした強力な基準フリーメトリックであるInterleavedEvalを提案し、正確で説明可能な評価を行う。
  論文  参考訳（メタデータ） (2024-06-20T18:07:19Z)
• Evaluation of Faithfulness Using the Longest Supported Subsequence [52.27522262537075]
  本稿では,文脈によって支持される請求項の最長不連続性を計算し,機械生成テキストの忠実さを評価する新しい手法を提案する。 新しい人間アノテーション付きデータセットを使用して、モデルを微調整してLongest Supported Subsequence(LSS)を生成する。 提案手法は,我々のデータセットの忠実度に対する最先端のメトリクスよりも18%向上していることを示す。
  論文  参考訳（メタデータ） (2023-08-23T14:18:44Z)
• Likelihood-Based Text-to-Image Evaluation with Patch-Level Perceptual and Semantic Credit Assignment [48.835298314274254]
  生成した画像の可能性を直接推定し,テキスト・画像生成性能を評価する。 高い確率は、知覚品質が向上し、テキスト画像のアライメントが向上することを示している。 これらのモデルの生成能力を、数百のサンプルで評価することができる。
  論文  参考訳（メタデータ） (2023-08-16T17:26:47Z)
• Aligning Text-to-Image Models using Human Feedback [104.76638092169604]
  現在のテキスト・ツー・イメージモデルは、しばしばテキスト・プロンプトと不適切に一致した画像を生成する。 そこで本研究では,人間のフィードバックを用いて,そのようなモデルを調整するための微調整手法を提案する。 その結果,人間のフィードバックから学び,テキスト・ツー・イメージ・モデルを大幅に改善する可能性が示された。
  論文  参考訳（メタデータ） (2023-02-23T17:34:53Z)
• Transparent Human Evaluation for Image Captioning [70.03979566548823]
  画像キャプションモデルのためのルーリックに基づく人間評価プロトコルを開発した。 人為的キャプションは機械的キャプションよりも著しく高品質であることを示す。 この研究は、画像キャプションのためのより透明な評価プロトコルを促進することを願っている。
  論文  参考訳（メタデータ） (2021-11-17T07:09:59Z)
• COSMic: A Coherence-Aware Generation Metric for Image Descriptions [27.41088864449921]
  画像メトリクスは、テキスト評価モデルのセマンティックおよび実用的成功の正確な学習された推定を与えるのに苦労してきた。 出力の出力を評価するための最初の学習的生成指標を示す。 提案手法では,BLEURTやBERTなどの他の指標と比較して,複数の最先端キャプションモデルの結果に対する人的判断の精度が高いことを示す。
  論文  参考訳（メタデータ） (2021-09-11T13:43:36Z)
• Contrastive Semantic Similarity Learning for Image Captioning Evaluation with Intrinsic Auto-encoder [52.42057181754076]
  自動エンコーダ機構とコントラスト表現学習の進歩により,画像キャプションのための学習基準を提案する。 文レベルの表現を学習するための3つのプログレッシブモデル構造を開発する。 実験結果から,提案手法は他の指標から得られるスコアとよく一致できることが示唆された。
  論文  参考訳（メタデータ） (2021-06-29T12:27:05Z)
• Intrinsic Image Captioning Evaluation [53.51379676690971]
  I2CE(Intrinsic Image Captioning Evaluation)と呼ばれる画像キャプションのための学習ベースメトリクスを提案する。 実験の結果,提案手法は頑健な性能を維持し,意味的類似表現やアライメントの少ない意味論に遭遇した場合,候補キャプションに対してより柔軟なスコアを与えることができた。
  論文  参考訳（メタデータ） (2020-12-14T08:36:05Z)
• Improving Text Generation Evaluation with Batch Centering and Tempered Word Mover Distance [24.49032191669509]
  類似度指標の符号化表現を改善するための2つの手法を提案する。 さまざまなBERTバックボーンの学習指標について結果を示し、複数のベンチマークでヒトのレーティングとアート相関の状態を達成した。
  論文  参考訳（メタデータ） (2020-10-13T03:46:25Z)
• Evaluating Text Coherence at Sentence and Paragraph Levels [17.99797111176988]
  本稿では,既存の文順序付け手法の段落順序付けタスクへの適応について検討する。 また、ミニデータセットとノイズの多いデータセットを人工的に作成することで、既存のモデルの学習性と堅牢性を比較する。 我々は、リカレントグラフニューラルネットワークに基づくモデルがコヒーレンスモデリングの最適選択であると結論付けている。
  論文  参考訳（メタデータ） (2020-06-05T03:31:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。