論文の概要: AI-Generated Images Introduce Invisible Relevance Bias to Text-Image Retrieval

• arxiv url: http://arxiv.org/abs/2311.14084v3
• Date: Mon, 15 Jan 2024 02:31:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-18 00:36:30.146519
• Title: AI-Generated Images Introduce Invisible Relevance Bias to Text-Image Retrieval
• Title（参考訳）: テキスト画像検索に可視的関連バイアスをもたらすai生成画像
• Authors: Shicheng Xu, Danyang Hou, Liang Pang, Jingcheng Deng, Jun Xu, Huawei Shen, Xueqi Cheng
• Abstract要約: 我々は,AI生成画像がテキスト画像検索モデルに目に見えない関連性バイアスをもたらすことを示す。 検索モデルのトレーニングデータにAI生成画像を含めると、目に見えない関連性バイアスが増す。 本研究では,目に見えない関連バイアスを軽減するための効果的なトレーニング手法を提案する。
• 参考スコア（独自算出の注目度）: 70.54890125718387
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the advancement of generation models, AI-generated content (AIGC) is becoming more realistic, flooding the Internet. A recent study suggests that this phenomenon causes source bias in text retrieval for web search. Specifically, neural retrieval models tend to rank generated texts higher than human-written texts. In this paper, we extend the study of this bias to cross-modal retrieval. Firstly, we successfully construct a suitable benchmark to explore the existence of the bias. Subsequent extensive experiments on this benchmark reveal that AI-generated images introduce an invisible relevance bias to text-image retrieval models. Specifically, our experiments show that text-image retrieval models tend to rank the AI-generated images higher than the real images, even though the AI-generated images do not exhibit more visually relevant features to the query than real images. This invisible relevance bias is prevalent across retrieval models with varying training data and architectures. Furthermore, our subsequent exploration reveals that the inclusion of AI-generated images in the training data of the retrieval models exacerbates the invisible relevance bias. The above phenomenon triggers a vicious cycle, which makes the invisible relevance bias become more and more serious. To elucidate the potential causes of invisible relevance and address the aforementioned issues, we introduce an effective training method aimed at alleviating the invisible relevance bias. Subsequently, we apply our proposed debiasing method to retroactively identify the causes of invisible relevance, revealing that the AI-generated images induce the image encoder to embed additional information into their representation. This information exhibits a certain consistency across generated images with different semantics and can make the retriever estimate a higher relevance score.
• Abstract（参考訳）: 世代モデルの発展に伴い、AIGC(AI- generated content)がより現実的になり、インターネットが溢れている。 最近の研究では、この現象がWeb検索のためのテキスト検索の源泉バイアスを引き起こすことが示唆されている。 具体的には、ニューラル検索モデルは、人間が書いたテキストよりも高いテキストをランク付けする傾向にある。 本稿では,このバイアスの研究をクロスモーダル検索に拡張する。 まず,バイアスの存在を調べるための適切なベンチマークの構築に成功しました。 このベンチマークのさらなる実験により、AI生成画像はテキスト画像検索モデルに目に見えない関連性バイアスをもたらすことが明らかになった。 具体的には,テキスト画像検索モデルが,実際の画像よりも視覚的に関連した特徴を提示していないにもかかわらず,実際の画像よりもai生成画像を上位にランク付けする傾向があることを示す。 この目に見えない関連性バイアスは、トレーニングデータやアーキテクチャの異なる検索モデルに共通している。 さらに, 検索モデルの学習データにai生成画像が組み込まれることにより, 可視性バイアスが悪化することが明らかとなった。 上記の現象は悪循環を引き起こし、目に見えない関連性バイアスがますます深刻になる。 見えない関連性の潜在的原因を解明し、上記の問題に対処するために、目に見えない関連性バイアスを緩和するための効果的なトレーニング手法を提案する。 次に,提案手法を適用して,視覚的関連性の原因を遡及的に同定し,AI生成画像が画像エンコーダを誘導し,その表現に付加情報を埋め込むことを示した。 この情報は、異なる意味を持つ生成された画像間で一定の一貫性を示し、レトリバーが高い関連性スコアを推定することができる。

関連論文リスト

• A Sanity Check for AI-generated Image Detection [49.08585395873425]
  本稿では,AIによる画像検出の課題が解決されたかどうかの検査を行う。 既存の手法の一般化を定量化するために,Chameleonデータセット上で,既製のAI生成画像検出器を9つ評価した。 複数の専門家が同時に視覚的アーチファクトやノイズパターンを抽出するAI生成画像検出装置(AID)を提案する。
  論文  参考訳（メタデータ） (2024-06-27T17:59:49Z)
• RIGID: A Training-free and Model-Agnostic Framework for Robust AI-Generated Image Detection [60.960988614701414]
  RIGIDは、堅牢なAI生成画像検出のためのトレーニング不要でモデルに依存しない方法である。 RIGIDは、既存のトレーニングベースおよびトレーニング不要な検出器を著しく上回っている。
  論文  参考訳（メタデータ） (2024-05-30T14:49:54Z)
• Would Deep Generative Models Amplify Bias in Future Models? [29.918422914275226]
  今後のコンピュータビジョンモデルにおいて、深層生成モデルが潜在的な社会的バイアスに与える影響について検討する。 我々は,COCOおよびCC3Mデータセットの原画像に,安定拡散により生成された画像に代えてシミュレーションを行う。 予想とは対照的に、トレーニング中に生成された画像を導入することはバイアスを均一に増幅しないことを示す。
  論文  参考訳（メタデータ） (2024-04-04T06:58:39Z)
• AI-Generated Images as Data Source: The Dawn of Synthetic Era [61.879821573066216]
  生成AIは、現実世界の写真によく似た合成画像を作成する可能性を解き放った。 本稿では、これらのAI生成画像を新しいデータソースとして活用するという革新的な概念を探求する。 実際のデータとは対照的に、AI生成データには、未整合のアブリダンスやスケーラビリティなど、大きなメリットがある。
  論文  参考訳（メタデータ） (2023-10-03T06:55:19Z)
• CIFAKE: Image Classification and Explainable Identification of AI-Generated Synthetic Images [7.868449549351487]
  本稿では,コンピュータビジョンによるAI生成画像の認識能力を高めることを提案する。 写真が本物かAIによって生成されるかに関して、バイナリ分類問題として存在する2つのデータセット。 本研究では,畳み込みニューラルネットワーク(CNN)を用いて画像をリアルとフェイクの2つのカテゴリに分類する。
  論文  参考訳（メタデータ） (2023-03-24T16:33:06Z)
• Re-Imagen: Retrieval-Augmented Text-to-Image Generator [58.60472701831404]
  検索用テキスト・ツー・イメージ・ジェネレータ(再画像) 検索用テキスト・ツー・イメージ・ジェネレータ(再画像)
  論文  参考訳（メタデータ） (2022-09-29T00:57:28Z)
• Where Does the Performance Improvement Come From? - A Reproducibility Concern about Image-Text Retrieval [85.03655458677295]
  画像テキスト検索は、情報検索分野において、徐々に主要な研究方向になりつつある。 まず、画像テキスト検索タスクに焦点が当てられている理由と関連性について検討する。 本研究では,事前学習と非事前学習による検索モデルの再現の諸側面を解析する。
  論文  参考訳（メタデータ） (2022-03-08T05:01:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。