論文の概要: AI-Generated Images Introduce Invisible Relevance Bias to Text-Image
Retrieval
- arxiv url: http://arxiv.org/abs/2311.14084v3
- Date: Mon, 15 Jan 2024 02:31:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 00:36:30.146519
- Title: AI-Generated Images Introduce Invisible Relevance Bias to Text-Image
Retrieval
- Title(参考訳): テキスト画像検索に可視的関連バイアスをもたらすai生成画像
- Authors: Shicheng Xu, Danyang Hou, Liang Pang, Jingcheng Deng, Jun Xu, Huawei
Shen, Xueqi Cheng
- Abstract要約: 我々は,AI生成画像がテキスト画像検索モデルに目に見えない関連性バイアスをもたらすことを示す。
検索モデルのトレーニングデータにAI生成画像を含めると、目に見えない関連性バイアスが増す。
本研究では,目に見えない関連バイアスを軽減するための効果的なトレーニング手法を提案する。
- 参考スコア(独自算出の注目度): 70.54890125718387
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the advancement of generation models, AI-generated content (AIGC) is
becoming more realistic, flooding the Internet. A recent study suggests that
this phenomenon causes source bias in text retrieval for web search.
Specifically, neural retrieval models tend to rank generated texts higher than
human-written texts. In this paper, we extend the study of this bias to
cross-modal retrieval. Firstly, we successfully construct a suitable benchmark
to explore the existence of the bias. Subsequent extensive experiments on this
benchmark reveal that AI-generated images introduce an invisible relevance bias
to text-image retrieval models. Specifically, our experiments show that
text-image retrieval models tend to rank the AI-generated images higher than
the real images, even though the AI-generated images do not exhibit more
visually relevant features to the query than real images. This invisible
relevance bias is prevalent across retrieval models with varying training data
and architectures. Furthermore, our subsequent exploration reveals that the
inclusion of AI-generated images in the training data of the retrieval models
exacerbates the invisible relevance bias. The above phenomenon triggers a
vicious cycle, which makes the invisible relevance bias become more and more
serious. To elucidate the potential causes of invisible relevance and address
the aforementioned issues, we introduce an effective training method aimed at
alleviating the invisible relevance bias. Subsequently, we apply our proposed
debiasing method to retroactively identify the causes of invisible relevance,
revealing that the AI-generated images induce the image encoder to embed
additional information into their representation. This information exhibits a
certain consistency across generated images with different semantics and can
make the retriever estimate a higher relevance score.
- Abstract(参考訳): 世代モデルの発展に伴い、AIGC(AI- generated content)がより現実的になり、インターネットが溢れている。
最近の研究では、この現象がWeb検索のためのテキスト検索の源泉バイアスを引き起こすことが示唆されている。
具体的には、ニューラル検索モデルは、人間が書いたテキストよりも高いテキストをランク付けする傾向にある。
本稿では,このバイアスの研究をクロスモーダル検索に拡張する。
まず,バイアスの存在を調べるための適切なベンチマークの構築に成功しました。
このベンチマークのさらなる実験により、AI生成画像はテキスト画像検索モデルに目に見えない関連性バイアスをもたらすことが明らかになった。
具体的には,テキスト画像検索モデルが,実際の画像よりも視覚的に関連した特徴を提示していないにもかかわらず,実際の画像よりもai生成画像を上位にランク付けする傾向があることを示す。
この目に見えない関連性バイアスは、トレーニングデータやアーキテクチャの異なる検索モデルに共通している。
さらに, 検索モデルの学習データにai生成画像が組み込まれることにより, 可視性バイアスが悪化することが明らかとなった。
上記の現象は悪循環を引き起こし、目に見えない関連性バイアスがますます深刻になる。
見えない関連性の潜在的原因を解明し、上記の問題に対処するために、目に見えない関連性バイアスを緩和するための効果的なトレーニング手法を提案する。
次に,提案手法を適用して,視覚的関連性の原因を遡及的に同定し,AI生成画像が画像エンコーダを誘導し,その表現に付加情報を埋め込むことを示した。
この情報は、異なる意味を持つ生成された画像間で一定の一貫性を示し、レトリバーが高い関連性スコアを推定することができる。
関連論文リスト
- PatchCraft: Exploring Texture Patch for Efficient AI-generated Image
Detection [39.820699370876916]
本稿では,多種多様な生成モデルを用いて生成した偽画像を識別できる新しいAI生成画像検出器を提案する。
グローバルな意味情報を消去し,テクスチャパッチを強化するために,新しいSmash&Reconstruction前処理を提案する。
我々のアプローチは最先端のベースラインよりも大きなマージンで優れています。
論文 参考訳(メタデータ) (2023-11-21T07:12:40Z) - AI-Generated Images as Data Source: The Dawn of Synthetic Era [61.879821573066216]
生成AIは、現実世界の写真によく似た合成画像を作成する可能性を解き放った。
本稿では、これらのAI生成画像を新しいデータソースとして活用するという革新的な概念を探求する。
実際のデータとは対照的に、AI生成データには、未整合のアブリダンスやスケーラビリティなど、大きなメリットがある。
論文 参考訳(メタデータ) (2023-10-03T06:55:19Z) - Generalizable Synthetic Image Detection via Language-guided Contrastive
Learning [22.4158195581231]
偽ニュースの拡散や偽のプロフィールの作成などの合成画像の真偽の使用は、画像の真正性に関する重要な懸念を提起する。
本稿では,言語指導によるコントラスト学習と検出問題の新たな定式化による,シンプルで効果的な合成画像検出手法を提案する。
提案したLanguAge-guided SynThEsis Detection (LASTED) モデルでは,画像生成モデルに対する一般化性が大幅に向上していることが示されている。
論文 参考訳(メタデータ) (2023-05-23T08:13:27Z) - Seeing is not always believing: Benchmarking Human and Model Perception
of AI-Generated Images [66.20578637253831]
人工知能(AI)技術の進歩が偽写真を生み出すのではないかという懸念が高まっている。
本研究の目的は、最先端のAI生成視覚コンテンツを識別するためのエージェントを包括的に評価することである。
論文 参考訳(メタデータ) (2023-04-25T17:51:59Z) - Harnessing the Power of Text-image Contrastive Models for Automatic
Detection of Online Misinformation [50.46219766161111]
誤情報識別の領域における構成的学習を探求する自己学習モデルを構築した。
本モデルでは、トレーニングデータが不十分な場合、非マッチング画像-テキストペア検出の優れた性能を示す。
論文 参考訳(メタデータ) (2023-04-19T02:53:59Z) - CIFAKE: Image Classification and Explainable Identification of
AI-Generated Synthetic Images [7.868449549351487]
本稿では,コンピュータビジョンによるAI生成画像の認識能力を高めることを提案する。
写真が本物かAIによって生成されるかに関して、バイナリ分類問題として存在する2つのデータセット。
本研究では,畳み込みニューラルネットワーク(CNN)を用いて画像をリアルとフェイクの2つのカテゴリに分類する。
論文 参考訳(メタデータ) (2023-03-24T16:33:06Z) - Re-Imagen: Retrieval-Augmented Text-to-Image Generator [58.60472701831404]
検索用テキスト・ツー・イメージ・ジェネレータ(再画像)
検索用テキスト・ツー・イメージ・ジェネレータ(再画像)
論文 参考訳(メタデータ) (2022-09-29T00:57:28Z) - Where Does the Performance Improvement Come From? - A Reproducibility
Concern about Image-Text Retrieval [85.03655458677295]
画像テキスト検索は、情報検索分野において、徐々に主要な研究方向になりつつある。
まず、画像テキスト検索タスクに焦点が当てられている理由と関連性について検討する。
本研究では,事前学習と非事前学習による検索モデルの再現の諸側面を解析する。
論文 参考訳(メタデータ) (2022-03-08T05:01:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。