論文の概要: VL-Dedup: Graded Multimodal Entity Resolution for Image-Text Data Deduplication

• arxiv url: http://arxiv.org/abs/2611.03080v1
• Date: Mon, 02 Nov 2026 13:06:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 13:29:05.573716
• Title: VL-Dedup: Graded Multimodal Entity Resolution for Image-Text Data Deduplication
• Title（参考訳）: VL-Dedup: 画像テキストデータ重複に対するグレードマルチモーダルエンティティ分解能
• Abstract要約: 画像テキストコーパスには、1つのイメージのコピー、異なる方法で1つのイメージを記述するキャプション、異なるイメージに対するキャプションの再利用、イメージにマッチしないキャプションが含まれる。 重複とマルチモーダルな実体分解はレコードが同じかどうかを判断し、ラベル付きペアで評価する。 画像テキストの重複をグレード化されたマルチモーダルERとして定式化し、各ペアの視覚的同一性、キャプションハンドリング、ミスマッチを決定する。
• 参考スコア（独自算出の注目度）: 8.862982062683983
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image-text corpora contain copies of one image, captions that describe one image in different ways, captions reused for different images, and captions that do not match their images. Each case calls for a different curation action. Deduplication and multimodal entity resolution (ER) only decide whether records are the same, and they are evaluated on labeled pairs. Yet pair scores do not tell which records end up in the same cluster or which useful captions get deleted. We therefore formulate image-text deduplication as graded multimodal ER, which decides visual identity, caption handling, and mismatches for each pair, and we evaluate it at three levels: pairs, clusters, and the retained set. Our method, VL-Dedup, groups records of the same visual entity into clusters and caps the size of each cluster. Within each cluster, a vision-language model (VLM) and CLIPScore decide which captions to keep and which to flag. We also build VL-DedupBench, with 50,000 COCO and SOP records and 66,788 labeled pairs. On it, a classifier that selects no false edge among the labeled pairs still joins millions of record pairs from different entities. Spending VLM calls on the pairs inside clusters, rather than on pairs with uncertain scores, gives better caption decisions from the same model. Even when almost all clusters are correct, keeping one record per cluster loses facts in many deletions, while the deletions of VL-Dedup lose much less information.
• Abstract（参考訳）: 画像テキストコーパスには、1つのイメージのコピー、異なる方法で1つのイメージを記述するキャプション、異なるイメージのために再利用されるキャプション、イメージにマッチしないキャプションが含まれる。 各ケースは異なるキュレーションアクションを要求する。 重複と多重モードの実体分解能(ER)はレコードが同じかどうかを判断し、ラベル付きペアで評価する。 しかしペアスコアは、どのレコードが同じクラスタに終わるか、どの有用なキャプションが削除されるかを示すものではない。 そこで我々は,画像テキストの復号化をグレード化されたマルチモーダルERとして定式化し,各ペアの視覚的同一性,キャプションハンドリング,ミスマッチを判定し,ペア,クラスタ,保持セットの3つのレベルで評価する。 我々の方法であるVL-Dedupは、同一の視覚的実体の記録をクラスタにグループ化し、各クラスタのサイズをカプセル化する。 各クラスタ内では、視覚言語モデル(VLM)とCLIPScoreがどのキャプションを保持するか、どのフラグを付けるかを決定する。 また、VL-DedupBenchを5万のCOCOとSOPレコードと66,788のラベル付きペアで構築しています。 その上で、ラベル付きペアの中で偽のエッジを選ばない分類器は、異なるエンティティから何百万ものレコードペアと結合する。 VLMは、不確実なスコアを持つペアではなく、クラスタ内のペアをコールすることで、同じモデルからより優れたキャプション決定を与える。 ほぼすべてのクラスタが正しいとしても、クラスタ毎の1つのレコードを保持することは、多くの削除で事実を失う一方、VL-Dedupの削除は情報を失う。

関連論文リスト

• SAGE: Semantic Attribute Graphs for Multi-Entity Visual Retrieval [7.2391463583497995]
  我々は、密集した文書画像から意味的エンティティを解析する、トレーニング不要のフレームワークであるSAGEを提案する。 SAGEは意味の希釈を大幅に減らし、パッチレベルとOCRベースの検索ベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-09-01T06:07:20Z)
• Using Hierarchical Controlled Vocabularies to Understand CLIP Retrieval Failures in Historical Photo Collections [5.829608861264842]
  視覚的コヒーレンスとテキスト画像のアライメントは、用語間ではほとんど無関係であることを示す。 ファインチューニングは全体の検索を改善するが、そのゲインは階層内のより浅い用語を好んでいる。
  論文  参考訳（メタデータ） (2026-07-22T07:16:20Z)
• Text-Guided Alternative Image Clustering [11.103514372355088]
  この研究は、代替画像クラスタリングを容易にするために、大きな視覚言語モデルの可能性を探るものである。 本稿では,ユーザの興味をプロンプトを通じて活用する新たなアプローチとして,テキストガイドによる代替イメージコンセンサスクラスタリング(TGAICC)を提案する。 TGAICCは、4つの代替イメージクラスタリングベンチマークデータセットで画像とテキストベースのベースラインを上回っている。
  論文  参考訳（メタデータ） (2024-06-07T08:37:57Z)
• Describing Differences in Image Sets with Natural Language [101.80939666230168]
  モデルの振る舞いを理解し、データセットを分析するためには、セットレベルの差異を識別することが不可欠である。 本稿では、まずイメージをキャプションし、言語モデルに差分記述を提案するVisDiffを紹介する。 データセットとモデルにこれまで知られていなかった興味深い違いを見つけることができ、微妙な洞察を明らかにする上で、VisDiffの実用性を示すことができます。
  論文  参考訳（メタデータ） (2023-12-05T18:59:16Z)
• Text encoders bottleneck compositionality in contrastive vision-language models [76.2406963762722]
  単一ベクトルのテキスト表現からキャプションを再構築することを目的としたテキストのみのリカバリプローブを訓練する。 CLIPのテキストエンコーダは、より構成的な入力では不十分であることがわかった。 結果は、テキストのみの回復性は、構成因子をモデル化するのに必要である(しかし十分ではない)ことを示唆している。
  論文  参考訳（メタデータ） (2023-05-24T08:48:44Z)
• Adaptively Clustering Neighbor Elements for Image-Text Generation [78.82346492527425]
  我々はtextbfACF と呼ばれるトランスフォーマーに基づく新しい画像テキスト生成モデルを提案する。 ACFは、視覚パッチをオブジェクト領域と言語単語に適応的にクラスタリングし、暗黙的にオブジェクト・フレーズのアライメントを学習する。 実験の結果,ほとんどのSOTAキャプションやVQAモデルよりも優れたACFの有効性が示された。
  論文  参考訳（メタデータ） (2023-01-05T08:37:36Z)
• Unsupervised Person Re-identification via Softened Similarity Learning [122.70472387837542]
  人物再識別(re-ID)はコンピュータビジョンにおいて重要なトピックである。 本稿では,ラベル付き情報を必要としないre-IDの教師なし設定について検討する。 2つの画像ベースおよびビデオベースデータセットの実験は、最先端のパフォーマンスを示している。
  論文  参考訳（メタデータ） (2020-04-07T17:16:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。