論文の概要: The Many Senses of Visual Similarity: A Text-Prompted Image Perceptual Metric
- arxiv url: http://arxiv.org/abs/2607.18237v1
- Date: Mon, 20 Jul 2026 17:59:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.735274
- Title: The Many Senses of Visual Similarity: A Text-Prompted Image Perceptual Metric
- Title（参考訳）: 視覚的類似感の多さ--テキストプロンプトによる知覚的メトリクス
- Abstract要約: 画像三重項に対する人間の類似性判定の大規模データセットを提案する。
視覚言語モデルを微調整して,テキストプロンプト画像の知覚的類似度測定値を生成する。
TPIPSは人間の知覚とより密接に一致し、トレーニング分布を超えて確実に一般化する。
- 参考スコア（独自算出の注目度）: 78.74729751232852
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Human visual similarity judgments are context-dependent. For example, two images may be similar in shape but distinct in color. Existing perceptual similarity metrics, however, collapse these nuances into a single scalar value, offering no mechanism to condition on specific aspects. To bridge this gap, we introduce a large-scale dataset of human similarity judgments over image triplets, where each triplet is annotated across multiple, free-form semantic aspects of similarity. Benchmarking a broad range of frontier vision-language models (VLMs) reveals a considerable performance gap compared to human annotators' consensus. Leveraging our data, we fine-tune a VLM to produce our Text-Prompted Image Perceptual Similarity (TPIPS) metric, capturing multiple senses of visual similarity depending on the specified text prompt. We demonstrate that TPIPS aligns more closely with human perception and generalizes reliably beyond the training distribution. Finally, we show that TPIPS unlocks new capabilities in text-guided retrieval, compositional search, and the fine-grained evaluation of generative models. Our code, data, and trained models are at https://peterwang512.github.io/TPIPS
- Abstract（参考訳）: 人間の視覚的類似性判定は文脈に依存している。
例えば、2つの画像は形状は似ているが、色は異なる。
しかし、既存の知覚的類似度メトリクスは、これらのニュアンスを単一のスカラー値に分解し、特定の側面を条件付けるメカニズムを提供しない。
このギャップを埋めるために、画像三重項に対して人間の類似性判定の大規模データセットを導入し、各三重項は類似性の複数の自由形式の意味的側面に注釈付けされる。
広い範囲のフロンティアビジョン言語モデル(VLM)をベンチマークすると、人間のアノテータのコンセンサスと比較してかなりの性能差が示される。
データを活用することで、VLMを微調整して、指定されたテキストプロンプトに応じて複数の視覚的類似度をキャプチャする、テキストプロンプト画像知覚類似度(TPIPS)メトリックを生成します。
我々は,TPIPSが人間の知覚とより密接に一致し,トレーニング分布を超えて確実に一般化できることを実証した。
最後に、TPIPSは、テキスト誘導検索、合成検索、および生成モデルのきめ細かい評価において、新しい機能を解き放つことを示す。
私たちのコード、データ、トレーニングされたモデルはhttps://peterwang512.github.io/TPIPSにあります。
関連論文リスト
- Generative Retrieval for Unsupervised Text-Based Person Search [77.46429603553388]
テキストベースの人物検索(TBPS)は,ある自然言語記述に基づいて,大きな画像ギャラリーから対象者の画像を検索することを目的としている。
本稿では,2段階の世代別検索フレームワークであるGTR+を提案する。
また、高品質できめ細かいテキストアノテーションを備えた大規模TBPSデータセットであるLargeFine-Personにもコントリビュートしています。
論文 参考訳（メタデータ） (2026-09-11T15:25:00Z) - Mind-the-Glitch: Visual Correspondence for Detecting Inconsistencies in Subject-Driven Generation [120.23172120151821]
本稿では,事前学習した拡散モデルのバックボーンから視覚的特徴と意味的特徴を分離するための新しいアプローチを提案する。
注釈付きセマンティックと視覚対応を備えた画像ペアを構築する自動パイプラインを導入する。
被験者駆動画像生成における視覚的不整合を定量化する新しい指標であるビジュアルセマンティックマッチングを提案する。
論文 参考訳（メタデータ） (2025-09-26T07:11:55Z) - Discovering Divergent Representations between Text-to-Image Models [87.40710629963264]
2つの異なる生成モデルによって学習される視覚的表現の時間と方法について検討する。
進化的探索アルゴリズムCompConを導入し、あるモデルの出力において、他のモデルよりもより一般的な視覚特性を探索する。
CompConを使って、人気のあるテキストと画像のモデルを比較し、PixArtが濡れた通りで孤独に言及するプロンプトをどう表現するかといった、異なる表現を見つけます。
論文 参考訳（メタデータ） (2025-09-10T19:07:55Z) - Asymmetric Visual Semantic Embedding Framework for Efficient Vision-Language Alignment [25.209622555403527]
類似度計算のためのテキスト入力に適した画像の各領域から特徴を動的に選択する,非対称ビジュアルセマンティック埋め込み (AVSE) というフレームワークを提案する。
AVSEは2つのモードのメタセマンティック埋め込みの最適マッチングを見つけることで視覚的意味的類似性を計算する。
提案するAVSEモデルは,大規模なMS-COCOおよびFlickr30Kデータセット上で広範囲に評価されている。
論文 参考訳（メタデータ） (2025-03-10T06:38:41Z) - Interpretable Measures of Conceptual Similarity by
Complexity-Constrained Descriptive Auto-Encoding [112.0878081944858]
画像間の類似度を定量化することは、画像ベースの機械学習にとって重要な著作権問題である。
我々は,高次関係を捉えた画像間での「概念的類似性」の概念を定義し,計算することを目指している。
2つの非常に異種な画像は、その記述の早い段階で識別できるが、概念的に異種な画像は、より詳細を区別する必要がある。
論文 参考訳（メタデータ） (2024-02-14T03:31:17Z) - DreamSim: Learning New Dimensions of Human Visual Similarity using
Synthetic Data [43.247597420676044]
現在の知覚的類似度メトリクスは、ピクセルとパッチのレベルで動作します。
これらのメトリクスは、低レベルの色やテクスチャの観点から画像を比較するが、画像レイアウト、オブジェクトポーズ、セマンティック内容の中間レベルの類似点や相違点をキャプチャできない。
我々は,画像の全体的評価を行う知覚的指標を開発した。
論文 参考訳（メタデータ） (2023-06-15T17:59:50Z) - Deep Perceptual Similarity is Adaptable to Ambiguous Contexts [1.6217405839281338]
画像類似性の概念は曖昧であり、ある文脈では似ていて、別の文脈では似ていない。
この研究は、与えられたコンテキストに適応する深層知覚類似度(DPS)メトリクスの能力について考察する。
適応されたメトリクスは知覚的類似性データセットで評価され、ランキングへの適応が以前のパフォーマンスに影響するかどうかを評価する。
論文 参考訳（メタデータ） (2023-04-05T07:31:44Z) - Learning an Adaptation Function to Assess Image Visual Similarities [0.0]
ここでは、類推が重要となるとき、視覚的イメージ類似性を学ぶための特定のタスクに焦点を当てる。
本稿では,異なるスケールとコンテンツデータセットで事前学習した,教師付き,半教師付き,自己教師型ネットワークの比較を提案する。
The Totally Looks Like Image dataset conducted on the Totally Looks Like image highlight the interest of our method, by increase the search scores of the best model @1 by 2.25x。
論文 参考訳（メタデータ） (2022-06-03T07:15:00Z) - Attributable Visual Similarity Learning [90.69718495533144]
本稿では、画像間のより正確で説明可能な類似度測定のための帰属的視覚類似度学習(AVSL)フレームワークを提案する。
人間の意味的類似性認知に動機づけられた2つの画像とグラフとの類似性を表現するために,一般化された類似性学習パラダイムを提案する。
CUB-200-2011、Cars196、Stanford Online Productsデータセットの実験は、既存の深い類似性学習方法よりも大幅に改善されたことを示している。
論文 参考訳（メタデータ） (2022-03-28T17:35:31Z) - Learning Contrastive Representation for Semantic Correspondence [150.29135856909477]
セマンティックマッチングのためのマルチレベルコントラスト学習手法を提案する。
画像レベルのコントラスト学習は、畳み込み特徴が類似したオブジェクト間の対応を見出すための鍵となる要素であることを示す。
論文 参考訳（メタデータ） (2021-09-22T18:34:14Z) - Deep Multimodal Image-Text Embeddings for Automatic Cross-Media
Retrieval [0.0]
視覚と言語表現を同時に学習するための,エンドツーエンドの深層マルチモーダル畳み込み再帰ネットワークを提案する。
このモデルは、どのペアがマッチ(正)か、どれがミスマッチ(負)かをヒンジベースの三重項ランキングを用いて学習する。
論文 参考訳（メタデータ） (2020-02-23T23:58:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。