論文の概要: Deep Perceptual Similarity is Adaptable to Ambiguous Contexts
- arxiv url: http://arxiv.org/abs/2304.02265v1
- Date: Wed, 5 Apr 2023 07:31:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-06 13:10:03.818093
- Title: Deep Perceptual Similarity is Adaptable to Ambiguous Contexts
- Title（参考訳）: 深い知覚の類似性は曖昧な文脈に適応できる
- Authors: Gustav Grund Pihlgren, Fredrik Sandin, Marcus Liwicki
- Abstract要約: 画像類似性の概念は曖昧であり、ある文脈で類似と見なされるイメージは別の文脈には存在しないかもしれない。
この研究は、ある状況に適応するために、ディープパーセプチュアル類似度(DPS)メトリクスを成功させる能力について探求する。
- 参考スコア（独自算出の注目度）: 1.6217405839281338
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The concept of image similarity is ambiguous, meaning that images that are
considered similar in one context might not be in another. This ambiguity
motivates the creation of metrics for specific contexts. This work explores the
ability of the successful deep perceptual similarity (DPS) metrics to adapt to
a given context. Recently, DPS metrics have emerged using the deep features of
neural networks for comparing images. These metrics have been successful on
datasets that leverage the average human perception in limited settings. But
the question remains if they could be adapted to specific contexts of
similarity. No single metric can suit all definitions of similarity and
previous metrics have been rule-based which are labor intensive to rewrite for
new contexts. DPS metrics, on the other hand, use neural networks which might
be retrained for each context. However, retraining networks takes resources and
might ruin performance on previous tasks. This work examines the adaptability
of DPS metrics by training positive scalars for the deep features of pretrained
CNNs to correctly measure similarity for different contexts. Evaluation is
performed on contexts defined by randomly ordering six image distortions (e.g.
rotation) by which should be considered more similar when applied to an image.
This also gives insight into whether the features in the CNN is enough to
discern different distortions without retraining. Finally, the trained metrics
are evaluated on a perceptual similarity dataset to evaluate if adapting to an
ordering affects their performance on established scenarios. The findings show
that DPS metrics can be adapted with high performance. While the adapted
metrics have difficulties with the same contexts as baselines, performance is
improved in 99% of cases. Finally, it is shown that the adaption is not
significantly detrimental to prior performance on perceptual similarity.
- Abstract（参考訳）: 画像類似性の概念は曖昧であり、ある文脈で類似と見なされるイメージは別の文脈には存在しないかもしれない。
この曖昧さは、特定のコンテキストに対するメトリクスの作成を動機付ける。
この研究は、所定の文脈に適合するdps(deep perceptual similarity)メトリクスを成功させる能力を探求する。
近年、画像の比較にニューラルネットワークの深い特徴を用いてDPSメトリクスが出現している。
これらの指標は、限られた設定で平均的な人間の知覚を活用するデータセット上で成功している。
しかし問題は、類似性の特定の文脈に適応できるかどうかだ。
類似性のすべての定義に適合する単一のメトリクスはなく、以前のメトリクスはルールベースであり、新しいコンテキストのために書き直すのに重きを置いている。
一方、DPSメトリクスは、各コンテキストで再トレーニングされる可能性のあるニューラルネットワークを使用する。
しかし、再トレーニングネットワークはリソースを消費し、以前のタスクのパフォーマンスを損なう可能性がある。
本研究では、事前学習したCNNの深い特徴に対する正のスカラーをトレーニングし、異なる文脈における類似性を正確に測定することで、DPSメトリクスの適応性を検討する。
評価は6つの画像歪み(例えば回転)をランダムに順序付けした文脈で行われ、画像に適用するとより類似すると考えられる。
これはまた、cnnの機能が再トレーニングせずに異なる歪みを識別するのに十分なかどうかの洞察を与える。
最後に、トレーニングされたメトリクスを知覚的類似性データセットで評価し、注文への適応が確立したシナリオのパフォーマンスに影響を与えるかどうかを評価する。
その結果, dpsメトリクスは高性能に適応できることがわかった。
適応されたメトリクスはベースラインと同じコンテキストで難しいが、パフォーマンスは99%のケースで改善されている。
最後に, 適応が知覚的類似性に対する先行性能に悪影響を及ぼさないことを示す。
関連論文リスト
- CSIM: A Copula-based similarity index sensitive to local changes for Image quality assessment [2.3874115898130865]
画像類似度メトリクスは、画像処理、コンピュータビジョン、機械学習で使用されるため、コンピュータビジョンアプリケーションにおいて重要な役割を果たす。
PSNR、MSE、SSIM、ISSM、FSIMといった既存のメトリクスは、画像の小さな変更に対する速度、複雑さ、感度のいずれにおいても制限に直面していることが多い。
本稿では,画像の微妙な変化に敏感でありながらリアルタイムに組み合わせた新しい画像類似度指標CSIMについて検討する。
論文 参考訳（メタデータ） (2024-10-02T10:46:05Z) - Synergy and Diversity in CLIP: Enhancing Performance Through Adaptive Backbone Ensembling [58.50618448027103]
コントラスト言語-画像事前学習(CLIP)は画像表現学習において顕著な手法である。
本稿では,CLIPを訓練した視覚バックボーンの違いについて検討する。
方法によって、最高の単一のバックボーンよりも39.1%の精度が著しく向上する。
論文 参考訳（メタデータ） (2024-05-27T12:59:35Z) - LipSim: A Provably Robust Perceptual Similarity Metric [56.03417732498859]
敵攻撃に対するViTベースの特徴抽出器のアンサンブルに基づく,最先端の知覚的類似度指標の脆弱性を示す。
次に、証明可能な保証とともに、LipSimと呼ばれる堅牢な知覚的類似度メトリックをトレーニングするためのフレームワークを提案する。
LipSimは、各データポイント周辺の保護された領域と、$ell$ ball内のすべての摂動の証明書を提供する。
論文 参考訳（メタデータ） (2023-10-27T16:59:51Z) - A Geometrical Approach to Evaluate the Adversarial Robustness of Deep
Neural Networks [52.09243852066406]
対向収束時間スコア(ACTS)は、対向ロバストネス指標として収束時間を測定する。
我々は,大規模画像Netデータセットに対する異なる敵攻撃に対して,提案したACTSメトリックの有効性と一般化を検証する。
論文 参考訳（メタデータ） (2023-10-10T09:39:38Z) - Fine-grained Recognition with Learnable Semantic Data Augmentation [68.48892326854494]
きめ細かい画像認識は、長年続くコンピュータビジョンの課題である。
本稿では,識別領域損失問題を軽減するため,特徴レベルのトレーニングデータを多様化することを提案する。
本手法は,いくつかの人気分類ネットワーク上での一般化性能を著しく向上させる。
論文 参考訳（メタデータ） (2023-09-01T11:15:50Z) - R-LPIPS: An Adversarially Robust Perceptual Similarity Metric [71.33812578529006]
本稿では,Robust Learned Perceptual Image Patch similarity(R-LPIPS)メトリクスを提案する。
R-LPIPSは、敵対的に訓練された深い特徴を活用する新しい指標である。
従来のLPIPSメトリックと比較して,R-LPIPSの優位性を示す。
論文 参考訳（メタデータ） (2023-07-27T19:11:31Z) - DreamSim: Learning New Dimensions of Human Visual Similarity using
Synthetic Data [43.247597420676044]
現在の知覚的類似度メトリクスは、ピクセルとパッチのレベルで動作します。
これらのメトリクスは、低レベルの色やテクスチャの観点から画像を比較するが、画像レイアウト、オブジェクトポーズ、セマンティック内容の中間レベルの類似点や相違点をキャプチャできない。
我々は,画像の全体的評価を行う知覚的指標を開発した。
論文 参考訳（メタデータ） (2023-06-15T17:59:50Z) - Equivariant Similarity for Vision-Language Foundation Models [134.77524524140168]
本研究は、主要な訓練目的だけでなく、下流タスクをサポートするためのコアデリバリであるマルチモーダル類似性関数に焦点を当てる。
一致した2組のトレーニングペアから効率よく計算できる正規化損失であるEqSimを提案する。
既存の評価セットと比較すると、EqBenは"視覚的最小限の変化"に最初に焦点を当てている。
論文 参考訳（メタデータ） (2023-03-25T13:22:56Z) - Identifying and Mitigating Flaws of Deep Perceptual Similarity Metrics [1.484528358552186]
本研究は,Deep Perceptual similarity(DPS)メトリクスの利点と欠点について考察する。
メトリクスは、メトリクスの長所と短所を理解するために、詳細に分析されます。
この研究は、DPSの欠陥に関する新たな洞察に寄与し、さらにメトリクスの改善を提案する。
論文 参考訳（メタデータ） (2022-07-06T08:28:39Z) - Learning an Adaptation Function to Assess Image Visual Similarities [0.0]
ここでは、類推が重要となるとき、視覚的イメージ類似性を学ぶための特定のタスクに焦点を当てる。
本稿では,異なるスケールとコンテンツデータセットで事前学習した,教師付き,半教師付き,自己教師型ネットワークの比較を提案する。
The Totally Looks Like Image dataset conducted on the Totally Looks Like image highlight the interest of our method, by increase the search scores of the best model @1 by 2.25x。
論文 参考訳（メタデータ） (2022-06-03T07:15:00Z) - Adaptive Label Smoothing [1.3198689566654107]
本稿では,学習中の目的意識とラベルの平滑化を併用した新しい分類手法を提案する。
適応ラベルスムーシングを用いて訓練されたCNNが、予測に過信される可能性がはるかに低いことを示すために、ImageNetを用いた広範な結果を示す。
論文 参考訳（メタデータ） (2020-09-14T13:37:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。