論文の概要: Deep Perceptual Similarity is Adaptable to Ambiguous Contexts

• arxiv url: http://arxiv.org/abs/2304.02265v2
• Date: Fri, 12 May 2023 14:04:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-15 15:32:12.322012
• Title: Deep Perceptual Similarity is Adaptable to Ambiguous Contexts
• Title（参考訳）: 深い知覚の類似性は曖昧な文脈に適応できる
• Authors: Gustav Grund Pihlgren, Fredrik Sandin, Marcus Liwicki
• Abstract要約: 画像類似性の概念は曖昧であり、ある文脈では似ていて、別の文脈では似ていない。 この研究は、与えられたコンテキストに適応する深層知覚類似度(DPS)メトリクスの能力について考察する。 適応されたメトリクスは知覚的類似性データセットで評価され、ランキングへの適応が以前のパフォーマンスに影響するかどうかを評価する。
• 参考スコア（独自算出の注目度）: 1.6217405839281338
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The concept of image similarity is ambiguous, and images can be similar in one context and not in another. This ambiguity motivates the creation of metrics for specific contexts. This work explores the ability of deep perceptual similarity (DPS) metrics to adapt to a given context. DPS metrics use the deep features of neural networks for comparing images. These metrics have been successful on datasets that leverage the average human perception in limited settings. But the question remains if they could be adapted to specific similarity contexts. No single metric can suit all similarity contexts, and previous rule-based metrics are labor-intensive to rewrite for new contexts. On the other hand, DPS metrics use neural networks that might be retrained for each context. However, retraining networks takes resources and might ruin performance on previous tasks. This work examines the adaptability of DPS metrics by training ImageNet pretrained CNNs to measure similarity according to given contexts. Contexts are created by randomly ranking six image distortions. Distortions later in the ranking are considered more disruptive to similarity when applied to an image for that context. This also gives insight into whether the pretrained features capture different similarity contexts. The adapted metrics are evaluated on a perceptual similarity dataset to evaluate if adapting to a ranking affects their prior performance. The findings show that DPS metrics can be adapted with high performance. While the adapted metrics have difficulties with the same contexts as baselines, performance is improved in 99% of cases. Finally, it is shown that the adaption is not significantly detrimental to prior performance on perceptual similarity. The implementation of this work is available online: https://github.com/LTU-Machine-Learning/Analysis-of-Deep-Perceptual-Loss-Networks
• Abstract（参考訳）: 画像類似性の概念は曖昧であり、画像はある文脈で類似しており、他の文脈では類似しない。 この曖昧さは、特定のコンテキストに対するメトリクスの作成を動機付ける。 この研究は、所定の文脈に適応するdps(deep perceptual similarity)メトリクスの能力を探求する。 DPSメトリクスは、画像の比較にニューラルネットワークの深い特徴を使用する。 これらの指標は、限られた設定で平均的な人間の知覚を活用するデータセット上で成功している。 しかし問題は、それらが特定の類似性コンテキストに適応できるかどうかだ。 以前のルールベースのメトリクスは、新しいコンテキストのために書き直すのに労働集約的です。 一方、DPSメトリクスは、各コンテキストで再トレーニングされる可能性のあるニューラルネットワークを使用する。 しかし、再トレーニングネットワークはリソースを消費し、以前のタスクのパフォーマンスを損なう可能性がある。 本研究は,imagenet 事前学習した cnn を訓練し,与えられた文脈に応じて類似度を測定することで dps メトリクスの適応性を検討する。 コンテキストは、6つの画像歪みをランダムにランク付けすることで生成される。 後のランキングでの歪みは、その文脈のイメージに適用した場合、類似性よりも破壊的と考えられる。 これはまた、事前訓練された機能が異なる類似性コンテキストをキャプチャするかどうかの洞察を与える。 適応されたメトリクスは知覚的類似性データセットで評価され、ランキングへの適応が以前のパフォーマンスに影響するかどうかを評価する。 その結果, dpsメトリクスは高性能に適応できることがわかった。 適応されたメトリクスはベースラインと同じコンテキストで難しいが、パフォーマンスは99%のケースで改善されている。 最後に, 適応が知覚的類似性に対する先行性能に悪影響を及ぼさないことを示す。 この実装は、https://github.com/ltu-machine-learning/ analysis-of-deep-perceptual-loss-networksで利用可能である。

関連論文リスト

• CSIM: A Copula-based similarity index sensitive to local changes for Image quality assessment [2.3874115898130865]
  画像類似度メトリクスは、画像処理、コンピュータビジョン、機械学習で使用されるため、コンピュータビジョンアプリケーションにおいて重要な役割を果たす。 PSNR、MSE、SSIM、ISSM、FSIMといった既存のメトリクスは、画像の小さな変更に対する速度、複雑さ、感度のいずれにおいても制限に直面していることが多い。 本稿では,画像の微妙な変化に敏感でありながらリアルタイムに組み合わせた新しい画像類似度指標CSIMについて検討する。
  論文  参考訳（メタデータ） (2024-10-02T10:46:05Z)
• Synergy and Diversity in CLIP: Enhancing Performance Through Adaptive Backbone Ensembling [58.50618448027103]
  コントラスト言語-画像事前学習(CLIP)は画像表現学習において顕著な手法である。 本稿では,CLIPを訓練した視覚バックボーンの違いについて検討する。 方法によって、最高の単一のバックボーンよりも39.1%の精度が著しく向上する。
  論文  参考訳（メタデータ） (2024-05-27T12:59:35Z)
• LipSim: A Provably Robust Perceptual Similarity Metric [56.03417732498859]
  敵攻撃に対するViTベースの特徴抽出器のアンサンブルに基づく,最先端の知覚的類似度指標の脆弱性を示す。 次に、証明可能な保証とともに、LipSimと呼ばれる堅牢な知覚的類似度メトリックをトレーニングするためのフレームワークを提案する。 LipSimは、各データポイント周辺の保護された領域と、$ell$ ball内のすべての摂動の証明書を提供する。
  論文  参考訳（メタデータ） (2023-10-27T16:59:51Z)
• A Geometrical Approach to Evaluate the Adversarial Robustness of Deep Neural Networks [52.09243852066406]
  対向収束時間スコア(ACTS)は、対向ロバストネス指標として収束時間を測定する。 我々は,大規模画像Netデータセットに対する異なる敵攻撃に対して,提案したACTSメトリックの有効性と一般化を検証する。
  論文  参考訳（メタデータ） (2023-10-10T09:39:38Z)
• Fine-grained Recognition with Learnable Semantic Data Augmentation [68.48892326854494]
  きめ細かい画像認識は、長年続くコンピュータビジョンの課題である。 本稿では,識別領域損失問題を軽減するため,特徴レベルのトレーニングデータを多様化することを提案する。 本手法は,いくつかの人気分類ネットワーク上での一般化性能を著しく向上させる。
  論文  参考訳（メタデータ） (2023-09-01T11:15:50Z)
• R-LPIPS: An Adversarially Robust Perceptual Similarity Metric [71.33812578529006]
  本稿では,Robust Learned Perceptual Image Patch similarity(R-LPIPS)メトリクスを提案する。 R-LPIPSは、敵対的に訓練された深い特徴を活用する新しい指標である。 従来のLPIPSメトリックと比較して,R-LPIPSの優位性を示す。
  論文  参考訳（メタデータ） (2023-07-27T19:11:31Z)
• DreamSim: Learning New Dimensions of Human Visual Similarity using Synthetic Data [43.247597420676044]
  現在の知覚的類似度メトリクスは、ピクセルとパッチのレベルで動作します。 これらのメトリクスは、低レベルの色やテクスチャの観点から画像を比較するが、画像レイアウト、オブジェクトポーズ、セマンティック内容の中間レベルの類似点や相違点をキャプチャできない。 我々は,画像の全体的評価を行う知覚的指標を開発した。
  論文  参考訳（メタデータ） (2023-06-15T17:59:50Z)
• Equivariant Similarity for Vision-Language Foundation Models [134.77524524140168]
  本研究は、主要な訓練目的だけでなく、下流タスクをサポートするためのコアデリバリであるマルチモーダル類似性関数に焦点を当てる。 一致した2組のトレーニングペアから効率よく計算できる正規化損失であるEqSimを提案する。 既存の評価セットと比較すると、EqBenは"視覚的最小限の変化"に最初に焦点を当てている。
  論文  参考訳（メタデータ） (2023-03-25T13:22:56Z)
• Identifying and Mitigating Flaws of Deep Perceptual Similarity Metrics [1.484528358552186]
  本研究は,Deep Perceptual similarity(DPS)メトリクスの利点と欠点について考察する。 メトリクスは、メトリクスの長所と短所を理解するために、詳細に分析されます。 この研究は、DPSの欠陥に関する新たな洞察に寄与し、さらにメトリクスの改善を提案する。
  論文  参考訳（メタデータ） (2022-07-06T08:28:39Z)
• Learning an Adaptation Function to Assess Image Visual Similarities [0.0]
  ここでは、類推が重要となるとき、視覚的イメージ類似性を学ぶための特定のタスクに焦点を当てる。 本稿では,異なるスケールとコンテンツデータセットで事前学習した,教師付き,半教師付き,自己教師型ネットワークの比較を提案する。 The Totally Looks Like Image dataset conducted on the Totally Looks Like image highlight the interest of our method, by increase the search scores of the best model @1 by 2.25x。
  論文  参考訳（メタデータ） (2022-06-03T07:15:00Z)
• Adaptive Label Smoothing [1.3198689566654107]
  本稿では,学習中の目的意識とラベルの平滑化を併用した新しい分類手法を提案する。 適応ラベルスムーシングを用いて訓練されたCNNが、予測に過信される可能性がはるかに低いことを示すために、ImageNetを用いた広範な結果を示す。
  論文  参考訳（メタデータ） (2020-09-14T13:37:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。