論文の概要: Analysis of Deep Image Quality Models
- arxiv url: http://arxiv.org/abs/2302.13345v1
- Date: Sun, 26 Feb 2023 16:36:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-28 17:35:00.305411
- Title: Analysis of Deep Image Quality Models
- Title（参考訳）: 深部画像品質モデルの解析
- Authors: Pablo Hern\'andez-C\'amara, Jorge Vila-Tom\'as, Valero Laparra,
Jes\'us Malo
- Abstract要約: 最近、多くの興味深い視覚的タスクに対して、無数のネットワークがうまく最適化されている。
これらの網は、画像の品質や他の精神物理学を予測するために特別に設計されたものではないが、驚くべき人間の行動を示している。
- 参考スコア（独自算出の注目度）: 2.960890352853005
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Subjective image quality measures based on deep neural networks are very
related to models of visual neuroscience. This connection benefits engineering
but, more interestingly, the freedom to optimize deep networks in different
ways, make them an excellent tool to explore the principles behind visual
perception (both human and artificial). Recently, a myriad of networks have
been successfully optimized for many interesting visual tasks. Although these
nets were not specifically designed to predict image quality or other
psychophysics, they have shown surprising human-like behavior. The reasons for
this remain unclear.
In this work, we perform a thorough analysis of the perceptual properties of
pre-trained nets (particularly their ability to predict image quality) by
isolating different factors: the goal (the function), the data (learning
environment), the architecture, and the readout: selected layer(s), fine-tuning
of channel relevance, and use of statistical descriptors as opposed to plain
readout of responses.
Several conclusions can be drawn. All the models correlate better with human
opinion than SSIM. More importantly, some of the nets are in pair of
state-of-the-art with no extra refinement or perceptual information. Nets
trained for supervised tasks such as classification correlate substantially
better with humans than LPIPS (a net specifically tuned for image quality).
Interestingly, self-supervised tasks such as jigsaw also perform better than
LPIPS. Simpler architectures are better than very deep nets. In simpler nets,
correlation with humans increases with depth as if deeper layers were closer to
human judgement. This is not true in very deep nets. Consistently with reports
on illusions and contrast sensitivity, small changes in the image environment
does not make a big difference. Finally, the explored statistical descriptors
and concatenations had no major impact.
- Abstract（参考訳）: ディープニューラルネットワークに基づく主観的画質測定は、視覚神経科学のモデルと非常に関係がある。
この接続はエンジニアリングにメリットがあるが、より興味深いのは、ディープネットワークを異なる方法で最適化し、視覚知覚(人間と人工の両方)の背後にある原理を探求する優れたツールとなることだ。
最近、多くの興味深い視覚的タスクに対して、無数のネットワークがうまく最適化されている。
これらのネットは、画像品質やその他の心理物理学を予測するために特別に設計されたものではないが、驚くべき人間のような行動を示した。
その理由は定かではない。
本研究では, 目標(機能), データ(学習環境), アーキテクチャ, 読み出し: 選択層, チャネル関係の微調整, 応答のプレーンな読み出しとは対照的に統計記述子の使用など, 異なる要因を分離することにより, 事前学習したネットの知覚特性(特に画像品質を予測する能力)を徹底的に分析する。
いくつかの結論が導かれる。
すべてのモデルは、SSIMよりも人間の意見とよく相関している。
さらに重要なことに、いくつかのネットは最先端技術であり、余分な洗練や知覚情報がない。
分類などの教師付きタスクのために訓練されたネットは、lpips(画像品質に特化したネット)よりも人間にかなりよく相関している。
興味深いことに、jigsawのような自己管理タスクもLPIPSより優れている。
単純なアーキテクチャは、非常に深い網よりも優れている。
単純な網では、深い層が人間の判断に近いように、人間との相関は深さとともに増加する。
これは非常に深い網では正しくない。
錯覚やコントラスト感度に関する報告とは対照的に、画像環境の小さな変化は大きな違いをもたらさない。
最後に、探索された統計記述子と結合は大きな影響を及ぼさなかった。
関連論文リスト
- Brain-like emergent properties in deep networks: impact of network architecture, datasets and training [3.1893819671093775]
ディープネットワークが急速に向上しているにもかかわらず、実際のビジョンタスクでは人間よりも優れています。
このパラドックス的な一般化の欠如は、ディープネットワークをより脳に似たものにすることで対処できる。
深層ネットワーク上でテスト可能な知覚的・神経的創発的特性について報告する。
論文 参考訳（メタデータ） (2024-11-25T12:22:36Z) - Understanding the Role of Pathways in a Deep Neural Network [4.456675543894722]
分類タスクで訓練された畳み込みニューラルネットワーク(CNN)を分析し,個々の画素の拡散経路を抽出するアルゴリズムを提案する。
画像からの個々のピクセルの最も大きな経路は、分類に重要な各層の特徴マップを横断する傾向にある。
論文 参考訳（メタデータ） (2024-02-28T07:53:19Z) - Super Consistency of Neural Network Landscapes and Learning Rate Transfer [72.54450821671624]
我々は、失われたヘッセンのレンズを通して風景を研究する。
我々は、$mu$P のスペクトル特性がネットワークの大きさに大きく依存していることを発見した。
ニューラルタンジェントカーネル(NTK)や他のスケーリングシステムでは、シャープネスは異なるスケールで非常に異なるダイナミクスを示す。
論文 参考訳（メタデータ） (2024-02-27T12:28:01Z) - Unveiling the Unseen: Identifiable Clusters in Trained Depthwise
Convolutional Kernels [56.69755544814834]
深部分離型畳み込みニューラルネットワーク(DS-CNN)の最近の進歩は、新しいアーキテクチャをもたらす。
本稿では,DS-CNNアーキテクチャのもう一つの顕著な特性を明らかにする。
論文 参考訳（メタデータ） (2024-01-25T19:05:53Z) - Diffused Redundancy in Pre-trained Representations [98.55546694886819]
事前訓練された表現で機能がどのようにコード化されているか、より詳しく見ていきます。
与えられた層における学習された表現は拡散冗長性を示す。
我々の発見は、事前訓練されたディープニューラルネットワークによって学習された表現の性質に光を当てた。
論文 参考訳（メタデータ） (2023-05-31T21:00:50Z) - Connecting metrics for shape-texture knowledge in computer vision [1.7785095623975342]
深層ニューラルネットワークは、人間が画像の分類ミスを起こさないような、画像の多くの変化の影響を受けやすいままである。
この異なる振る舞いの一部は、視覚タスクで人間とディープニューラルネットワークが使用する機能の種類によって説明できるかもしれない。
論文 参考訳（メタデータ） (2023-01-25T14:37:42Z) - Human alignment of neural network representations [22.671101285994013]
ニューラルネットワークで学習した表現と行動応答から推定される人間の心的表現のアライメントに影響を与える要因について検討する。
モデルスケールとアーキテクチャは基本的に人間の行動応答に影響を与えないことがわかった。
食物や動物などの人間の概念はニューラルネットワークによってよく表現されているのに対し、ロイヤルやスポーツ関連の物体はそうではない。
論文 参考訳（メタデータ） (2022-11-02T15:23:16Z) - A domain adaptive deep learning solution for scanpath prediction of
paintings [66.46953851227454]
本稿では,ある絵画の視覚的体験における視聴者の眼球運動分析に焦点を当てた。
我々は、人間の視覚的注意を予測するための新しいアプローチを導入し、人間の認知機能に影響を及ぼす。
提案した新しいアーキテクチャは、画像を取り込んでスキャンパスを返す。
論文 参考訳（メタデータ） (2022-09-22T22:27:08Z) - Ultrafast Image Categorization in Biology and Neural Models [0.0]
生態学的に人間に関係のある2つの独立したタスクについて,標準VGG 16 CNNを再訓練した。
ネットワークの再トレーニングは、精神物理学的なタスクで報告されたのに匹敵する、人間のようなパフォーマンスのレベルを達成することを示す。
論文 参考訳（メタデータ） (2022-05-07T11:19:40Z) - Focus Longer to See Better:Recursively Refined Attention for
Fine-Grained Image Classification [148.4492675737644]
Deep Neural Networkは、粗い粒度の画像分類タスクにおいて大きな進歩を見せている。
本稿では,これらの限界差に着目して,より代表的な特徴を抽出する。
我々のネットワークは、画像の一部に繰り返し焦点を合わせ、クラス間の小さな識別的部分を見つける。
論文 参考訳（メタデータ） (2020-05-22T03:14:18Z) - Analyzing Neural Networks Based on Random Graphs [77.34726150561087]
様々なタイプのランダムグラフに対応するアーキテクチャを用いて,ニューラルネットワークの大規模評価を行う。
古典的な数値グラフ不変量は、それ自体が最良のネットワークを選び出すことができない。
また、主に短距離接続を持つネットワークは、多くの長距離接続が可能なネットワークよりも性能が良いことも見出した。
論文 参考訳（メタデータ） (2020-02-19T11:04:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。