論文の概要: A domain adaptive deep learning solution for scanpath prediction of paintings

• arxiv url: http://arxiv.org/abs/2209.11338v1
• Date: Thu, 22 Sep 2022 22:27:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-26 16:41:27.268662
• Title: A domain adaptive deep learning solution for scanpath prediction of paintings
• Title（参考訳）: 絵画のスキャンパス予測のためのドメイン適応型ディープラーニングソリューション
• Authors: Mohamed Amine Kerkouri, Marouane Tliba, Aladine Chetouani, Alessandro Bruno
• Abstract要約: 本稿では,ある絵画の視覚的体験における視聴者の眼球運動分析に焦点を当てた。 我々は、人間の視覚的注意を予測するための新しいアプローチを導入し、人間の認知機能に影響を及ぼす。 提案した新しいアーキテクチャは、画像を取り込んでスキャンパスを返す。
• 参考スコア（独自算出の注目度）: 66.46953851227454
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cultural heritage understanding and preservation is an important issue for society as it represents a fundamental aspect of its identity. Paintings represent a significant part of cultural heritage, and are the subject of study continuously. However, the way viewers perceive paintings is strictly related to the so-called HVS (Human Vision System) behaviour. This paper focuses on the eye-movement analysis of viewers during the visual experience of a certain number of paintings. In further details, we introduce a new approach to predicting human visual attention, which impacts several cognitive functions for humans, including the fundamental understanding of a scene, and then extend it to painting images. The proposed new architecture ingests images and returns scanpaths, a sequence of points featuring a high likelihood of catching viewers' attention. We use an FCNN (Fully Convolutional Neural Network), in which we exploit a differentiable channel-wise selection and Soft-Argmax modules. We also incorporate learnable Gaussian distributions onto the network bottleneck to simulate visual attention process bias in natural scene images. Furthermore, to reduce the effect of shifts between different domains (i.e. natural images, painting), we urge the model to learn unsupervised general features from other domains using a gradient reversal classifier. The results obtained by our model outperform existing state-of-the-art ones in terms of accuracy and efficiency.
• Abstract（参考訳）: 文化遺産の理解と保存は社会にとって重要な課題であり、そのアイデンティティの基本的側面を表している。 絵画は文化遺産の重要な部分を占め、継続的な研究の対象となっている。 しかし、絵画を知覚する方法は、いわゆるhvs(human vision system)の行動と厳密に関連している。 本稿では,一定数の絵画の視覚体験における視聴者の眼球運動分析に焦点をあてる。 より詳しくは、人間の視覚的注意を予測するための新しいアプローチを導入し、シーンの基本的な理解を含む、人間の認知機能に影響を与え、それを絵に拡張する。 提案する新しいアーキテクチャは、画像を取り込んで、視聴者の注意を引く可能性の高いポイントのシーケンスであるscanpathを返す。 FCNN(Fully Convolutional Neural Network, 完全畳み込みニューラルネットワーク)を用いて, 異なるチャネル選択とソフトArgmaxモジュールを利用する。 また,学習可能なガウス分布をネットワークボトルネックに組み込んで,自然シーン画像における視覚的注意プロセスのバイアスをシミュレートする。 さらに,異なる領域間(自然画像,絵画など)のシフトの影響を低減するため,勾配逆分類器を用いて,他の領域から教師なしの一般特徴を学習するようモデルに促す。 その結果,既存の最先端モデルよりも精度と効率が優れていた。

関連論文リスト

• When Does Perceptual Alignment Benefit Vision Representations? [76.32336818860965]
  視覚モデル表現と人間の知覚的判断との整合がユーザビリティに与える影響について検討する。 モデルと知覚的判断を一致させることで、多くの下流タスクで元のバックボーンを改善する表現が得られることがわかった。 その結果,人間の知覚的知識に関する帰納バイアスを視覚モデルに注入することは,より良い表現に寄与することが示唆された。
  論文  参考訳（メタデータ） (2024-10-14T17:59:58Z)
• Connectivity-Inspired Network for Context-Aware Recognition [1.049712834719005]
  視覚認知に対処するために,生体脳の回路モチーフを取り入れることの効果に焦点をあてる。 私たちの畳み込みアーキテクチャは、人間の皮質と皮質下の流れの接続にインスパイアされています。 我々はコンテキスト認識をモデル化するための新しいプラグイン・アンド・プレイ・モジュールを提案する。
  論文  参考訳（メタデータ） (2024-09-06T15:42:10Z)
• CricaVPR: Cross-image Correlation-aware Representation Learning for Visual Place Recognition [73.51329037954866]
  視覚的位置認識のための画像間相関認識を用いたロバストなグローバル表現手法を提案する。 本手法では,バッチ内の複数の画像の相関にアテンション機構を用いる。 本手法は,訓練時間を大幅に短縮し,最先端の手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-02-29T15:05:11Z)
• StyleEDL: Style-Guided High-order Attention Network for Image Emotion Distribution Learning [69.06749934902464]
  StyleEDLと呼ばれる画像感情分布学習のためのスタイル誘導型高次アテンションネットワークを提案する。 StyleEDLは視覚内容の階層的スタイリスティック情報を探索することにより、画像のスタイリスティックな表現を対話的に学習する。 さらに、コンテンツ依存の感情表現を動的に生成するスタイリスティックなグラフ畳み込みネットワークを導入する。
  論文  参考訳（メタデータ） (2023-08-06T03:22:46Z)
• Human Eyes Inspired Recurrent Neural Networks are More Robust Against Adversarial Noises [7.689542442882423]
  我々は人間の脳にインスパイアされたデュアルストリーム視覚モデルを設計した。 このモデルは網膜のような入力層を特徴とし、次の焦点(固定点)を決定する2つのストリームと、固定点を取り巻く視覚を解釈する2つのストリームを含む。 このモデルを,物体認識,視線行動,対向強靭性の観点から評価した。
  論文  参考訳（メタデータ） (2022-06-15T03:44:42Z)
• Prune and distill: similar reformatting of image information along rat visual cortex and deep neural networks [61.60177890353585]
  深部畳み込み神経ネットワーク(CNN)は、脳の機能的類似、視覚野の腹側流の優れたモデルを提供することが示されている。 ここでは、CNNまたは視覚野の内部表現で知られているいくつかの顕著な統計的パターンについて考察する。 我々は、CNNと視覚野が、オブジェクト表現の次元展開/縮小と画像情報の再構成と、同様の密接な関係を持っていることを示す。
  論文  参考訳（メタデータ） (2022-05-27T08:06:40Z)
• Enhancing Social Relation Inference with Concise Interaction Graph and Discriminative Scene Representation [56.25878966006678]
  我々はtextbfSocial rtextbfElation (PRISE) における textbfPractical textbfInference のアプローチを提案する。 人の対話的特徴と全体主義的な場面の識別的特徴を簡潔に学習する。 PRISEはPIPAデータセットにおけるドメイン分類の改善を6.8$%で達成している。
  論文  参考訳（メタデータ） (2021-07-30T04:20:13Z)
• Learning domain-agnostic visual representation for computational pathology using medically-irrelevant style transfer augmentation [4.538771844947821]
  STRAP(Style TRansfer Augmentation for histoPathology)は、芸術絵画からのランダムなスタイル移行に基づくデータ拡張の一形態である。 スタイル転送は、画像の低レベルのテクスチャ内容をランダムに選択された芸術絵画の非形式的なスタイルに置き換える。 STRAPが最先端のパフォーマンス、特にドメインシフトの存在につながることを実証する。
  論文  参考訳（メタデータ） (2021-02-02T18:50:16Z)
• Insights From A Large-Scale Database of Material Depictions In Paintings [18.2193253052961]
  本稿では,視覚認識システムと美術品で利用可能な豊富な情報との関係について検討する。 自然画像用に設計された視覚認識システムは、絵画で驚くほどうまく機能する。 絵画からの学習は、自然画像に使用されることを意図したニューラルネットワークにとって有益であることを示す。
  論文  参考訳（メタデータ） (2020-11-24T18:42:58Z)
• Graph Neural Networks for UnsupervisedDomain Adaptation of Histopathological ImageAnalytics [22.04114134677181]
  組織像解析のための教師なし領域適応のための新しい手法を提案する。 特徴空間に画像を埋め込むバックボーンと、ラベルで画像の監視信号をプロパゲートするグラフニューラルネットワーク層に基づいている。 実験では、4つの公開データセット上での最先端のパフォーマンスを評価する。
  論文  参考訳（メタデータ） (2020-08-21T04:53:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。