論文の概要: Towards Top-Down Stereoscopic Image Quality Assessment via Stereo
Attention
- arxiv url: http://arxiv.org/abs/2308.04156v2
- Date: Sat, 26 Aug 2023 08:40:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-29 21:07:44.348878
- Title: Towards Top-Down Stereoscopic Image Quality Assessment via Stereo
Attention
- Title（参考訳）: ステレオ・アテンションによるトップダウン立体画像品質評価
- Authors: Huilin Zhang, Sumei Li, Yongli Chang
- Abstract要約: 立体画像品質評価(SIQA)は、3Dコンテンツの視覚的体験を評価し改善する上で重要な役割を担っている。
本稿では,SIQAをステレオ・アテンション(ステレオ・アテンション)として利用し,品質評価プロセスの指針としてトップダウン・パースペクティブを用いた新しいネットワークを提案する。
実験結果は,視覚知覚の特性をシミュレートする上で,トップダウン手法の優位性を強調した。
- 参考スコア（独自算出の注目度）: 6.875312133832079
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Stereoscopic image quality assessment (SIQA) plays a crucial role in
evaluating and improving the visual experience of 3D content. Existing
binocular properties and attention-based methods for SIQA have achieved
promising performance. However, these bottom-up approaches are inadequate in
exploiting the inherent characteristics of the human visual system (HVS). This
paper presents a novel network for SIQA via stereo attention, employing a
top-down perspective to guide the quality assessment process. Our proposed
method realizes the guidance from high-level binocular signals down to
low-level monocular signals, while the binocular and monocular information can
be calibrated progressively throughout the processing pipeline. We design a
generalized Stereo AttenTion (SAT) block to implement the top-down philosophy
in stereo perception. This block utilizes the fusion-generated attention map as
a high-level binocular modulator, influencing the representation of two
low-level monocular features. Additionally, we introduce an Energy Coefficient
(EC) to account for recent findings indicating that binocular responses in the
primate primary visual cortex are less than the sum of monocular responses. The
adaptive EC can tune the magnitude of binocular response flexibly, thus
enhancing the formation of robust binocular features within our framework. To
extract the most discriminative quality information from the summation and
subtraction of the two branches of monocular features, we utilize a
dual-pooling strategy that applies min-pooling and max-pooling operations to
the respective branches. Experimental results highlight the superiority of our
top-down method in simulating the property of visual perception and advancing
the state-of-the-art in the SIQA field. The code of this work is available at
https://github.com/Fanning-Zhang/SATNet.
- Abstract（参考訳）: 立体画像品質評価(SIQA)は、3Dコンテンツの視覚的体験を評価し改善する上で重要な役割を担っている。
SIQAの既存の双眼鏡特性と注意法は有望な性能を達成した。
しかし、これらのボトムアップアプローチは、人間の視覚システム(HVS)の本質的な特徴を利用するには不十分である。
本稿では,SIQAをステレオアテンションとして,品質評価プロセスの指針としてトップダウン視点を用いた新しいネットワークを提案する。
提案手法は,高次双眼信号から低次単眼信号への誘導を実現する一方,両眼・単眼情報は処理パイプライン全体を通して段階的に校正することができる。
我々は,ステレオ知覚におけるトップダウン哲学を実現するために,一般化ステレオアテンション(sat)ブロックを設計する。
このブロックは、融合生成アテンションマップを2つの低レベル単眼特徴の表現に影響を与える高レベル双眼鏡変調器として利用する。
さらに、霊長類一次視覚野の両眼反応が単眼反応の総和よりも小さいことを示す最近の知見を考慮に入れたエネルギー係数(EC)を導入する。
適応ECは両眼反応の大きさを柔軟に調整できるため,我々の枠組み内での頑健な両眼特徴の形成が促進される。
単眼的特徴の2つの枝の総和と減算から最も識別的品質情報を抽出するために,ミンプールとマックスプール操作を各枝に適用する二重プール戦略を用いる。
実験結果から,SIQA分野における視覚知覚特性のシミュレーションと最先端化におけるトップダウン手法の優位性を強調した。
この作業のコードはhttps://github.com/fanning-zhang/satnetで入手できる。
関連論文リスト
- Perceptual Depth Quality Assessment of Stereoscopic Omnidirectional Images [10.382801621282228]
立体視全方位画像の高能率非参照(NR)深度品質評価のための目標品質評価モデルDQIを開発した。
人間の視覚システム(HVS)の知覚特性に触発されたDQIは,多色チャネル,適応型ビューポート選択,眼間不一致の特徴を基盤として構築されている。
論文 参考訳（メタデータ） (2024-08-19T16:28:05Z) - MLCA-AVSR: Multi-Layer Cross Attention Fusion based Audio-Visual Speech Recognition [62.89464258519723]
異なるレベルのオーディオ/視覚エンコーダに融合することで、各モードの表現を促進する多層クロスアテンション融合に基づくAVSR手法を提案する。
提案手法は第1位システムを超え,新たなSOTA cpCERの29.13%をこのデータセット上に構築する。
論文 参考訳（メタデータ） (2024-01-07T08:59:32Z) - Self-Supervised Monocular Depth Estimation by Direction-aware Cumulative
Convolution Network [80.19054069988559]
自己教師付き単眼深度推定は, 方向感度と環境依存性を示す。
本稿では2つの側面において深度表現を改善する方向対応累積畳み込みネットワーク(DaCCN)を提案する。
実験の結果,提案手法は広く使用されている3つのベンチマークにおいて大幅な改善が得られた。
論文 参考訳（メタデータ） (2023-08-10T14:32:18Z) - Assessor360: Multi-sequence Network for Blind Omnidirectional Image
Quality Assessment [50.82681686110528]
Blind Omnidirectional Image Quality Assessment (BOIQA)は、全方位画像(ODI)の人間の知覚品質を客観的に評価することを目的としている。
ODIの品質評価は、既存のBOIQAパイプラインがオブザーバのブラウジングプロセスのモデリングを欠いているという事実によって著しく妨げられている。
Assessor360と呼ばれるBOIQAのための新しいマルチシーケンスネットワークを提案する。
論文 参考訳（メタデータ） (2023-05-18T13:55:28Z) - Top-Down Visual Attention from Analysis by Synthesis [87.47527557366593]
我々は、古典的分析・合成(AbS)の視覚的視点からトップダウンの注意を考察する。
本稿では,AbSを変動的に近似したトップダウン変調ViTモデルであるAbSViT(Analytic-by-Synthesis Vision Transformer)を提案する。
論文 参考訳（メタデータ） (2023-03-23T05:17:05Z) - End-to-end deep multi-score model for No-reference stereoscopic image
quality assessment [6.254148286968409]
我々は、深層多スコア畳み込みニューラルネットワーク(CNN)を用いて、参照なしで立体画像の品質を推定する。
まず、左の視点の質を予測し、次に、左の視点の質を予測し、第3と第4に、ステレオ視点の質とグローバルな品質をそれぞれ予測し、グローバルスコアを究極の品質とする。
論文 参考訳（メタデータ） (2022-11-02T16:45:35Z) - Perception-Oriented Stereo Image Super-Resolution [19.226330884091645]
本稿では,StereoSR結果の知覚品質の評価から得られたフィードバックを利用して,最初の知覚指向ステレオ画像超解像手法を提案する。
実験により,ステレオ画像の知覚品質が著しく向上し,立体画像の信頼性が向上することが確認された。
論文 参考訳（メタデータ） (2022-07-14T02:13:42Z) - ChiTransformer:Towards Reliable Stereo from Cues [10.756828396434033]
現在のステレオマッチング技術は、制限された探索空間、隠蔽領域、およびせん断サイズによって挑戦される。
本稿では,光学機構にインスパイアされた自己監督型両眼深度推定法を提案する。
ChiTransformerアーキテクチャは、最先端の自己教師型ステレオアプローチよりも11%大幅に改善されている。
論文 参考訳（メタデータ） (2022-03-09T07:19:58Z) - SGM3D: Stereo Guided Monocular 3D Object Detection [62.11858392862551]
SGM3Dと呼ばれるステレオ誘導単分子物体検出ネットワークを提案する。
ステレオ画像から抽出したロバストな3次元特徴を利用して、モノクル画像から得られた特徴を強化する。
本手法は,余分な計算コストを伴わずに性能を向上させるために,他の多くの単分子的手法に統合することができる。
論文 参考訳（メタデータ） (2021-12-03T13:57:14Z) - Efficient Self-supervised Vision Transformers for Representation
Learning [86.57557009109411]
疎密な自己意識を持つマルチステージアーキテクチャは、モデリングの複雑さを著しく低減できることを示す。
そこで本研究では,モデルがよりきめ細かな領域依存を捕捉できるような,領域マッチングの事前学習タスクを提案する。
この2つの手法を組み合わせることで,ImageNet線形プローブ評価において,EsViTは81.3%のトップ1を達成した。
論文 参考訳（メタデータ） (2021-06-17T19:57:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。