論文の概要、ライセンス

# (参考訳) 相互増強ステレオ画像の超解像化と差分推定のためのフィードバックネットワーク [全文訳有]

Feedback Network for Mutually Boosted Stereo Image Super-Resolution and Disparity Estimation ( http://arxiv.org/abs/2106.00985v1 )

ライセンス: CC BY 4.0
Qinyan Dai, Juncheng Li, Qiaosi Yi, Faming Fang and Guixu Zhang(参考訳) ステレオ設定では、画像超解像(SR)と不均一性推定の問題は、各問題の結果が他方の解決に役立つように相互に関連している。 異なるビュー間の対応を効果的に活用することでsrの性能が向上する一方、より詳細な高分解能(hr)特徴は対応推定に有用である。 このモチベーションに基づき,ステレオ画像の超解像と不均質推定を同時に処理し,それらを相互に相互作用させて性能を向上するステレオ超解像・不均質推定フィードバックネットワーク(SSRDE-FNet)を提案する。 具体的には、SSRDE-FNetは左右のビューのための2つの二重再帰サブネットワークで構成されている。 低分解能(LR)空間におけるクロスビュー情報利用に加えて、SRプロセスによって生成されたHR表現を利用して、HR特徴を集約してより微細なSR結果を生成することができる高精度なHR不均質推定を行う。 その後、提案したHR Disparity Information Feedback (HRDIF) メカニズムは、HR Disparityによって運ばれた情報を以前のレイヤに返却し、SR画像再構成をさらに洗練する。 大規模な実験はSSRDE-FNetの有効性と進歩を示す。

Under stereo settings, the problem of image super-resolution (SR) and disparity estimation are interrelated that the result of each problem could help to solve the other. The effective exploitation of correspondence between different views facilitates the SR performance, while the high-resolution (HR) features with richer details benefit the correspondence estimation. According to this motivation, we propose a Stereo Super-Resolution and Disparity Estimation Feedback Network (SSRDE-FNet), which simultaneously handles the stereo image super-resolution and disparity estimation in a unified framework and interact them with each other to further improve their performance. Specifically, the SSRDE-FNet is composed of two dual recursive sub-networks for left and right views. Besides the cross-view information exploitation in the low-resolution (LR) space, HR representations produced by the SR process are utilized to perform HR disparity estimation with higher accuracy, through which the HR features can be aggregated to generate a finer SR result. Afterward, the proposed HR Disparity Information Feedback (HRDIF) mechanism delivers information carried by HR disparity back to previous layers to further refine the SR image reconstruction. Extensive experiments demonstrate the effectiveness and advancement of SSRDE-FNet.
公開日: Wed, 2 Jun 2021 07:05:17 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
Feedback Network for Mutually Boosted Stereo Image 相互ブーストステレオ画像のフィードバックネットワーク 0.68
Super-Resolution and Disparity Estimation Qinyan Dai1 †, Juncheng Li1, Qiaosi Yi1, Faming Fang1 *, Guixu Zhang1 超解像と差分推定 Qinyan Dai1, Juncheng Li1, Qiaosi Yi1, Faming Fang1 *, Guixu Zhang1 0.81
1School of Computer Science and Technology, East China Normal University, Shanghai, China 上海東華師範大学 コンピュータ科学研究科 0.32
†51194506008@stu.ecnu .edu.cn *fmfang@cs.ecnu.edu. cn cn *fmfang@cs.ecnu.edu. cn 0.60
1 INTRODUCTION With the development of dual cameras, stereo images have shown greater impact in many applications, such as smartphones, drones, and autonomous vehicles. 1 INTRODUCTION デュアルカメラの開発により、ステレオ画像は、スマートフォン、ドローン、自動運転車などの多くのアプリケーションに大きな影響を与えている。 0.74
However, the stereo images often suffer from resolution degradation in practice. しかし、ステレオ画像は多くの場合、解像度劣化に苦しむ。 0.70
Therefore, a technology that can restore the high-resolution (HR) left and right views in a 3D scene is essential. したがって、3Dシーンにおける高解像度(HR)の左右ビューを復元できる技術が不可欠である。 0.83
In the binocular system, parallax effects between the low resolution (LR) images cause a sub-pixel shift between them. 両眼系では、低解像度(LR)画像間の視差効果は、それらの間のサブピクセルシフトを引き起こす。 0.71
Therefore, making full use of cross-view information can help reconstruct high-quality SR images since one view may have additional information relative to the other. したがって、クロスビュー情報をフル活用することは、一方のビューが他方に対して追加情報を持つ可能性があるため、高品質なSR画像の再構築に役立つ。 0.55
1 2 0 2 n u J 1 2 0 2 n u J 0.85
2 ] V C . 2 ] 略称はC。 0.73
s c [ 1 v 5 8 9 0 0 sc [ 1 v 5 8 9 0 0 0.68
. 6 0 1 2 : v i X r a . 6 0 1 2 : v i X r a 0.85
ABSTRACT Under stereo settings, the problem of image super-resolution (SR) and disparity estimation are interrelated that the result of each problem could help to solve the other. ABSTRACT ステレオ設定では、画像超解像(SR)と不均一性推定の問題は、各問題の結果が互いに解決する助けとなるように相互に関連している。
訳抜け防止モード: ABSTRACT ステレオ設定における画像スーパー解像度の問題 (SR) 格差の推定は 相互に関連しています それぞれの問題の結果は お互いの解決に役立ちます
0.79
The effective exploitation of correspondence between different views facilitates the SR performance, while the high-resolution (HR) features with richer details benefit the correspondence estimation. 異なるビュー間の対応を効果的に活用することでsrの性能が向上する一方、より詳細な高分解能(hr)特徴は対応推定に有用である。 0.65
According to this motivation, we propose a Stereo Super-Resolution and Disparity Estimation Feedback Network (SSRDE-FNet), which simultaneously handles the stereo image super-resolution and disparity estimation in a unified framework and interact them with each other to further improve their performance. このモチベーションに基づき,ステレオ画像の超解像と不均質推定を同時に処理し,それらを相互に相互作用させて性能を向上するステレオ超解像・不均質推定フィードバックネットワーク(SSRDE-FNet)を提案する。 0.74
Specifically, the SSRDE-FNet is composed of two dual recursive sub-networks for left and right views. 具体的には、SSRDE-FNetは左右のビューのための2つの二重再帰サブネットワークで構成されている。 0.56
Besides the cross-view information exploitation in the low-resolution (LR) space, HR representations produced by the SR process are utilized to perform HR disparity estimation with higher accuracy, through which the HR features can be aggregated to generate a finer SR result. 低分解能(LR)空間におけるクロスビュー情報利用に加えて、SRプロセスによって生成されたHR表現を利用して、HR特徴を集約してより微細なSR結果を生成することができる高精度なHR不均質推定を行う。 0.75
Afterward, the proposed HR Disparity Information Feedback (HRDIF) mechanism delivers information carried by HR disparity back to previous layers to further refine the SR image reconstruction. その後、提案したHR Disparity Information Feedback (HRDIF) メカニズムは、HR Disparityによって運ばれた情報を以前のレイヤに返却し、SR画像再構成をさらに洗練する。 0.63
Extensive experiments demonstrate the effectiveness and advancement of SSRDE-FNet. 大規模な実験はSSRDE-FNetの有効性と進歩を示す。 0.57
CCS CONCEPTS • Computing methodologies → Reconstruction; Matching. CCS CONCEPTS • 計算方法論 → 再構成; マッチング 0.80
KEYWORDS Stereo image super-resolution, disparity estimation, mutually boosted. KEYWORDS ステレオ画像の超解像, 差分推定, 相互増強 0.68
ACM Reference Format: Qinyan Dai1 †, Juncheng Li1, Qiaosi Yi1, Faming Fang1 *, Guixu Zhang1, 1School of Computer Science and Technology, East China Normal University, Shanghai, China, †51194506008@stu.ecnu .edu.cn *fmfang@cs.ecnu.edu. cn. ACMの参考資料:Qinyan Dai1, Juncheng Li1, Qiaosi Yi1, Faming Fang1 *, Guixu Zhang1, 1School of Computer Science and Technology, East China Normal University, Shanghai, China, シュ51194506008@stu.ecnu .edu.cn *fmfang@cs.ecnu.edu. cn 0.83
2018. Feedback Network for Mutually Boosted Stereo Image Super-Resolution and Disparity Estimation. 2018. ステレオ画像の高分解能化と不一致推定のためのフィードバックネットワーク 0.80
In Woodstock ’18: ACM Symposium on Neural Gaze Detection, June 03–05, 2018, Woodstock, NY. Woodstock'18: ACM Symposium on Neural Gaze Detection, June 03–05, 2018, Woodstock, NY 0.80
ACM, New York, NY, USA, 9 pages. ACM, New York, NY, USA, 9ページ。 0.80
https://doi.org/10.1 145/1122445.1122456 https://doi.org/10.1 145/1122445.1122456 0.29
Permission to make digital or hard copies of all or part of this work for personal or classroom use is granted without fee provided that copies are not made or distributed for profit or commercial advantage and that copies bear this notice and the full citation on the first page. 本作品のデジタル又はハードコピー又は一部を個人的又は教室で使用するための許可は、利益または商業的利益のためにコピーが作成または配布されず、コピーがこの通知及び第1ページの引用を満たしていることが条件として、無償で付与される。
訳抜け防止モード: この作品の全部又は一部をデジタル又はハードコピーして個人または教室での使用許可 手数料なしで与えられます 利益や商業上の利益のためにコピーは作られない そのコピーには この通知と 最初のページの全文が書かれています
0.82
Copyrights for components of this work owned by others than ACM must be honored. ACM以外の者が所有するこの作品のコンポーネントの著作権を尊重しなければならない。 0.62
Abstracting with credit is permitted. クレジットによる抽象化は許可されている。 0.48
To copy otherwise, or republish, to post on servers or to redistribute to lists, requires prior specific permission and/or a fee. サーバーにポストしたり、リストを再配布したりするには、事前の特定の許可と/または料金が必要である。 0.60
Request permissions from permissions@acm.org. permissions@acm.org からの許可を要求する。 0.65
Woodstock ’18, June 03–05, 2018, Woodstock, NY © 2018 Association for Computing Machinery. Woodstock ’18, June 03–05, 2018, Woodstock, NY > 2018 Association for Computing Machinery。 0.87
ACM ISBN 978-1-4503-XXXX-X/18 /06...$15.00 https://doi.org/10.1 145/1122445.1122456 ACM ISBN 978-1-4503-XXXX-X/18 /06...$15.00 https://doi.org/10.1 145/1122445.1122456 0.31
Recently, several deep learning based methods have been proposed to capture cross-view information by modeling the disparity. 近年,この差異をモデル化してクロスビュー情報を取り込むための深層学習法が提案されている。 0.66
For example, [27, 29, 30, 32, 34, 37] leverage the parallax attention module (PAM) proposed by Wang et al [29, 30] to search for correspondences along the horizontal epipolar line without parallax limit; In [35], a pre-trained disparity network [9] was used to deploy the disparity prior into image reconstruction. 例えば,[27,29,30,32,34,37]は,wang et al [29,30] が提案した視差注意モジュール (pam) を利用して,視差制限のない水平エピポーラ線に沿った対応を探索する。
訳抜け防止モード: 例えば、[27、29、30、32。 34,37 ] wangらによって提案されたparallax attention module (pam)の活用 [29,30] パララックスの限界なく, 水平エピポーラ線に沿った対応を探索する ; [35 ]では, 画像再構成に先立って, 事前訓練された不一致ネットワーク [9 ] を用いた。
0.82
Although continuous improvements have been achieved in stereo image SR, the utilization of cross-view information is still insufficient and less effective. ステレオ画像SRでは連続的な改善が達成されているが, クロスビュー情報の利用は不十分であり, 有効性は低い。 0.68
In fact, under stereo settings, disparity estimation and image SR are interrelated that the result of each problem could help to solve the other one, and each task benefits from the gradual improvement over the other task. 実際、ステレオ環境では、差分推定と画像SRは、各問題の結果が他のタスクの解決に役立ち、各タスクは、他のタスクに対する段階的な改善から恩恵を受けることができる、相互関係である。 0.64
However, previous methods have not explored this mutually boosted property. しかし、以前の手法はこの相互に強化された性質を探求していない。 0.50
Moreover, all these methods exploit correspondent information only in the LR space, which usually does not provide enough accuracy in high-frequency regions due to the loss of fine-grained details in LR features. さらに、これらの手法はすべてLR空間でのみ対応情報を利用するが、LR特徴の微細な詳細が失われるため、通常は高周波領域では十分な精度が得られない。 0.72
Thus, the positive additional information brought by these correspondences is still limited, hindering sufficient feature aggregation and further SR performance improvements. したがって、これらの対応によってもたらされる肯定的な追加情報はまだ限られており、十分な特徴集約とさらなるSR性能の改善を妨げる。 0.57
Thus, it is highly desirable to model disparity in a more powerful way and have a guidance mechanism that can fully interact between super-resolution and disparity estimation. したがって、より強力な方法で不均質をモデル化し、超解像と不均質推定の間で完全に相互作用できる誘導機構を持つことが望ましい。 0.65
To address the aforementioned problem, we propose a novel method that can handle stereo image super-resolution and HR disparity estimation in an end-to-end framework (Figure 1), interacting in a mutually boosted manner. そこで,本稿では,ステレオ画像の超解像とhrの不一致を,エンドツーエンドの枠組みで処理し,相互に強化された方法で対話する手法を提案する(図1)。 0.63
We perform disparity estimation in the HR space to overcome the accuracy limitation of LR correspondence and better guide the stereo SR. To achieve this efficiently, we leverage the features from LR space and the reconstructed HR space to estimate disparity in a coarse-to-fine manner. 我々は、lr対応の精度の限界を克服するためにhr空間における不一致推定を行い、ステレオsrをより効率的に導出し、lr空間と再構成されたhr空間の特徴を活用し、粗雑な方法で不一致を推定する。 0.54
In the framework, the guidance and interaction of super-resolution and disparity estimation are three-folds: (i). フレームワークでは、スーパーレゾリューションと不一致推定の指導と相互作用は次の3つである(i)。 0.55
the coarse correspondence estimation in LR space benefits the cross-view information exploration for SR, initial SR results and HR features for both views are produced; LR空間における粗い対応推定は、SRのクロスビュー情報探索に有効であり、両方のビューに対する初期SR結果とHR特徴が生成される。 0.69
英語(論文から抽出)日本語訳スコア
Woodstock ’18, June 03–05, 2018, Woodstock, NY Woodstock ’18, June 03–05, 2018, Woodstock, NY 0.98
Qinyan Dai1 †, Juncheng Li1, Qiaosi Yi1, Faming Fang1 *, Guixu Zhang1 1School of Computer Science and Technology, East China Normal University, Shanghai, China †51194506008@stu.ecnu .edu.cn *fmfang@cs.ecnu.edu. cn Qinyan Dai1, Juncheng Li1, Qiaosi Yi1, Faming Fang1 *, Guixu Zhang1 1School of Computer Science and Technology, East China Normal University, Shanghai, China シュ51194506008@stu.ecnu .edu.cn *fmfang@cs.ecnu.edu. cn 0.81
Figure 1: The architecture of SSRDE-FNet, which introduces the HR disparity information feedback mechanism. 図1: 人事格差情報フィードバック機構を導入したSSRDE-FNetのアーキテクチャ。 0.71
(ii). the HR representations from (i) with richer details serve as finer features for HR disparity estimation, which reduces the search range of HR disparity for better accuracy and efficiency; (iii). (ii) i)より詳細なHR表現は、HR差分推定のより細かい特徴として機能し、HR差分推定の探索範囲を小さくし、精度と効率を向上する(iii)。 0.69
The HR disparity can further benefit SR reconstruction. 人事格差はさらにSR再建に寄与する。 0.61
Specifically, we align the HR features of the two views using HR disparity maps and perform attention-driven feature aggregation to produce the enhanced HR features, upon which a finer SR result is generated. 具体的には、HR不均一マップを用いて2つのビューのHR特徴を整列させ、注目駆動による特徴集約を行い、より微細なSR結果を生成する。 0.74
To achieve a more essential facilitation of HR disparity to stereo SR, we propose the HR Disparity Information Feedback (HRDIF) mechanism that feeds the enhanced HR features and the HR disparity back to previous layers for the refinement of low-level features in the SR process. 立体SRに対するHR不均一性のより本質的なファシリテーションを実現するため,高機能なHR特徴と高機能なHR不均一性を前層にフィードバックするHRDIF(HR Disparity Information Feedback)機構を提案する。 0.65
In summary, the main contributions of this paper are as follows: まとめると、本論文の主な貢献は以下のとおりである。 0.81
• We propose a Stereo Super-Resolution and Disparity Estimation Feedback Network (SSRDE-FNet) that can simultaneously solve the stereo image super-resolution and disparity estimation in a unified framework. • ステレオ画像の超解像と分散度推定を統合されたフレームワークで同時に解くことのできるステレオ超解像・分散度推定フィードバックネットワーク(SSRDE-FNet)を提案する。 0.68
To the best of our knowledge, this is the first end-to-end network that can achieve the mutual boost of these two tasks. 私たちの知る限りでは、これはこの2つのタスクの相互強化を実現する最初のエンドツーエンドネットワークです。 0.73
• We propose a novel HR Disparity Information Feedback (HRDIF) mechanism for HR disparity and promote the quality of the SR image in an iterative manner. • HR差分情報フィードバック(HRDIF)機構を新たに提案し,SR画像の品質を反復的に向上させる。 0.68
• Extensive experiments illustrate that the proposed model can restore high-quality SR images, and the model achieves state-of-the-art results in the field of stereo image superresolution. • 広範な実験により,提案モデルが高品質sr画像を復元できることが示され,ステレオ画像超解像の分野において最先端の結果が得られる。 0.70
2 RELATED WORKS 2.1 Image Super-Resolution Image Super-Resolution aims to reconstruct a super-resolution (SR) image from its degraded low-resolution (LR) one, which is an extremely hot topic in the computer vision field. 2 RELATED WORKS 2.1 Image Super-Resolution Image Super-Resolutionは、コンピュータビジョン分野において非常にホットな話題である分解低解像度(LR)画像から超解像(SR)画像を再構成することを目的としている。 0.73
Since the pioneer work of Super-Resolution Convolutional Neural Network (SRCNN [4]), learning-based methods have dominated the research 超解法畳み込みニューラルネットワーク(SRCNN [4])の先駆的な研究以来、学習に基づく手法が研究を支配してきた 0.76
of single image super-resolution (SISR). SISR ( Single Image Super- resolution) の略。 0.63
Methods like VDSR [10], SRDenseNet [28], EDSR [18], MSRN [15], and RDN [39] achieved excellent performance and greatly promoted the development of SISR. VDSR [10], SRDenseNet [28], EDSR [18], MSRN [15], RDN [39]などの手法は優れた性能を発揮し, SISRの開発を大いに促進した。 0.84
However, due to the lack of reference features, the development of SISR has encountered a bottleneck, and its performance is difficult to further improve. しかし、参照機能の欠如により、SISRの開発はボトルネックに直面しており、そのパフォーマンスをさらに改善することは困難である。 0.66
Therefore, stereo image super-resolution has received great attention in recent years since it has the available left and right view information. そのため、ステレオ画像のスーパーレゾリューションは、利用可能な左右の視点情報を持っているため、近年、大きな注目を集めている。
訳抜け防止モード: そのため,近年,ステレオ画像の超高解像度化が注目されている。 左右の視界情報があります
0.75
The critical challenge for enhancing spatial resolution from stereo images is how to register corresponding pixels with sub-pixel accuracy. ステレオ画像から空間分解能を高める上で重要な課題は、対応するピクセルをサブピクセル精度で登録する方法である。
訳抜け防止モード: ステレオ画像から空間分解能を高めるための重要な課題は 対応するピクセルをサブピクセル精度で登録する。
0.73
Bhavsar et al [1] argued that the twin problems of image SR and HR disparity estimation are intertwined under stereo settings. Bhavsar et al [1] は、画像 SR と HR の差分推定の双対問題は、ステレオ環境下での干渉であると主張した。
訳抜け防止モード: Bhavsar et al [ 1 ] 画像SRとHRの差分推定の双対問題は、ステレオ設定の下で干渉される。
0.74
They formulate the two problems into one energy function, and minimize it by iteratively updating the HR image and disparity map. 2つの問題を1つのエネルギー関数に定式化し、HR画像と不均一マップを反復的に更新することで最小化する。 0.69
The following conventional methods [12, 23] usually follow this pipeline, however, these methods usually take a large amount of computation time. 通常の[12, 23]メソッドは通常このパイプラインに従うが、これらのメソッドは通常、大量の計算時間を必要とする。 0.79
Recently, several deep learning-based stereo SR methods have emerged by using the parallax. 近年,パララックスを用いた深層学習型ステレオSR法がいくつか出現している。 0.63
For example, StereoSR [7] stacks stereo images with horizontal shift intervals to feed into the network to learn stereo correspondences. 例えば、StereoSR[7]はステレオイメージを水平シフト間隔でスタックし、ネットワークに入力してステレオ対応を学習する。 0.76
However, the maximum parallax that can be processed is fixed as 64. しかし、処理可能な最大パララックスは64に固定されている。 0.68
To explore correspondences without disparity limit, Wang et al [29, 30] proposed PASSRnet, with a parallax-attention module (PAM) that has a global receptive field along the epipolar line for global correspondence capturing. 異質な限界のない対応を探索するために、wang et al [29, 30]は、グローバル対応キャプチャのためのエピポーララインに沿って大域的な受容場を持つパララックスアテンションモジュール(pam)を持つpassrnetを提案した。 0.57
Ying et al. [37] and Song et al [27] also made use of the PAM, while [37] incorporated several PAMs to different stages of the pre-trained SISR networks to enhance the cross-view interaction. yingら。 また, [37] と Song et al [27] も PAM を利用しており, [37] は SISR ネットワークの異なるステージに複数の PAM を組み込んで, クロスビューインタラクションを強化している。 0.62
In iPASSR [32], a symmetric bi-directional PAM (biPAM) and an inline occlusion handling scheme are proposed to further improve SR performance. iPASSR[32]では、対称双方向PAM(biPAM)とインラインオクルージョンハンドリング方式が提案され、SR性能が向上した。
訳抜け防止モード: iPASSR[32 ]では対称二方向PAM (biPAM ) また,SR性能を向上させるために,インラインオクルージョンハンドリング方式を提案する。
0.78
Besides the PAM based methods, Yan et al [35] uses a pre-trained disparity flow network to predict the disparity map based on the input stereo pair, and incorporates the disparity prior to better utilize the cross-view nature. PAM ベースの手法の他に,Yan ら[35] は,事前学習した不均質フローネットワークを用いて,入力ステレオペアに基づいて不均質マップを予測する。 0.60
Lei et al [13] builds up an interaction Lei et al [13]は相互作用を構築する 0.88
英語(論文から抽出)日本語訳スコア
Feedback Network for Mutually Boosted Stereo Image Super-Resolution and Disparity Estimation 相互増強ステレオ画像の超解像化と差分推定のためのフィードバックネットワーク 0.66
Woodstock ’18, June 03–05, 2018, Woodstock, NY Woodstock ’18, June 03–05, 2018, Woodstock, NY 0.98
module-based stereo SR network (IMSSRnet), in which the interaction module is composed of a series of interaction units with a residual structure. モジュールベースのステレオSRネットワーク(IMSSRnet)は、相互作用モジュールが残基構造を持つ一連の相互作用ユニットで構成されている。 0.86
Above methods all explore the correspondence information between stereo images only in the LR space, limiting the positive effects provided by cross-view. 上述の手法はすべて、LR空間内でのみステレオ画像間の対応情報を探索し、クロスビューによる正の効果を制限する。 0.70
Our work hunts for the mutual contributions between the stereo image SR and HR disparity estimation, leading to higher image quality and more accurate disparity, which is new in literature w.r.t learning-based method. 我々の研究は、ステレオ画像SRとHR差分推定の相互寄与を探究し、高い画質とより正確な相違をもたらす。
訳抜け防止モード: ステレオ画像srとhr不一致推定の相互貢献を追求する。 高い画質とより正確な格差を 生み出しています w.r.t 学習に基づく手法である。
0.62
2.2 Disparity Estimation Disparity estimation has been investigated to obtain correspondence between a stereo image pair [19, 25], which can be utilized to capture long-range dependency for stereo SR. 2.2 ステレオsrの長距離依存性を捉えるために使用できるステレオ画像ペア [19,25] の対応を得るため、不一致推定について検討した。
訳抜け防止モード: 2.2 ステレオ画像対 [19] の対応を求めるために, 異性度推定を行った。 25 ] ステレオSRの長距離依存性をキャプチャするために使用できる。
0.84
Existing end-to-end disparity estimation networks usually include cost volume computation, cost aggregation, and disparity prediction. 既存のエンドツーエンドの格差推定ネットワークは通常、コストボリューム計算、コストアグリゲーション、格差予測を含む。
訳抜け防止モード: 既存の-to- end格差推定ネットワークは通常、コストボリューム計算を含む。 コストアグリゲーションと 格差予測
0.70
2D CNN based methods [17, 20, 33] generally adopt a correlation layer for 3D cost volume construction, while 3D CNN based methods [2, 3, 8, 22, 38] mostly use direct feature concatenation to construct 4D cost volume and use 3D convolution for cost aggregation. 2d cnn ベースの手法 [17, 20, 33] は3dコストボリューム構築のための相関層を一般的に採用するが、3d cnn ベースの手法 [2, 3, 8, 22, 38] は4dコストボリュームを構築するために直接的特徴結合を使用し、コスト集約には3d 畳み込みを使用する。 0.73
However, learning matching costs from 4D cost volumes suffers from a high computational and memory burden. しかし、4次元のコストボリュームから学習するコストは高い計算とメモリの負担に悩まされる。 0.78
Apart from supervised methods, several unsupervised learning methods [14, 24, 29, 36, 40] have been developed to avoid the use of costly ground truth depth annotations. 教師あり学習法とは別に,コストのかかる真理深度アノテーションの使用を避けるために,教師なし学習法(14,24,29,36,40)が開発されている。 0.62
Most relevantly, Wang et al [29] uses cascaded PAM to regress matching costs in a coarse-to-fine manner, getting rid of the limitation of fixed maximum disparity in cost volume techniques. 関連して、Wang et al [29] は、カスケードされた PAM を使用して、マッチングコストを粗大な方法で抑制し、コストボリューム技術における固定された最大格差の制限を取り除く。 0.57
However, as Gu at al. しかし、Gu at alとして。 0.67
[6] pointed out, due to computational limitation, methods usually calculate matching cost at a lower resolution by the downsampled feature maps and rely on interpolation operations to generate HR disparity. [6] 計算の制限により, 縮小した特徴写像によって低解像度でマッチングコストを計算し, HR差分を生成するために補間演算に依存する手法が一般的である。 0.79
Differently, they decompose the single cost volume into a cascade formulation of multiple stages for efficient HR stereo matching. 異なることに、彼らは単価の体積を効率的なHRステレオマッチングのために複数のステージのカスケード式に分解する。 0.58
Inspired by this, we achieve the HR disparity estimation in a coarse-to-fine manner. これに触発されて、粗大な方法でHR差分推定を実現する。 0.65
3 METHOD As shown in Figure 1, we develop a Stereo Super-Resolution and Disparity Estimation Feedback Network (SSRDE-FNet) in this paper. 図1に示すように、本稿ではSSRDE-FNet(Stereo Super-Resolution and Disparity Estimation Feedback Network)を開発した。 0.73
The goal of our method is to obtain SR images 𝑆𝑅𝑙, 𝑆𝑅𝑟 of both view and relevant HR disparity maps 𝐷𝐻𝑅 , from LR stereo images input 𝐿𝑅𝑙, 𝐿𝑅𝑟 , and interact the two tasks in a mutually boosted way. 本手法の目的は、LRステレオ画像入力LRl,LRrから、ビューと関連するHR差分マップDHRのSRl,SRrを取得し、相互に強化された方法で2つのタスクを相互作用させることである。 0.81
In this section, we first introduce the overall insights and network architecture in Sec. 本稿では、Sec.NETの全体的な洞察とネットワークアーキテクチャについて紹介する。 0.62
3.1. Then, we detail the novel proposed HR Disparity Information Feedback (HRDIF) mechanism in Sec. 3.1. 次に,提案するHRDIF(HR Disparity Information Feedback)メカニズムについて詳述する。 0.71
3.2. Finally, the loss functions are presented in Sec. 3.2. 最後に、損失関数はSecに表示される。 0.71
3.3. 3.1 SSRDE-FNet A key to improve stereo SR is utilizing disparity for sub-pixel information registration, and a key to disparity estimation accuracy is the resolution of input features. 3.3. 3.1 SSRDE-FNet ステレオSRを改善するキーは、サブピクセル情報の登録に不一致を利用しており、不一致推定精度の鍵は入力特徴の分解である。 0.69
To let these two tasks make mutually effective contribution to each other, the modeling power of both tasks are important. これら2つのタスクが相互に効果的な貢献をさせるには、両方のタスクのモデリング能力が重要である。 0.70
Thus, we propose a Stereo Super-Resolution and Disparity Estimation Feedback Network (SSRDE-FNet). そこで我々はSSRDE-FNet(Stereo Super-Resolution and Disparity Estimation Feedback Network)を提案する。 0.69
As shown in Figure. 1, SSRDE-FNet is essentially a recurrent network with the proposed HR Disparity Information Feedback (HRDIF) mechanism. 図に示すように。 SSRDE-FNetは基本的にHRDIF(HR Disparity Information Feedback)機構を備えたリカレントネットワークである。 0.77
In each iteration, two SR reconstruction steps are involved. 各イテレーションでは、2つのSR再構成ステップが関与する。 0.64
The HR , 𝐷𝐻𝑅 𝑟 hrは , 𝐷𝐻𝑅 𝑟 0.74
𝑙 Figure 2: The architecture of the proposed SR backbone. 𝑙 図2:提案されているsrバックボーンのアーキテクチャ。 0.79
disparity is achieved in a coarse-to-fine way, coarse disparity is first estimated from LR features and the finer one is estimated from the reconstructed HR features. 凹凸は粗大な方法で達成され、粗大な凹凸はまずLR特徴から推定され、より微細なものは再構成されたHR特徴から推定される。 0.54
The advantages of this method are: (1) Stereo image SR can utilize cross-view information in multi-scales since both LR and HR correspondences can be obtained, leading to more sufficient feature aggregation; (2) The coarse-to-fine manner leads to a more compact and efficient network. 本手法の利点は, (1) ステレオ画像srは,lr と hr の対応が得られ,より十分な特徴集約を実現するため,マルチスケールでクロスビュー情報を利用できること, (2) 粗粒度と細粒度はよりコンパクトで効率的なネットワークを実現すること,である。 0.73
Stereo Image SR Backbone We develop a lightweight stereo SR network as shown in Figure 2(a), which leverages both intraview and cross-view LR information for image reconstruction. ステレオ画像srバックボーン 図2(a)に示すように、画像再構成にイントラビューとクロスビューのlr情報を利用する軽量ステレオsrネットワークを開発する。 0.72
Since hierarchical features have been demonstrated to be effective in both SISR [15, 39] and disparity estimation [3, 8], we are also committed to maximizing the use of hierarchical features in the model. sisr [15, 39] と不一致推定 [3, 8] の両方において,階層的特徴が有効であることが実証されているので,モデルにおける階層的特徴の利用を最大化することにもコミットする。
訳抜け防止モード: 階層的特徴が証明されて以来 SISR [15, 39 ] と格差推定 [3, 8 ] の両方に有効である。 私たちも モデルにおける階層的特徴の使用を最大化すること。
0.85
Specifically, after a convolution layer that extracts shallow features, four RDBs [39] are stacked to extract hierarchical features. 具体的には、浅い特徴を抽出する畳み込み層の後、4つのRDB[39]を積み重ねて階層的特徴を抽出する。 0.68
Finally, we make full use of the features from all the RDBs by concatenating them and fusing them with a 1×1 convolution. 最後に、すべてのRDBの機能を完全に利用し、それらを1×1の畳み込みで融合させます。 0.65
Meanwhile, in order to alleviate the training conflict that may suffered by directly sharing features across different tasks [26] and explore more adaptive features for LR disparity estimation, a transition block is performed on 𝐿𝑙 and 𝐿𝑟 , expressed as: 一方、異なるタスク [26] 間で機能を直接共有し、LR差分推定のためのより適応的な特徴を探索することで生じる訓練競合を軽減するため、Ll と Lr の遷移ブロックを次のように表現する。 0.86
𝐿∗ 𝑙 = 𝑓𝑇 𝐵 (𝐿𝑙), 𝐿∗ 𝐿∗ 𝑙 = 𝑓𝑇 𝐵 (𝐿𝑙), 𝐿∗ 0.93
𝑟 = 𝑓𝑇 𝐵 (𝐿𝑟). 𝑟 = 𝑓𝑇 𝐵 (𝐿𝑟). 0.85
(1) Among them, 𝐿𝑙 and 𝐿𝑟 denote the extracted features, 𝐿∗ 𝑙 and 𝐿∗ 𝑟 denote the transformed features, and 𝑓𝑇 𝐵 denotes the transition block (TB). 1)それらのうち、ll と lr は抽出された特徴、l∗ l と l∗ r は変換された特徴、ft b は遷移ブロック(tb)を表す。
訳抜け防止モード: (1)LlとLrは抽出された特徴を表す。 L∗ l と L∗ r は変換された特徴を表し、 fT B は遷移ブロック (TB) を表す。
0.78
As shown in Figure 2(b)), we apply a Spatial Pyramid Pooling (SPP) module in the TB for multi-scale feature extraction, which can further improve model performance. 図2(b)に示すように、マルチスケールの特徴抽出のためにTBに空間ピラミッドプール(SPP)モジュールを適用し、モデル性能をさらに向上させることができる。 0.84
Under LR space, we explore cross-view information by sampling disparity across the entire horizontal-range of a scene. lr空間下では,シーンの水平範囲全体にわたる不一致をサンプリングすることにより,クロスビュー情報を探索する。 0.59
To achieve this, bi-directional parallax attention module (biPAM [32]) is adopted. これを実現するために、双方向視差注意モジュール(biPAM[32])を採用する。 0.77
In this work, it serves as both self-attention LR feature registration and coarse disparity estimation for HR disparity initialization, thus its reliability is important. 本研究は,HR差分初期化のための自己注意型LR特徴登録と粗差推定の両方を兼ね備えており,信頼性が重要である。 0.74
However, even with deep features, matching from unaries is far from reliable. しかし、深い機能があっても、ユニマリからのマッチングは信頼性には程遠い。 0.59
To this end, we cascade 𝑁 biPAMs for matching cost aggregation. この目的のために、コストアグリゲーションにN biPAMをカスケードする。 0.54
Therefore, the operation of the 𝑖𝑡ℎ biPAM can be defined as: したがって、ith biPAMの操作は次のように定義できる。 0.75
英語(論文から抽出)日本語訳スコア
Woodstock ’18, June 03–05, 2018, Woodstock, NY Woodstock ’18, June 03–05, 2018, Woodstock, NY 0.98
Qinyan Dai1 †, Juncheng Li1, Qiaosi Yi1, Faming Fang1 *, Guixu Zhang1 1School of Computer Science and Technology, East China Normal University, Shanghai, China †51194506008@stu.ecnu .edu.cn *fmfang@cs.ecnu.edu. cn Qinyan Dai1, Juncheng Li1, Qiaosi Yi1, Faming Fang1 *, Guixu Zhang1 1School of Computer Science and Technology, East China Normal University, Shanghai, China シュ51194506008@stu.ecnu .edu.cn *fmfang@cs.ecnu.edu. cn 0.81
𝐿 𝑙 ), 𝐿 ′ 𝑙 =𝑓𝐶𝑂𝑁 𝑉 (𝐿∗,𝑖−1 𝑙→𝑟 = C𝑖−1 C𝑖 𝑟→𝑙 = C𝑖−1 C𝑖 𝐿∗,𝑖 𝑙 = 𝐿∗,𝑖−1 𝐿 𝑙 ), 𝐿 ′ l = fCON V (L∗,i−1 l→r = Ci−1 Ci r→l = Ci−1 Ci L∗,i l = L∗,i−1 0.78
𝑙→𝑟 + 𝑓𝑄 (𝐿 𝑟→𝑙 + 𝑓𝑄 (𝐿 ′ 𝑙 , 𝐿∗,𝑖 𝑙→𝑟 + 𝑓𝑄 (𝐿 𝑟→𝑙 + 𝑓𝑄 (𝐿 ′ 𝑙 , 𝐿∗,𝑖 0.95
′ 𝑟 = 𝑓𝐶𝑂𝑁 𝑉 (𝐿∗,𝑖−1 𝑟 ′ ′ 𝑙) ⊗ 𝑓𝐾 (𝐿 𝑟)𝑇 , ′ ′ 𝑟) ⊗ 𝑓𝐾 (𝐿 𝑙)𝑇 , ′ 𝑟 = 𝐿∗,𝑖−1 + 𝐿 𝑟 , ′ 𝑟 = 𝑓𝐶𝑂𝑁 𝑉 (𝐿∗,𝑖−1 𝑟 ′ ′ 𝑙) ⊗ 𝑓𝐾 (𝐿 𝑟)𝑇 , ′ ′ 𝑟) ⊗ 𝑓𝐾 (𝐿 𝑙)𝑇 , ′ 𝑟 = 𝐿∗,𝑖−1 + 𝐿 𝑟 , 0.93
+ 𝐿 𝑟 𝑙 ), + 𝐿 𝑟 𝑙 ), 0.78
(2) 𝑙→𝑟 and C𝑁 (2) l→rとCN 0.75
𝑙→𝑟 and M𝑁 where 𝑓𝐶𝑂𝑁𝑉 denotes two 3×3 convolutions. l→rとMN fCONVは2つの3×3の畳み込みを表す。 0.65
𝑓𝑄 and 𝑓𝐾 are both 1 × 1 convolution. fQ と fK はどちらも 1 × 1 の畳み込みである。 0.72
⊗ is geometry-aware matrix multiplication, T is transposition operation that exchanges the last two dimensions of a matrix. T は行列の最後の2次元を交換する転置演算である。 0.48
Finally, the softmax is applied on C𝑁 𝑟→𝑙 to generate parallax attention map M𝑁 𝑟→𝑙. 最後に、ソフトマックスをCN r→lに印加してパララックスアテンションマップMN r→lを生成する。 0.56
Therefore, the warped feature maps 𝐿𝑟→𝑙 , 𝐿𝑙→𝑟 for sub-pixel registration are generated by the corresponding parallax attention map and inline occlusion inline occlusion handling [32]. したがって、サブピクセル登録用の歪んだ特徴写像Lr→l,Ll→rは、対応するパララックスアテンションマップとインラインオクルージョンインラインオクルージョンハンドリング[32]により生成される。 0.69
For each view, its own feature and the warped feature from the other view are then sent to the feature fusion module (FFM) for cross-view information aggregation. 各ビューに対して、その機能と他のビューからのワープされた機能は、クロスビュー情報アグリゲーションのためにfeature fusion module(ffm)に送信される。 0.74
Instead of directly concatenate the two features, we build a residual based aggregation module (Fig. 2つの特徴を直接結合する代わりに、残留ベースアグリゲーションモジュール(Fig)を構築します。 0.69
2(c)). To allow the network to concentrate on more informative features that are complementary from cross-view, we first compute the residual between the two features, and then apply a RDB [39] on the residual features, the output features are then added back to the view’s own feature. 2(c)。 ネットワークがクロスビューから補完的な機能に集中できるように、まず2つの機能間の残差を計算し、残りの機能にRDB[39]を適用した後、出力機能をビュー自身の機能に追加します。
訳抜け防止モード: 2(c)。 クロスビューから補完的な機能にネットワークが集中できるようにする。 まず2つの特徴の間の残差を計算し、残りの特徴に RDB [39 ] を適用します。 出力機能はビューの独自の機能に追加されます。
0.69
Take the left view as example, the operation can be defined as: 左のビューを例にとると、操作は次のように定義できる。 0.77
𝑅𝑒𝑠𝑙 = 𝐿𝑟→𝑙 − 𝐿𝑙 , 𝑙 = 𝑓𝐶𝐴𝐿𝑎𝑦𝑒𝑟 (𝑓𝑅𝐷𝐵 (𝑅𝑒𝑠𝑙) + 𝐿𝑙), 𝐿𝑓 𝑅𝑒𝑠𝑙 = 𝐿𝑟→𝑙 − 𝐿𝑙 , 𝑙 = 𝑓𝐶𝐴𝐿𝑎𝑦𝑒𝑟 (𝑓𝑅𝐷𝐵 (𝑅𝑒𝑠𝑙) + 𝐿𝑙), 𝐿𝑓 0.89
(3) where 𝐿𝑓 𝑙 denotes the fused features for left view and 𝑓𝐶𝐴𝐿𝑎𝑦𝑒𝑟 denotes the channel attention layer. (3) Lf l は左図の融合した特徴を表し、fCALayer はチャンネルアテンション層を表す。 0.80
Such inter-residual projection allows the network to focus only on the distinct information between feature sources while bypassing the common knowledge, enabling a more discriminative feature aggregation compared with trivial adding or concatenating. このような残留射影により、ネットワークは共通の知識をバイパスしながら、特徴源間の異なる情報のみに焦点を合わせることができ、簡単な追加や連結に比べて、より差別的な特徴集約を可能にします。 0.57
Finally, the fused features 𝐿𝑓 𝑟 go 𝑙 through the reconstruction module that has the same architecture with the feature extraction module, and a sub-pixel convolutional layer is applied to produce the HR feature 𝐻𝑙 , 𝐻𝑟 . 最後に、融合した特徴Lfrを特徴抽出モジュールと同一のアーキテクチャを有する再構成モジュールに通し、サブピクセル畳み込み層を適用してHR特徴Hl,Hrを生成する。 0.73
Meanwhile, the SR images 𝑆𝑅0 𝑟 are reconstructed at this step by adding the 𝑙 corresponding bicubic upsampled LR images: 一方、この段階でSR画像SR0rを、対応するlのバイコビックアップサンプリングLR画像を追加して再構成する。 0.73
, 𝑆𝑅0 , 𝐿𝑓 , 𝑆𝑅0 , 𝐿𝑓 0.87
𝑙 = 𝑓𝑈 𝑃 (𝐿𝑅𝑙) + 𝑓𝑅𝐸𝐶 (𝐻𝑙), 𝑆𝑅0 𝑟 = 𝑓𝑈 𝑃 (𝐿𝑅𝑟) + 𝑓𝑅𝐸𝐶 (𝐻𝑟). 𝑙 = 𝑓𝑈 𝑃 (𝐿𝑅𝑙) + 𝑓𝑅𝐸𝐶 (𝐻𝑙), 𝑆𝑅0 𝑟 = 𝑓𝑈 𝑃 (𝐿𝑅𝑟) + 𝑓𝑅𝐸𝐶 (𝐻𝑟). 0.85
𝑆𝑅0 (4) The main role of the two super-resolved images is to guarantee the effectiveness of the HR features 𝐻𝑙 , 𝐻𝑟 , which serve as important inputs to the subsequent HR disparity estimation module. 𝑆𝑅0 (4) 2つの超解像の主な役割は、その後のHR差分推定モジュールの重要な入力となるHR特徴Hl, Hrの有効性を保証することである。 0.80
HR Disparity Estimation Module The downside to rely only on coarse matching is that the resulting correspondences lack fine details. HR差分推定モジュール 粗いマッチングにのみ依存する欠点は、結果の対応が詳細を欠いていることである。 0.76
Although LR correspondences have been demonstrated to benefit the stereo SR [27, 30], the low-level LR features limit the accuracy in correspondence matching, especially in high-frequency regions like object boundaries, which is the most important goal of SR. LR対応はステレオSR[27,30]の恩恵を受けることが実証されているが、低レベルLR特徴は、特にSRの最も重要なゴールであるオブジェクト境界のような高周波領域において、対応マッチングの精度を制限している。 0.70
Thus, we suggest to also estimate the HR disparity map for more fine-gained correspondence information. そこで,より精細な対応情報に対してhr不一致マップを推定することを提案する。 0.60
To ensure the effectiveness of high-level HR features 𝐻𝑙 , 𝐻𝑟 , we connect the image reconstruction loss on the first step HR results 𝑆𝑅0 𝑟 , thus the 𝑙 HR features 𝐻𝑙 , 𝐻𝑟 can be seen as containing the information of 高レベルHR特徴Hl,Hrの有効性を確保するため、第1ステップHR結果SR0r上の画像再構成損失を接続するため、l HR特徴Hl,Hrを情報を含むものとみなすことができる。 0.85
, 𝑆𝑅0 Figure 3: Illustration of HR disparity estimation module. , 𝑆𝑅0 図3:HR差分推定モジュールの図示。 0.77
HR images, and serve as reliable representations for HR disparity estimation. HR画像はHR差分推定のための信頼性のある表現として機能する。 0.63
However, directly estimating from scratch costs massive computation cost, a more efficient strategy should be adopted. しかし,スクラッチからの直接推定には計算コストがかかるため,より効率的な戦略を採用する必要がある。 0.71
We found that the disparity maps Disp𝐿 𝑟 regressed from the parallax attention maps M𝑁 𝑟→𝑙 have relative high accuracy in most regions (see the 1𝑠𝑡 column of Tab. パララックスアテンションマップ MN r→l から退避した差分写像 DispL r は、ほとんどの領域で相対的に高い精度であることがわかった(第1コラムのタブ参照)。 0.61
4), which can be obtained as: 4)で、次のように得ることができる。 0.66
𝑙→𝑟 and M𝑁 𝑙 and Disp𝐿 l→rとMN l と DispL 0.80
Disp𝐿 𝑙 = Disp𝐿 DispL 𝑙 = DispL 0.85
𝑟 = 𝑘 × M𝑟→𝑙 (:, :, 𝑘), 𝑟 = 𝑘 × M𝑟→𝑙 (:, :, 𝑘), 0.81
𝑘 × M𝑙→𝑟 (:, :, 𝑘), 𝑘 × M𝑙→𝑟 (:, :, 𝑘), 0.78
(5) 𝑊 −1∑︁ 𝑊 −1∑︁ (5) 𝑊 −1∑︁ 𝑊 −1∑︁ 0.69
𝑘=0 𝑘=0 where 𝑊 is the width of the input LR image. 𝑘=0 𝑘=0 ここで W は入力LR画像の幅である。 0.66
Thus, we only construct partial cost volumes C𝑙 , C𝑟 based on coarse estimation and disparity residual hypotheses to achieve disparity maps with higher resolution and accuracy. したがって,粗い推定と不一致残差仮説に基づく部分コストボリュームcl,crのみを構築し,高い分解能と精度で不一致マップを実現する。 0.72
As shown in Fig 6, the upsampled disparity maps (𝑢𝑝(Disp𝐿 𝑟 )) are used as initialization of the HR disparity estimation for the left and right view, respectively. 図6に示すように、アップサンプリングされた不均等写像(up(DispL r ))は、それぞれ、左右のビューに対するHR不均等推定の初期化として使用される。 0.61
The disparity searching range can then be narrowed, we task the network of only finding a residual to add or subtract from the coarse prediction, blending in high-frequency details. そして、その差分探索範囲を狭めることができ、粗い予測を加算または減算するための残差のみを見つけるネットワークを、高周波の詳細にブレンドする。 0.73
𝑙 ), 𝑢𝑝(Disp𝐿 l) up(DispL) 0.73
Specially, we denote the disparity searching residual for each pixel in high resolution as Δ𝐷. 特に,高解像度で各画素の差分探索残差をΔDとする。 0.73
Take the left view as an example, when performing ×𝑠 SR, for the 𝑚𝑡ℎ pixel in HR space, the disparity range for building the left cost volume is [𝑚𝑎𝑥(𝑢𝑝(Disp𝐿 𝑙 )(𝑚) − Δ𝐷/2, 0), 𝑚𝑖𝑛(𝑢𝑝(Disp𝐿 𝑙 )(𝑚)+Δ𝐷/2, 𝑠𝑊 )]. 例えば ×s SR のとき、HR 空間の m 番目のピクセルに対して、左コストボリュームを構築するための格差範囲は [max(up(DispL l )(m) − ΔD/2, 0), min(up(DispL l )(m)+ΔD/2, sW )] である。 0.82
By uniformly sampling 𝑃 disparity hypotheses in this range (in this work, we set 𝑃 = Δ𝐷 = 24), 3D cost volume with size 𝑠𝐻 × 𝑠𝑊 × 𝑃 can be obtained through feature correlation operation [20]. この範囲でP差分仮説を均一にサンプリングすることにより(本研究では、P = ΔD = 24)、サイズ sH × sW × P の3次元コスト体積を特徴相関演算[20]により得ることができる。 0.87
To learn more context information, we aggregate the cost volume using hourglass architecture. より詳細なコンテキスト情報を得るために、砂時計アーキテクチャを用いてコストボリュームを集約する。 0.60
Then through soft-argmax operation, we can regress the HR disparity Disp𝐻 𝑟 for both view, with higher accuracy. 次に、ソフトargmax操作により、HR差分DispH rを高い精度で両視点で回帰することができる。 0.71
For occlusion 𝑙 handling, we use the estimated disparity maps to check the geometric consistency and estimate the valid masks to be used in the loss functions: 咬合lハンドリングでは、推定不等式マップを用いて幾何学的一貫性を確認し、損失関数に使用する有効なマスクを推定する。 0.65
, Disp𝐻 V𝑙 = 1 − 𝑡𝑎𝑛ℎ(0.2(cid:12)(cid:12) Disp𝐻 V𝑟 = 1 − 𝑡𝑎𝑛ℎ(0.2(cid:12)(cid:12) Disp𝐻 , DispH Vl = 1 − tanh(0.2(cid:12)(cid :12)DispH Vr = 1 − tanh(0.2(cid:12)(cid :12)DispH 0.84
𝑙 − 𝑊 𝑎𝑟𝑝(Disp𝐻 𝑟 − 𝑊 𝑎𝑟𝑝(Disp𝐻 l − W arp(DispH r − W arp(DispH) 0.91
𝑟 , Disp𝐻 , Disp𝐻 𝑙 ) represents using Disp𝐻 r , DispH , DispH l ) は DispH を用いて表現する 0.83
𝑙 𝑙 𝑙 )(cid:12)(cid:12)), 𝑟 )(cid:12)(cid:12)), 𝑙 𝑙 l )(cid:12)(cid:12)), r (cid:12)(cid:12)) 0.89
(6) where𝑊 𝑎𝑟𝑝(Disp𝐻 (6) whereW arp(DispH) 0.91
to warp Disp𝐻 𝑟 . DispH r をワープする。 0.78
The HR disparity is in turn used to explore additional information from different views in the HR space, thus the registered HR features can be obtained by: 𝐻𝑟→𝑙 = 𝑊 𝑎𝑟𝑝(𝐻𝑟 , Disp𝐻 𝑙 ), 𝐻𝑙→𝑟 = hrの不一致は、hr空間の異なる視点から追加情報を探索するために使用され、登録されたhrの特徴は、hr→l = w arp(hr , disph l ), hl→r = によって得られる。
訳抜け防止モード: 人事格差は順番に使用される 人事空間における様々な視点からの追加情報を探るのです したがって、登録されたHR特徴は、Hr→l = W arp(Hr) で得られる。 Disp𝐻 𝑙 ) , 𝐻𝑙→𝑟 =
0.73
𝑟 , Disp𝐻 r, DispH 0.83
英語(論文から抽出)日本語訳スコア
Feedback Network for Mutually Boosted Stereo Image Super-Resolution and Disparity Estimation 相互増強ステレオ画像の超解像化と差分推定のためのフィードバックネットワーク 0.66
Woodstock ’18, June 03–05, 2018, Woodstock, NY Woodstock ’18, June 03–05, 2018, Woodstock, NY 0.98
Figure 4: Illustration of our HR disparity information feedback (HRDIF) mechanism. 図4: HR格差情報フィードバック(HRDIF)メカニズムの図示。 0.69
(Please zoom in for details) (詳細はズームイン) 0.56
𝑊 𝑎𝑟𝑝(𝐻𝑙 , Disp𝐻 𝑟 ). 𝑊 𝑎𝑟𝑝(𝐻𝑙 , Disp𝐻 𝑟 ). 0.94
For HR cross-view information aggregation, the residual-based module is adopted (similar to FFM), the only difference is that an additional attention map for each view is introduced to improve the aggregation reliability. HRクロスビュー情報アグリゲーションでは、残差ベースのモジュールが採用され(FFMと類似)、ビュー毎に追加のアグリゲーションマップが導入され、アグリゲーションの信頼性が向上する。 0.54
Take the left view as example, the attention map measure the similarity of 𝐻𝑙 and 𝐻𝑟→𝑙: 𝐴𝑡𝑡𝑙 = 𝑠𝑖𝑔𝑚𝑜𝑖𝑑(5𝑓𝐶𝑜𝑛𝑣1(𝐻𝑙) · 𝑓𝐶𝑜𝑛𝑣2(𝐻𝑟→𝑙)), where 𝑓𝐶𝑜𝑛𝑣1 and 𝑓𝐶𝑜𝑛𝑣2 are both 3 × 3 convolutional layers, · is the element-wise Attl = sigmoid(5fConv1(Hl) · fConv2(Hr→l)) ここで fConv1 と fConv2 はどちらも 3 × 3 の畳み込み層であり、· は元についてである。
訳抜け防止モード: 注意写像はHlとHr→lの類似度を測定する: Attl = sigmoid(5fConv1(Hl ) · fConv2(Hr→l ) ) fConv1 と fConv2 はどちらも 3 × 3 の畳み込み層である。 · は元です - 賢明です
0.84
multiplication. Therefore, the aggregated HR left features(cid:98)𝐻𝑙 are: 乗算。 したがって、集計されたHR残像(cid:98)Hlは以下の通りである。 0.57
𝑅𝑒𝑠𝑙 = (𝐻𝑟→𝑙 − 𝐻𝑙) · 𝐴𝑡𝑡𝑙 , 𝑅𝑒𝑠𝑙 = (𝐻𝑟→𝑙 − 𝐻𝑙) · 𝐴𝑡𝑡𝑙 , 1.00
(cid:98)𝐻𝑙 = 𝑓𝐶𝐴𝐿𝑎𝑦𝑒𝑟 (𝑓𝑅𝐷𝐵 (𝑅𝑒𝑠𝑙) + 𝐻𝑙). (cid:98)𝐻𝑙 = 𝑓𝐶𝐴𝐿𝑎𝑦𝑒𝑟 (𝑓𝑅𝐷𝐵 (𝑅𝑒𝑠𝑙) + 𝐻𝑙). 0.96
(7) where 𝐴𝑡𝑡𝑙 adaptively weights down the regions with too large difference with the original view and emphasis the regions that are favorable for providing complementary information. (7) attlが元のビューと大きく異なる領域を適応的に重み付けし、補完的な情報を提供するのに適した領域を強調します。 0.79
Similarly, we can get the aggregated right HR feature(cid:98)𝐻𝑟 . 同様に 私たちも 集約された右HR機能(cid:98)Hrを取得できる。 0.67
Afterwards, better SR images can be reconstructed through(cid:98)𝐻𝑙 ,(cid:98)𝐻𝑟 : 𝑙 = 𝑓𝑈 𝑃 (𝐿𝑅𝑙) + 𝑓𝑅𝐸𝐶 ((cid:98)𝐻𝑙), 𝑟 = 𝑓𝑈 𝑃 (𝐿𝑅𝑟) + 𝑓𝑅𝐸𝐶 ((cid:98)𝐻𝑟). その後、より良いSR画像は(cid:98)Hl ,(cid:98)Hr : l = fU P (LRl) + fREC ((cid:98)Hl), r = fU P (LRr) + fREC ((cid:98)Hr)を通して再構成できる。 0.91
𝑆𝑅1 𝑆𝑅1 (8) 𝑆𝑅1 𝑆𝑅1 (8) 0.78
This section introduces a whole feed-forward pipeline for performing the two tasks. この節では、2つのタスクを実行するためのフィードフォワードパイプライン全体を紹介します。 0.56
Three stages of task interactions have been shown: Firstly, LR disparity (correspondence) promotes image SR by adding extra details. まず、LR不均一性(対応性)は、余分な詳細を加えることで画像SRを促進する。 0.57
Secondly, image SR promotes HR disparity estimation accuracy by providing fine-gained HR representations. 次に、画像SRは、微細なHR表現を提供することにより、HR差分推定精度を向上する。 0.50
Thirdly, the more accurate disparity promotes the quality of the SR images by aggregating features in the HR space. 第3に、より正確な相違により、HR空間の特徴を集約することにより、SR画像の品質が向上する。 0.65
The interactions mentioned above all act in a straightforward way, however, we intend to further explore a more essential and intrinsic connection of the two tasks. 上記のすべての相互作用は直接的に作用するが、我々はこの2つのタスクのより本質的で本質的な関係をさらに探求する。 0.75
3.2 HRDIF Mechanism The flow of information from the LR image to the final SR image is purely feed-forward in all previous stereo SR network architectures [27, 29, 30, 37], which cannot fully exploit effective high-resolution features in representing the LR to HR relation. 3.2 HRDIFメカニズム LR画像から最終SR画像への情報の流れは、従来の全てのステレオSRネットワークアーキテクチャ[27,29,30,37]において純粋にフィードフォワードであり、LRとHRの関係を表現する上で有効な高解像度特徴を十分に活用できない。 0.83
The purely feed-forward network also makes it impossible for the HR disparity map to send useful information to the preceding low-level features, thus cannot refine these features in the SR process. 純粋にフィードフォワードネットワークは、HR不均一マップが以前の低レベル特徴に有用な情報を送ることも不可能であり、SRプロセスではこれらの特徴を洗練できない。 0.76
To this end, we intend to project the useful information carried by the HR disparity back to preceding layers. へ この目的を達成するために,我々は,人事格差が担う有用な情報を先行層に投影する。 0.62
Since the essential influence of the disparity to SR task is acting on the feature level, i.e., by registering the sup-pixel feature of two views and aggregating to obtain the enriched representations, we propose two strategies to feedback the HR disparity and act upon the feature space (Figure5, this illustration is based on the left view, the similar operation can be done on the right branch). SRタスクに対する不均一性の本質的な影響は,2つのビューのsup-pixel特徴を登録し,よりリッチな表現を得るために集約することで,特徴量に対してHRの格差をフィードバックし,特徴空間に作用する2つの戦略を提案する(第5図,この図は左のビューに基づいており,右のブランチでも同様の操作を行うことができる)。 0.78
gated HR features(cid:98)𝐻𝑙 ,(cid:98)𝐻𝑟 , thus we recommend to feed them back gate HR features(cid:98)Hl ,(cid:98)Hr なので、私たちはそれらをフィードバックすることを推奨します。 0.63
Firstly, the HR disparity information is embedded in the aggre- まず、HR差分情報をアグリに埋め込む。 0.50
to refine the low-level features. 低レベルの機能を洗練する。 0.61
Different from original feedback operation in [16] that simply send the high-level features of the view back to low-level layer, our feedback HR features contain information both from intra-view and cross-view. ビューの高レベルな特徴を低レベル層に返却する [16] の元のフィードバック操作と異なり、私たちのフィードバックHR機能には、ビュー内とクロスビューの両方の情報が含まれています。 0.71
To handle the spatial resolution gap, we back-project the HR features to LR space, and leverage a simple attention strategy to highlight the high-frequency regions in the downsampled features to compensate for the resolution loss. 空間分解能のギャップを解消するために, HR特徴をLR空間にバックプロジェクションし, 簡易な注意戦略を利用して, 分解能損失を補うために, ダウンサンプリングされた特徴の高周波領域を強調する。 0.72
As shown in the downside branch of Fig 5, for the 𝑡𝑡ℎ to obtain the 図5の下側枝に示すように、tはそれを得る。 0.66
iteration, we first apply strided convolution to(cid:98)𝐻𝑡−1 反復、まず(cid:98)Ht−1にストライド畳み込みを適用する。 0.57
𝑙 back-projected feature 𝐿𝐵𝑡 𝑙 . 𝑙 バックプロジェクション機能 LBt l 。 0.81
𝑙 = 𝑓𝐷𝑂𝑊 𝑁 ((cid:98)𝐻 𝑡−1 𝑙 = 𝑓𝐷𝑂𝑊 𝑁 ((cid:98)𝐻 𝑡−1 0.86
𝑙 ). 𝐿𝐵𝑡 project the feature back to original resolution, obtaining(cid:103)𝐿𝐵𝑡 𝑙 ). 𝐿𝐵𝑡 機能を元の解像度に戻して(cid:103)LBtを得る 0.82
(9) Secondly, in order to get the high-frequency regions, we apply average pooling to 𝐿𝐵𝑡 𝑙 , then a deconvolution layer is applied to 𝑙 . (9)第2に、高周波領域を得るために、lbt lに平均プーリングを適用し、その後、デコンボリューション層をlに適用する。 0.66
In is calculated by computing the inは計算によって計算される 0.74
addition, the attention map 𝑊 𝑡 𝑙 residual between 𝐿𝐵𝑡 𝑙 . さらに、LBtl間のアテンションマップW t lが残留する。 0.51
𝑙 = 𝐴𝑣𝑔𝑝𝑜𝑜𝑙(𝐿𝐵𝑡 𝑙 ), 𝑙 = 𝑓𝐷𝑒𝐶𝑜𝑛𝑣 (𝐿𝑃𝑡 𝑙 ), 𝑙 − 𝐿𝐵𝑡 𝑙 ). 𝑙 = 𝐴𝑣𝑔𝑝𝑜𝑜𝑙(𝐿𝐵𝑡 𝑙 ), 𝑙 = 𝑓𝐷𝑒𝐶𝑜𝑛𝑣 (𝐿𝑃𝑡 𝑙 ), 𝑙 − 𝐿𝐵𝑡 𝑙 ). 0.78
Then, the highlighted regions activated by 𝑊 𝑡 𝑙 𝑙 · 𝑊 𝑡 𝑙 ), そして、W t l l · W t l )によって活性化されるハイライト領域 0.81
is added to 𝐿𝐵𝑡 𝑙 : (11) where 𝜆 is a hyper-parameter used to control the importance of the attention weights. LBt l : (11) に追加され、λ は注意重みの重要性を制御するために用いられる超パラメータである。 0.81
We name this feedback operation as AHFF (Aggregated HR Feature Feedback). このフィードバック操作をAHFF(Aggregated HR Feature Feedback)と呼ぶ。 0.73
𝑙 + 𝜆(𝐿𝐵𝑡 𝑙 = 𝐿𝐵𝑡 𝑙 + 𝜆(𝐿𝐵𝑡 𝑙 = 𝐿𝐵𝑡 0.85
(10) 𝐿𝐵𝑡 𝑙 and(cid:103)𝐿𝐵𝑡 (cid:103)𝐿𝐵𝑡 𝑙 = 𝑃𝑅𝑒𝐿𝑈 ((cid:103)𝐿𝐵𝑡 (10) 𝐿𝐵𝑡 l と (cid:103)LBt (cid:103)LBt l = PReLU ((cid:103)LBt 0.86
𝐿𝑃𝑡 𝑊 𝑡 𝐿𝑃𝑡 𝑊 𝑡 0.85
英語(論文から抽出)日本語訳スコア
Woodstock ’18, June 03–05, 2018, Woodstock, NY Woodstock ’18, June 03–05, 2018, Woodstock, NY 0.98
Qinyan Dai1 †, Juncheng Li1, Qiaosi Yi1, Faming Fang1 *, Guixu Zhang1 1School of Computer Science and Technology, East China Normal University, Shanghai, China †51194506008@stu.ecnu .edu.cn *fmfang@cs.ecnu.edu. cn Qinyan Dai1, Juncheng Li1, Qiaosi Yi1, Faming Fang1 *, Guixu Zhang1 1School of Computer Science and Technology, East China Normal University, Shanghai, China シュ51194506008@stu.ecnu .edu.cn *fmfang@cs.ecnu.edu. cn 0.81
It is worth noting that one of the requirements that contains in a feedback system is providing an LR input at each iteration, i.e., to ensure the availability of low-level information which is needed to be refined. フィードバックシステムに含まれる要件の1つは、各イテレーションでLR入力を提供することである。
訳抜け防止モード: フィードバックシステムに含まれる要件のひとつは、各イテレーションでlr入力を提供することである点に注意が必要だ。 つまり、洗練する必要のある低レベルな情報の可用性を確保すること。
0.63
Thus, for the 𝑡𝑡ℎ iteration, the LR feature 𝐿𝑡−1 from the (𝑡 − 1)𝑡ℎ iteration is meant to be refined by 𝐿𝐵𝑡 𝑙 . したがって、t 反復の場合、(t − 1) 反復からの LR 特徴 Lt−1 は LBt l によって洗練される。 0.68
Instead of directly leveraging the coarse original feature 𝐿𝑡−1 , we propose the second HR disparity information feedback strategy to enrich the low-level representations. 粗い特徴Lt−1を直接活用する代わりに,低レベル表現の強化を目的とした第2のHR差分情報フィードバック戦略を提案する。 0.73
As shown in the upside of Figure.5, we first apply spatial-to-depth operation upon the 𝐷𝐻,𝑡−1 ∈ R𝑠𝐻×𝑠𝑊 , obtaining LR disparity cube of size R𝐻×𝑊 ×𝑠2. 図5のアップサイドに示すように、まずDH,t−1 ∈ RsH×sW に対して空間深度演算を適用し、RH×W ×s2 の大きさのLR異方性立方体を得る。 0.68
We leverage each disparity slice in the cube to warp 𝐿𝑡−1 , obtaining 𝑠2 warped feature maps of the right view. 立方体の各分散スライスを利用してLt−1をワープし、正しいビューのs2ワープ特徴写像を得る。 0.63
Each warped feature map is concatenated with the same left feature 𝐿𝑡−1 , and each concatenated feature map is going through a residual block and a 1× 1 convolution for fusion. それぞれの曲がりくねった特徴写像は、同じ左特徴点 lt−1 で連結され、それぞれの連結された特徴写像は、残留ブロックと1×1畳み込みによって融合される。 0.62
. The Finally, we sum up the 𝑠2 fused LR feature maps to get(cid:98)𝐿𝑡−1 . 最後に、s2融合LR特徴写像をまとめて(cid:98)Lt−1を得る。 0.62
𝑟 𝑙 𝑙 𝑙 𝑙 𝑙 𝑟 𝑙 𝑙 𝑙 𝑙 𝑙 0.85
operation can be defined as: 操作は次のように定義できる。 0.66
𝑠2∑︁ 𝑖=0 = 𝑠2∑︁ 𝑖=0 = 0.64
𝑙 (cid:98)𝐿𝑡−1 Finally,(cid:98)𝐿𝑡−1 𝑙 (cid:98)Lt−1 最後に(cid:98)Lt−1 0.75
𝑓𝑓 𝑢𝑠𝑖𝑜𝑛(𝑓𝑅𝑒𝑠𝐵 (𝐶𝑜𝑛𝑐𝑎𝑡 (𝐿𝑡−1 𝑓𝑓 𝑢𝑠𝑖𝑜𝑛(𝑓𝑅𝑒𝑠𝐵 (𝐶𝑜𝑛𝑐𝑎𝑡 (𝐿𝑡−1 0.96
𝑙 , 𝐿𝑡−1,𝑖 𝑟→𝑙 ))). 𝑙 , 𝐿𝑡−1,𝑖 𝑟→𝑙 ))). 0.85
(12) parity, which is defined as: (12) parity (複数形 paritys) 0.58
(16) (17) is employed in a residual manner [32] to overcome illuminance variation. (16) (17) 照度の変化を克服するために [32] 残留的に使われています 0.79
Please refer to [32] for details. 詳細は[32]を参照してください。 0.82
Disparity Loss. Besides tying loss on the parallax-attention maps, we also enforce direct constraints on all the estimated disparity maps, namely 𝐷𝐿,𝑡 for 𝑡 = 1, ...,𝑇 . 異例の損失。 パララックス-アテンション写像の損失の他に、 t = 1, ...,T に対して DL,t と推定されるすべての不均一写像の直接的な制約を課す。
訳抜け防止モード: 異例の損失。 パララックス-アテンションマップの結束損失に加えて、推定された不均一性マップの全てに直接的な制約を課す。 namely 𝐷𝐿,𝑡 for 𝑡 = 1 , ... , 𝑇 .
0.67
We first 𝑙 penalize the reconstruction loss on HR images using each disparity map (LR disparity upsamples to the same size of HR images), for the left view, 左図では,まず各不均一マップ(LR差分を同じ大きさのHR画像に変換する)を用いてHR画像の再構成損失をペナルティ化する。 0.79
, 𝐷𝐻,𝑡 , 𝐷𝐻,𝑡 , 𝐷𝐻,𝑡 , 𝐷𝐻,𝑡 0.85
, 𝐷𝐿,𝑡 𝑟 𝑟 , 𝐷𝐿,𝑡 𝑟 𝑟 0.85
𝑙 𝑡=𝑇∑︁ L𝑙 𝑟𝑐 = 𝑙 𝑡=𝑇∑︁ Ll rc = 0.70
1 𝑁 1 − S(HR𝑙 (𝑝), HR𝑡 1 𝑁 1 − S(HRl (p), HRt 0.81
𝑟→𝑙 (𝑝)) + (1 − 𝛼)(cid:13)(cid:13)HR𝑙 (𝑝) − HR𝑡 𝑟→𝑙 (𝑝)) + (1 − α)(cid:13)(cid:13)HRl (p) − HRt 0.93
𝑝∈V𝑡 ,𝑡=1 pjavavt ,𝑡=1 0.57
𝛼 𝑙 2 𝑟→𝑙 (𝑝)(cid:13)(cid:13)1 , 𝑡 = 1, ...,𝑇 , 𝛼 𝑙 2 𝑟→𝑙 (𝑝)(cid:13)(cid:13)1 , 𝑡 = 1, ...,𝑇 , 0.88
𝑟→𝑙 = 𝑊 𝑎𝑟𝑝(HR𝑟 , Disp𝐻,𝑡 r→l = W arp(HRr , DispH,t) 0.91
). S is a structural similarity where HR𝑡 index (SSIM) function, 𝑝 represents a valid pixel in the valid mask, 𝑁 is the number of valid pixels, and 𝛼 is empirically set to 0.85. ). S は HRt index (SSIM) 関数であり、p は有効なマスクにおける有効なピクセルを表し、N は有効なピクセルの数であり、α は経験的に 0.85 に設定される。 0.83
The loss for the right view is also calculated as the similar method. 右の視点に対する損失も類似の方法として計算される。 0.80
Moreover, we constrain edge-aware smoothness loss on HR dis- さらに、HRdisにおけるエッジ認識の滑らかさ損失を抑える。 0.45
𝑙 L𝑙 𝑠 = ∑︁ +(cid:13)(cid:13)(cid :13)▽𝑦D𝐻 𝑅,𝑡 𝑙 Ll s = (cid:13)(cid:13)(cid :13)/ydh r,t) 0.73
(cid:13)(cid:13)(cid :13)▽𝑥 D𝐻 𝑅,𝑡 (p)(cid:13)(cid:13)( cid:13)1 (cid:13)(cid:13)(cid :13)-x DH R,t (p)(cid:13)(cid:13)( cid:13)1 0.80
p∈V𝑙 1 𝑁 𝑙 pvcvl 1 𝑁 𝑙 0.70
𝑙 (p)(cid:13)(cid:13)( cid:13)1 𝑙 (p)(cid:13)(cid:13)1 0.87
𝑒−∥▽𝑥 HR𝑙 (p) ∥1 e-\x HRl (p) >1 0.59
𝑒−∥▽𝑦 HR𝑙 (p) ∥1, 𝑡 = 1, ...,𝑇 , e− y HRl (p) は 1, t = 1, ..., T である。 0.76
𝑐𝑦𝑐𝑙𝑒 + L𝐻𝑅 cycle + LHR 0.85
𝑐𝑜𝑛𝑠 + 0.1 ∗ L𝑠. cons + 0.1 ∗ Ls。 0.87
where ▽𝑥 and ▽𝑦 are gradients in the 𝑥 and 𝑦 directions respectively. x と y はそれぞれ x と y の方向の勾配である。 0.64
Finally, residual based cycle and consistency losses [32] are also used to constrain HR disparity maps. 最後に、HR差分マップの制約にも残差ベースサイクルと一貫性損失[32]を用いる。 0.81
The total disparity loss can be written as: L𝐷𝑖𝑠𝑝 = L𝑟𝑐 + L𝐻𝑅 4 EXPERIMENTS 4.1 Experimental Settings Following iPASSR[32], we adopt 60 Middlebury images and 800 images from Flickr1024 [31] as the training dataset during training. LDisp = Lrc + LHR 4 EXPERIMENTS 4.1 実験設定 iPASSR[32]に続いて、トレーニング中のトレーニングデータセットとして、Flickr1024[31]から60のミドルベリー画像と800のイメージを採用しました。 0.75
For images from the Middlebury dataset, we followed [7, 29, 30, 32, 37] to perform bicubic downsampling by a factor of 2 to generate HR ground truth images to match the spatial resolution of Flickr1024 dataset. ミドルベリーデータセットの画像については, [7, 29, 30, 32, 37] を追従し,2因子によるバイコビックダウンサンプリングを行い, Flickr1024データセットの空間分解能と一致するHRグラウンド真理画像を生成する。 0.83
To produce LR images, we downscale the HR images on particular scaling factors by using the bicubic operation and then cropped 30 × 90 patches with a stride of 20 as input samples. LR画像を生成するために,バイコビック操作を用いて特定のスケーリング要因のHR画像をダウンスケールし,30×90個のパッチを20個のストライドで抽出した。 0.74
Our network was implemented using PyTorch and trained on NVIDIA V100 GPU. 我々のネットワークはPyTorchを使用して実装され、NVIDIA V100 GPUでトレーニングされた。 0.56
All models were optimized by the Adam [11] with 𝛽1 = 0.9 and 𝛽2 = 0.999. すべてのモデルはAdam [11] によって β1 = 0.9 と β2 = 0.999 で最適化された。 0.65
The batch size is set to 16, the initial learning rate is set to 2 × 10−4 and reduced to half after every 30 epochs. バッチサイズは16に設定され、初期学習率は2×10−4に設定され、30エポックごとに半分に削減される。 0.74
To evaluate SR results, 20 images from KITTI 2012[5], 20 images from KITTI 2015[21], 5 images from Middlebury, and 112 images from Flickr1024 are utilized as the test dataset. sr結果を評価するために、kitti 2012[5]から20画像、kitti 2015[21]から20画像、ミドルベリーから5画像、flickr1024から112画像をテストデータセットとして利用する。 0.72
For fair comparison with [7, 30, 37], we followed these methods to calculate peak signalto-noise ratio (PSNR) and structural similarity (SSIM) scores on the left views with their left boundaries (64 pixels) being cropped, and these metrics were calculated on RGB color space. 一方,[7, 30, 37] との比較では, 左辺(64ピクセル)で左辺(64ピクセル)のピーク信号対雑音比 (PSNR) と構造類似度 (SSIM) のスコアを算出し, RGB色空間で測定した。
訳抜け防止モード: 7, 30, 37 ] と公正に比較する。 ピーク信号-雑音比(PSNR)を計算するために,これらの手法に従った。 SSIM(Structuor similarity)は左のビューにスコアを付け、左のバウンダリ(64ピクセル)をトリミングする。 測定値はRGB色空間で計算された。
0.76
Moreover, to comprehensively evaluate the quality of the reconstructed stereo SR image, we also report the average PSNR and SSIM scores on stereo image pairs (i.e., (Left + Right) /2) without any boundary cropping. さらに,再建されたステレオSR画像の品質を総合的に評価するために,ステレオ画像ペア(Left + Right)/2)の平均PSNRとSSIMスコアを境界トリミングなしで報告する。 0.78
Meanwhile, in order to evaluate disparity estimation results, we apply the end-point-error (EPE) in both non-occluded region (NOC) and all (ALL) pixels. 一方,不一致推定結果を評価するために,非閉塞領域(NOC)と全画素(全画素)にエンドポイントエラー(EPE)を適用した。 0.80
We name this strategy as LRE (Low-level Representations Enrichment). 我々はこの戦略をLRE(Low-level Representations Enrichment)と呼ぶ。 0.79
channel back to the same with 𝐿𝑡−1 the new iteration is generated according to: lt-1と同じチャンネルに戻る 新しいイテレーションは次のとおり生成される。 0.75
𝑙 are concatenated and fused to reduce the 𝑙 for l は連結され、融合され、l を減少させる。 0.53
, and the new LR feature 𝐿𝑡 と新しいLR機能Lt 0.56
and 𝐿𝐵𝑡 𝑙 𝑙 およびLBt 𝑙 𝑙 0.83
𝑙 = 𝑓𝑓 𝑢𝑠𝑒 (𝐶𝑜𝑛𝑐𝑎𝑡 ((cid:98)𝐿𝑡−1 𝑙 = 𝑓𝑓 𝑢𝑠𝑒 (𝐶𝑜𝑛𝑐𝑎𝑡 ((cid:98)𝐿𝑡−1 0.88
𝑙 𝑙 )). 𝐿𝑡 𝑙 𝑙 )). 𝐿𝑡 0.85
In this way, the low-level features 𝐿𝑡 このように低レベルの特徴Ltは 0.81
, 𝐿𝐵𝑡 (13) 𝑙 carry information from the HR disparity, and this feature enhancement dose favor to the whole pipeline right from the beginning. , LBt (13) lはHRの相違からの情報を持ち, この特徴はパイプライン全体に対して最初から好適である。 0.69
Finally, we adopt the last SR output as the final result. 最後に、最終結果として最後のSR出力を採用する。 0.79
3.3 Loss Functions Since our work aims to achieve stereo SR and disparity estimation simultaneously, we set loss constraints for both tasks. 3.3 損失関数 ステレオsrと不一致推定を同時に実現することを目的として,両タスクに損失制約を設定した。 0.68
Note that we learn the disparity in an unsupersived manner and do not use groundtruth (GT) disparities during the training phase. トレーニング段階では, 差分を非抑制的に学習し, 基部(GT)の差分を使用しない点に注意。 0.69
We introduce SR loss L𝑆𝑅, biPAM loss L𝐵𝑖𝑃𝐴𝑀, and disparity loss L𝐷𝑖𝑠𝑝 to train our network. 本稿では,SR損失LSR,biPAM損失LBiPAM,disparity損失LDispを紹介する。 0.61
The overall loss function of our network is defined as: ネットワーク全体の損失関数は次のように定義される。 0.76
L = L𝑆𝑅 + 𝜆1L𝐵𝑖𝑃𝐴𝑀 + 𝜆2L𝐷𝑖𝑠𝑝, where both 𝜆1 and 𝜆2 are set to 0.1 in this work. L = LSR + λ1LBiPAM + λ2LDisp, ここで λ1 と λ2 はともに0.1 となる。 0.83
SR Loss. The SR loss is essentially an 𝐿1 loss function that is used to measure the difference between the SR images and GT images, i.e., for T iterations, SR敗戦。 sr損失は本質的にl1損失関数であり、sr画像とgt画像、すなわちt反復の差を測定するために使用される。 0.65
𝑇∑︁ 𝑡=0 L𝑆𝑅 = 𝑇∑︁ 𝑡=0 LSR = 0.68
𝑙 − HR𝑙 ∥1 + ∥ SR𝑡,0 l − HRl >1 + > SRt,0 0.76
∥ SR𝑡,0 𝑙 − HR𝑙 ∥1 + ∥ SR𝑡,1 > SRt,0 l − HRl >1 + > SRt,1 0.61
𝑟 − HR𝑟 ∥1, r − hrr 1 である。 0.69
𝑟 − HR𝑟 ∥1 r − HRr = 1 0.88
+ ∥ SR𝑡,1 (14) + SRt,1 (14) 0.87
(15) where SR𝑙 and SR𝑟 represent the restored left and right images, and HR𝑙 and HR𝑟 represent their corresponding HR images. (15) SRlとSRrは復元された左右の画像を表し、HRlとHRrは対応するHR画像を表す。 0.83
BiPAM Loss. We formulate the BiPAM loss as a combination of photometric, smoothness, cycle and consistency terms, connecting to bi-directional parallax-attention maps M𝑡 𝑙→𝑟 , t=1,...,T. That is, L𝐵𝑖𝑃𝐴𝑀 = L𝑝ℎ𝑜𝑡𝑜 + L𝑐𝑦𝑐𝑙𝑒 + L𝑠𝑚𝑜𝑜𝑡ℎ + L𝑐𝑜𝑛𝑠. BiPAM ロス。 ビパム損失を、測光、滑らかさ、サイクル、一貫性項の組み合わせとして定式化し、双方向パララックス・アテンション写像 mt l→r , t=1, ..., t と接続する。
訳抜け防止モード: BiPAM ロス。 光度, 滑らか度, サイクル, 一貫性条件の組み合わせでBiPAM損失を定式化する。 双方向視差への接続 - 注意マップ l→r, LBiPAM = Lphoto + Lcycle + Lsmooth + Lcons である。
0.70
The loss 𝑟→𝑙, M𝑡 損失 r→l,mt 0.60
英語(論文から抽出)日本語訳スコア
Feedback Network for Mutually Boosted Stereo Image Super-Resolution and Disparity Estimation 相互増強ステレオ画像の超解像化と差分推定のためのフィードバックネットワーク 0.66
Woodstock ’18, June 03–05, 2018, Woodstock, NY Woodstock ’18, June 03–05, 2018, Woodstock, NY 0.98
Table 1: Quantitative results achieved by different methods on the KITTI 2012, KITTI 2015, Middlebury, and Flickr1024 datasets. 表1: KITTI 2012、KITTI 2015、Middlebury、Flickr1024データセットのさまざまな方法で達成された定量的結果。 0.71
#𝑃 represents the number of parameters of the networks. #P はネットワークのパラメータの数を表す。 0.78
Here, PSNR/SSIM values achieved on both the left images (i.e., Left) and a pair of stereo images (i.e., (Left + Right) /2) are reported. ここで、左画像(左画像)と一対のステレオ画像(左画像(右画像)/2)の両方で達成されたpsnr/ssim値を報告する。 0.75
The best results are in bold faces and the second best results are underlined. 最高の結果は大胆な顔で、2番目の結果は下線で示されます。 0.66
Method VDSR EDSR RDN RCAN StereoSR PASSRnet IMSSRnet iPASSR SSRDE-FNet (ours) VDSR EDSR RDN RCAN StereoSR PASSRnet SRRes+SAM IMSSRnet iPASSR SSRDE-FNet (ours) 方法 VDSR EDSR RDN RCAN StereoSR PASSRnet IMSSRnet iPASSR SSRDE-FNet (ours) VDSR EDSR RDN RCAN StereoSR PASSRnet SRRes+SAM IMSSRnet iPASSR SSRDE-FNet (ours) 0.86
Scale ×2 ×2 ×2 ×2 ×2 ×2 ×2 ×2 ×2 ×4 ×4 ×4 ×4 ×4 ×4 ×4 ×4 ×4 ×4 Scale ×2 ×2 ×2 ×2 ×2 ×2 ×2 ×2 ×2 ×4 ×4 ×4 ×4 ×4 ×4 ×4 ×4 ×4 ×4 0.62
30.90/- #𝑃 KITTI 2012 0.66M 30.17/0.9062 38.6M 30.83/0.9199 22.0M 30.81/0.9197 15.3M 30.88/0.9202 1.08M 29.42/0.9040 1.37M 30.68/0.9159 6.84M 1.37M 30.97/0.9210 2.10M 31.08/0.9224 0.66M 25.54/0.7662 38.9M 26.26/0.7954 22.0M 26.23/0.7952 15.4M 26.36/0.7968 1.42M 24.49/0.7502 1.42M 26.26/0.7919 1.73M 26.35/0.7957 6.89M 1.42M 26.47/0.7993 2.24M 26.61/0.8028 30.90/- #p kitti 2012 0.66m 30.17/0.9062 38.6m 30.83/0.9199 22.0m 30.81/0.9197 15.3m 30.88/0.9202 1.08m 29.42/0.9040 1.37m 30.68/0.9159 6.84m 1.37m 30.97/0.9210 2.10m 31.08/0.9224 0.66m 25.54/0.7662 38.9m 26.26/0.7954 22.0m 26.23/0.7952 15.4m 26.36/0.7968 1.42m 24.49/0.7502 1.42m 26.26/0.7919 1.73m 26.35/0.7919 6.89m 26.72m 26.0.72m 26.26/0.7662 0.35
26.44/- Left (Left + Right) /2 26.44/- 左 (左+右)/2 0.70
29.97/- KITTI 2015 28.99/0.9038 29.94/0.9231 29.91/0.9224 29.97/0.9231 28.53/0.9038 29.81/0.9191 30.01/0.9234 30.10/0.9245 24.68/0.7456 25.38/0.7811 25.37/0.7813 25.53/0.7836 23.67/0.7273 25.41/0.7772 25.55/0.7825 25.61/0.7850 25.74/0.7884 29.97/- KITTI 2015 28.99/0.9038 29.94/0.9231 29.91/0.9224 29.97/0.9231 28.53/0.9038 29.81/0.9191 30.01/0.9234 30.10/0.9245 24.68/0.7456 25.38/0.7811 25.37/0.7813 25.53/0.7836 23.67/0.7273 25.41/0.7772 25.55/0.7825 25.61/0.7850 25.74/0.7884 0.33
25.59/- 34.66/- 25.59/- 34.66/- 0.47
Middlebury 32.66/0.9101 34.84/0.9489 34.85/0.9488 34.80/0.9482 33.15/0.9343 34.13/0.9421 34.41/0.9454 35.02/0.9508 27.60/0.7933 29.15/0.8383 29.15/0.8387 29.20/0.8381 27.70/0.8036 28.61/0.8232 28.76/0.8287 29.07/0.8363 29.29/0.8407 Middlebury 32.66/0.9101 34.84/0.9489 34.85/0.9488 34.80/0.9482 33.15/0.9343 34.13/0.9421 34.41/0.9454 35.02/0.9508 27.60/0.7933 29.15/0.8383 29.15/0.8387 29.20/0.8381 27.70/0.8036 28.61/0.8232 28.76/0.8287 29.07/0.8363 29.29/0.8407 0.18
29.02/- 30.92/- 29.02/- 30.92/- 0.47
KITTI 2012 30.30/0.9089 30.96/0.9228 30.94/0.9227 31.02/0.9232 29.51/0.9073 30.81/0.9190 31.11/0.9240 31.23/0.9254 25.60/0.7722 26.35/0.8015 26.32/0.8014 26.44/0.8029 24.53/0.7555 26.34/0.7981 26.44/0.8018 26.56/0.8053 26.70/0.8082 KITTI 2012 30.30/0.9089 30.96/0.9228 30.94/0.9227 31.02/0.9232 29.51/0.9073 30.81/0.9190 31.11/0.9240 31.23/0.9254 25.60/0.7722 26.35/0.8015 26.32/0.8014 26.44/0.8029 24.53/0.7555 26.34/0.7981 26.44/0.8018 26.56/0.8053 26.70/0.8082 0.19
26.43/- 30.66/- 26.43/- 30.66/- 0.47
KITTI 2015 29.78/0.9150 30.73/0.9335 30.70/0.9330 30.77/0.9336 29.33/0.9168 30.60/0.9300 30.81/0.9340 30.90/0.9352 25.32/0.7703 26.04/0.8039 26.04/0.8043 26.22/0.8068 24.21/0.7511 26.08/0.8002 26.22/0.8054 26.32/0.8084 26.43/0.8118 KITTI 2015 29.78/0.9150 30.73/0.9335 30.70/0.9330 30.77/0.9336 29.33/0.9168 30.60/0.9300 30.81/0.9340 30.90/0.9352 25.32/0.7703 26.04/0.8039 26.04/0.8043 26.22/0.8068 24.21/0.7511 26.08/0.8002 26.22/0.8054 26.32/0.8084 26.43/0.8118 0.19
26.20/- 34.67/- 26.20/- 34.67/- 0.47
Middlebury 32.77/0.9102 34.95/0.9492 34.94/0.9491 34.90/0.9486 33.23/0.9348 34.23/0.9422 34.51/0.9454 35.09/0.9511 27.69/0.7941 29.23/0.8397 29.27/0.8404 29.30/0.8397 27.64/0.8022 28.72/0.8236 28.83/0.8290 29.16/0.8367 29.38/0.8411 Middlebury 32.77/0.9102 34.95/0.9492 34.94/0.9491 34.90/0.9486 33.23/0.9348 34.23/0.9422 34.51/0.9454 35.09/0.9511 27.69/0.7941 29.23/0.8397 29.27/0.8404 29.30/0.8397 27.64/0.8022 28.72/0.8236 28.83/0.8290 29.16/0.8367 29.38/0.8411 0.18
29.02/- -/- 29.02/- -/- 0.66
Flickr1024 25.60/0.8534 28.66/0.9087 28.64/0.9084 28.63/0.9082 25.96/0.8599 28.38/0.9038 28.60/0.9097 28.85/0.9132 22.46/0.6718 23.46/0.7285 23.47/0.7295 23.48/0.7286 21.70/0.6460 23.31/0.7195 23.27/0.7233 23.44/0.7287 23.59/0.7352 Flickr1024 25.60/0.8534 28.66/0.9087 28.64/0.9084 28.63/0.9082 25.96/0.8599 28.38/0.9038 28.60/0.9097 28.85/0.9132 22.46/0.6718 23.46/0.7285 23.47/0.7295 23.48/0.7286 21.70/0.6460 23.31/0.7195 23.27/0.7233 23.44/0.7287 23.59/0.7352 0.18
-/- Figure 5: Qualitative results (×2) on image “motorcycle” from Middlebury dataset. -/- 図5: middleburyデータセットの“motorcycle”画像上の質的結果(×2)。 0.86
Figure 6: Qualitative results (×4) on image “testing 2” from Flickr1024 dataset. 図6:Flickr1024データセットのイメージ“testing 2”の質的な結果(×4)。 0.85
4.2 Comparisons with SOTA Methods We compare SSRDE-FNet with several state-of-the-art methods, including four SISR methods(VDSR, EDSR, RDN, and RCAN) and five stereo image SR methods (i.e., StereoSR, PASSRnet, SRResNet+SAM, IMSSRnet, and iPASSR). 4.2 SOTA法との比較 SSRDE-FNetと4つのSISR法(VDSR, EDSR, RDN, RCAN)と5つのステレオ画像SR法(StereoSR, PASSRnet, SRResNet+SAM, IMSSRnet, iPASSR)を比較した。 0.79
Moreover, to achieve fair comparison with SISR methods, we retrained these methods on the same training datasets as our method. さらに、SISR法と公正に比較するために、本手法と同じトレーニングデータセット上でこれらの手法を再訓練した。 0.61
Quantitative Evaluations: In Table 1, we show the quantitative comparisons with these SR methods. 定量的評価:表1では,これらのSR法との比較を行った。 0.74
Among both SISR and stereo image SR methods, our FSSRHD-net achieves the best results on all SISR法とステレオ画像SR法の両方において、FSSRHD-netは、すべてで最良の結果が得られる。 0.66
datasets and upsampling factors (×2, ×4). データセットとアップサンプリングファクタ(×2, ×4)。 0.68
This fully demonstrates the effectiveness and advancement of the proposed SSRDE-FNet. これは提案したSSRDE-FNetの有効性と進歩を十分に示すものである。 0.53
Visual Comparison: In Figures 5 and 6, we show the visual comparisons on ×2 and ×4, respectively. 視覚的比較: 図5と図6では、それぞれ×2と×4の視覚的比較を示す。 0.80
According to the figure, we can clearly observe that most compared SR methods cannot recover clear and right image edges. この結果から,ほとんどの比較SR法では画像エッジの鮮明化が不可能であることがわかった。 0.62
In contrast, our SSRDE-FNet can reconstruct high-quality SR images with rich details and clear edges. 対照的に、我々のSSRDE-FNetは、リッチディテールとクリアエッジで高品質なSR画像を再構成することができる。 0.50
This further validates the effectiveness of our SSRDE-FNet. これにより、SSRDE-FNetの有効性がさらに検証される。 0.46
EDSRRDNRCANStereoSRP ASSRnetiPASSROurs32. 9532.9632.8730.2332. 5132.7733.4532.7132. 7132.6830.2132.4732. 7633.35LeftRightHRPS NR(dB):PSNR(dB):EDSR RDNRCANSRResNet+SAMPASSRnetiPASSROur sHR29.4429.4529.4828 .7528.8929.4529.73PS NR(dB):29.4729.5029. 4427.4828.9629.5530. 02PSNR(dB):RightLeft EDSRRDNRCANSTEReoSRP ASSRnetiPASSROurs32. 9532.9632.8730.2332. 5132.7733.4532.7132. 6830.2132.4732.7633. 35LeftRightHRPSNR(dB ):PSNR(dB):EDSRRDNRC ANSRResNet+SAMPASSRnetiPASSROur sHR29.4429.4829.7528 .8929.4529.73PSNR(dB ):29.4729.5029.4829. 4827.4828.5530.02PSN R(dB):RightLeftLeft 0.26
英語(論文から抽出)日本語訳スコア
Woodstock ’18, June 03–05, 2018, Woodstock, NY Woodstock ’18, June 03–05, 2018, Woodstock, NY 0.98
Qinyan Dai1 †, Juncheng Li1, Qiaosi Yi1, Faming Fang1 *, Guixu Zhang1 1School of Computer Science and Technology, East China Normal University, Shanghai, China †51194506008@stu.ecnu .edu.cn *fmfang@cs.ecnu.edu. cn Qinyan Dai1, Juncheng Li1, Qiaosi Yi1, Faming Fang1 *, Guixu Zhang1 1School of Computer Science and Technology, East China Normal University, Shanghai, China シュ51194506008@stu.ecnu .edu.cn *fmfang@cs.ecnu.edu. cn 0.81
Table 2: Ablation study on different settings of SSRDE-FNet on Middlebury. 表2:ミドルベリーにおけるSSRDE-FNetの異なる設定に関するアブレーション研究 0.64
The average PSNR and SSIM score of the SR left and right images are shown. SRと右の画像の平均PSNRとSSIMスコアを示す。 0.62
Method Disparity method HRDIF HFF PSNR/SSIM Up disp HR disp AHFF LRE 方法 HRDIF HFF PSNR/SSIM Up Disp HR disp AHFF LRE 0.76
baseline baseline + Up disp baseline + HR disp SSR-FNet SSRDE-FNet w/o LRE SSRDE-FNet (Ours) baseline baseline + Up disp baseline + HR disp SSRDE-FNet w/o LRE SSRDE-FNet (Ours) 0.89
✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ 0.85
✓ 29.16/0.8361 29.20/0.8370 29.27/0.8383 ✓ 29.27/0.8385 29.35/0.8407 29.38/0.8411 ✓ 29.16/0.8361 29.20/0.8370 29.27/0.8383 ✓ 29.27/0.8385 29.35/0.8407 29.38/0.8411 0.53
4.3 Ablation Study In order to verify the effectiveness of the proposed mutually boost strategies, we designed a series of ablation experiments. 4.3 アブレーション実験を行い,提案手法の有効性を検証するため,一連のアブレーション実験を考案した。
訳抜け防止モード: 4.3 アブレーション研究の順に 相互強化戦略の有効性を検証するためです 一連のアブレーション実験を設計しました
0.81
In addition, all ablation studies are conducted on the ×4 stereo image SR task. さらに、X4ステレオ画像SRタスクにおいて、全てのアブレーション研究を行う。 0.72
It is worth noting that the baseline model does not use the HR disparity estimation mechanism and the feedback strategy. ベースラインモデルでは,HR差分推定機構やフィードバック戦略を用いない点に注意が必要である。 0.77
This means that the baseline model has only one step of SR reconstruction, as shown in Figure2. これは、図2に示すように、ベースラインモデルはSR再構成の1ステップしか持たないことを意味する。 0.68
Effectiveness of HR disparity estimation boost SR 1)Effectiveness of the HR disparity estimation method. 人事異性度推定法の有効性 1)人事異性度推定法の効果 0.58
In order to verify that the feature aggregation by the HR disparity in HR space benefits the SR performance, we designed three models, including "baseline", "baseline+ Up disp", and "baseline + HR disp". HR空間におけるHR差分による特徴集約がSR性能に有効であることを示すため,我々は,「ベースライン」,「ベースライン+アップディスプ」,「ベースライン+HRディスプ」の3つのモデルを設計した。 0.79
Among them, "baseline+ Up disp" means that the high-resolution disparity directly achieved by the interpolation operation and "baseline+ HR disp" represents our proposed method. このうち「ベースライン+アップディップ」は補間操作によって直接達成される高分解能の格差を意味し、「ベースライン+HRディップ」は提案手法を表す。
訳抜け防止モード: 中でも「ベースライン+アップディスプ」は補間操作によって直接達成される高分解能差を意味する and "baseline+ HR disp" は提案したメソッドを表す。
0.75
Meanwhile, all of these three model are in purely feed-forward manner. 一方、これら3つのモデルはすべて、純粋にフィードフォワード方式だ。 0.72
The PSNR and SSIM results are presented in Table 2. PSNRとSSIMの結果はテーブル2に表示される。 0.86
According to these results, we can draw the following conclusions: (1). これらの結果から, (1) 以下の結論を導き出すことができる。 0.79
high-resolution disparity can effectively improve the quality of the reconstructed SR images; (2). 高分解能の差は、再構成されたsr画像の品質を効果的に改善することができる。 0.53
the more precise disparity can bring higher performance improvement; (3) the high-resolution disparity provided by our method enables the model to achieve the best results. より正確な相違は、より高い性能向上をもたらす可能性がある; (3) 提案手法によって提供される高分解能な相違により、モデルが最良の結果を達成することができる。
訳抜け防止モード: より正確な格差は より高い性能向上をもたらします (3)本手法により得られた高分解能差により,モデルが最良の結果が得られる。
0.74
2) Effectiveness of the HR disparity information feedback mechanism (HRDIF): To verify that the HR disparity truly contribute to stereo SR in the HRDIF mechanism, but not just the original feedback operation that plays a major role, we compare two models that both have the feedback operation. 2)HRdisparity information feedback mechanism (HRDIF):HRdisparityがHRDIFメカニズムのステレオSRに真に寄与することを検証するため,いずれもフィードバック操作を有する2つのモデルを比較した。
訳抜け防止モード: 2)HR差分情報フィードバック機構(HRDIF)の有効性 : HR差分がHRDIF機構のステレオSRに真に寄与することを検証する。 しかし重要な役割を担っているのは もともとのフィードバック操作だけではないのです どちらも フィードバック操作の 2つのモデルを比較します。
0.86
The variant removes the HR disparity estimation model, directly use the 𝐻𝑙 and 𝐻𝑟 as the high-level features to feedback. この変種はHR差分推定モデルを取り除き、フィードバックの上位機能としてHlとHrを直接使用する。 0.72
We name this variant as SSR-FNet (Stereo SR Feedback Network), which also means adding HR Feature Feedback (HFF) to the baseline. 我々はこの変種をSSR-FNet(Stereo SR Feedback Network)と呼び、ベースラインにHR Feature Feedback (HFF)を追加することを意味する。 0.84
The feedback manner in the variant is just concatenating the down-projected HR feature and the low-level features of the last iteration. 変種におけるフィードバックのやり方は、単に計画されたHR機能と、前回のイテレーションの低レベル機能とを結合するだけです。 0.53
Although noticeable improvement can be observed, the PSNR drops 0.11 dB as compared to our SSRDE-FNet. 顕著な改善が見られるが、PSNR は SSRDE-FNet と比較して 0.11 dB を減少させる。 0.62
The experiment indicates that our method does benefit from the HR disparity information feedback mechanism, instead of only rely on the power of the original feedback structure. 実験により,本手法は,従来のフィードバック構造にのみ依存するのではなく,HR不均一情報フィードバック機構の恩恵を受けることが示された。 0.74
Moreover, to verify the effectiveness of strategy of the low-level representations enhancement (LRE) in HRDIF, we remove this operation and directly concatenate 𝐿𝑡−1 𝑙 for the 𝑡𝑡ℎ iteration, a slight PSNR drop can be observed. さらに,HRDIFにおける低レベル表現強調(LRE)の戦略の有効性を検証するため,この操作を除去し,t次繰り返しにLt−1 lを直接結合する。 0.71
and 𝐿𝐵𝑡 𝑙 Table 3: The PSNR changing of intermediate SR outputs on Middlebury. およびLBt 𝑙 表3: ミドルベリーにおける中間SR出力のPSNR変更。 0.81
Iteration 1 Iteration 2 イテレーション1 イテレーション2 0.68
Step 1 29.16 ステップ1 29.16 0.74
Step 2 29.25 ステップ229.25 0.64
Step 1 29.32 ステップ1 29.32 0.75
Step 2 29.38 ステップ2 29.38 0.74
Middlebury Table 4: Average disparity EPE errors (lower is better) on KITTI 2012 and KITTI 2015 for 4× SR. Best results are shown in boldface. ミドルベリー 表4: KITTI 2012 と KITTI 2015 の 4× SR における平均格差 EPE エラー(より低い値)。
訳抜け防止モード: ミドルベリー 表4: 4× SR の KITTI 2012 と KITTI 2015 における平均格差 EPE 誤差(より低い値) 結果は太字で示される。
0.64
KITTI 2012 Noc All KITTI 2015 Noc All KITTI 2012 Noc All KITTI 2015 Noc All 0.85
Baseline disparity 6.72 7.81 5.71 6.38 ベースラインの格差 6.72 7.81 5.71 6.38 0.57
Estimated HR disparity 推定人事 disparity 0.72
3.90 5.12 3.52 4.28 3.90 5.12 3.52 4.28 0.45
PASSRnet [30] 11.33 12.29 9.36 9.91 PASSRnet [30] 11.33 12.29 9.36 9.91 0.72
iPASSR [32] 7.88 8.96 6.57 7.20 iPASSR [32] 7.88 8.96 6.57 7.20 0.62
Table 5: Disparity accuracy improvements across inference time on KITTI 2012 and KITTI 2015 dataset. 表5: KITTI 2012とKITTI 2015データセットにおける推論時間間の差異精度の改善。 0.83
KITTI 2012 KITTI 2012参加報告 0.55
KITTI 2015 kitti 2015 0.59
Noc ALL Noc ALL Noc ALL Noc ALL 0.85
Iteration 1 Iteration 2 イテレーション1 イテレーション2 0.68
Step 1 7.13 8.14 6.98 7.60 Step 1 7.13 8.14 6.98 7.60 0.55
Step 2 6.50 7.53 6.47 7.11 Step 2 6.50 7.53 6.47 7.11 0.55
Step 1 4.59 5.79 4.06 4.81 Step 1 4.59 5.79 4.06 4.81 0.55
Step 2 3.90 5.12 3.52 4.28 Step 2 3.90 5.12 3.52 4.28 0.55
Figure 7: Visualization result of the disparity map on KITTI 2015. 図7: KITTI 2015の格差マップの可視化結果。 0.75
3) SR performance improvements in a single inference: As mentioned, each iteration of SSRDE-FNet contains two SR reconstruction steps. 3) SSRDE-FNetの各イテレーションには2つのSR再構成ステップが含まれている。 0.64
In our experiments, we iterate the network twice (T=2) to balance the efficiency and performance. 実験では,ネットワークを2回(t=2)繰り返して効率と性能のバランスをとる。 0.84
We then compare the PSNR values of all intermediate SR images. 次に、すべての中間SR画像のPSNR値を比較する。 0.73
The results are shown in Table 3. 結果は表3に示されています。 0.76
Each intermediate result outperforms the former one, and the final result achieves a PSNR gain of 0.22dB over the first result. 各中間結果は前者よりも優れ、最終結果は、最初の結果よりも0.22dBのPSNRゲインを達成する。 0.68
This demonstrates that the HR disparity surely benefits the information flow across time. これは人事格差が時間を通して情報の流れに確実に利益をもたらすことを示す。 0.58
Effectiveness of SR boost disparity estimation 1) Comparison of disparity accuracy: We compare the estimated HR disparity and upsampled disparity of the baseline to the ground truth on the KITTI2012 and KITTI2015 datasets, shown in Table.4. SRの差分推定の有効性 1) 差分精度の比較: 表4に示すKITTI2012およびKITTI2015データセット上のベースラインのHR差分とアップサンプルの差分を比較した。 0.71
We also include the disparity regressed from two stereo SR methods for comparison, including PASSRnet and iPASSR. また,PASSRnet と iPASSR を含む2つのステレオSR法を比較対象として用いた。 0.74
The disparity maps estimated from LR stereo images are upsampled for fair evaluation. LRステレオ画像から推定した差分マップは、公正な評価のためにアップサンプリングされる。 0.60
Even using our baseline, our disparity EPE error is obviously lower than that of other state-of-the-art stereo SR methods. ベースラインを用いても、我々の不均一EPE誤差は他の最先端のステレオSR法よりも明らかに低い。 0.69
By interacting stereo SR task and disparity estimation task in our network, the final HR disparity become much more accurate as compared to the straightforward baseline, with about 2 ∼ 3 pixel EPE error drop. 我々のネットワークにおけるステレオSRタスクと不均一性推定タスクを相互作用させることで、最終的なHRの差は、通常のベースラインに比べてはるかに正確になり、約2 × 3 ピクセルの EPE 誤差が減少する。
訳抜け防止モード: 我々のネットワークにおけるステレオSRタスクと不均等推定タスクの相互作用による。 最後のHRの差は 単純な基準よりも はるかに正確になります 約2 × 3 ピクセル EPE エラードロップ。
0.76
A visualization disparity result is shown in Figure.7. 図7に可視化不一致結果を示す。 0.80
2) The disparity accuracy improvements within a single inference of SSRDE-FNet: To show the changing process of the disparity estimation accuracy, we calculate the EPE error on each intermediate disparity estimation in a single inference process of SSRDE-FNet. 2) SSRDE-FNetの1つの推論における分散度精度の改善: 差分推定精度の変化過程を示すために, SSRDE-FNetの1つの推論プロセスにおいて, 各中間差分推定におけるPE誤差を算出する。 0.79
英語(論文から抽出)日本語訳スコア
Feedback Network for Mutually Boosted Stereo Image Super-Resolution and Disparity Estimation 相互増強ステレオ画像の超解像化と差分推定のためのフィードバックネットワーク 0.66
Woodstock ’18, June 03–05, 2018, Woodstock, NY Woodstock ’18, June 03–05, 2018, Woodstock, NY 0.98
The mean EPE error change in KITTI 2012 and KITTI 2015 are shown in Tab. KITTI 2012 と KITTI 2015 の EPE エラーの平均値は Tab で示されている。 0.86
5. It can be observed that in each iteration, the estimated HR disparity (step2) has 0.5 ∼ 0.6 pixel EPE error drop compared to the coarse estimation (step1). 5. 各イテレーションにおいて、推定HR差分(ステップ2)は、粗い推定(ステップ1)と比較して0.5 × 0.6 ピクセル EPE 誤差ドロップを有する。 0.82
More obvious disparity accuracy improvements can be achieved after the HRDIF, since the low-level features are refined and lead to better disparity accuracy right from the LR space. 低レベルの特徴が洗練され、LR空間から精度が向上するので、HRDIF後により明らかな差分精度の改善が達成できる。 0.74
The results above demonstrate that both stereo SR and disparity estimation are improved along time. 以上の結果から,ステレオSRと不均質推定は時間とともに改善された。 0.64
5 CONCLUSION In this work, we propose to explore the mutually boosted property of stereo image super-resolution and high-resolution disparity estimation, and build a novel end-to-end deep learning framework, namely SSRDE-FNet. 5 ConCLUSION 本研究では,ステレオ画像の高分解能・高分解能差推定の相互強化特性について検討し,新しいエンドツーエンドディープラーニングフレームワーク,すなわちSSRDE-FNetを構築することを提案する。 0.75
Our model is essentially a feedback network with a proposed HR Disparity Information Feedback (HRDIF) mechanism. 我々のモデルは基本的にHRDIF(HR Disparity Information Feedback)機構を備えたフィードバックネットワークである。 0.83
By fully interacting the two tasks and making guidance to each other, we achieve to improve both tasks during a single inference. 2つのタスクを完全に対話し、互いに指導することで、1つの推論で両方のタスクを改善することができる。 0.64
Experiments have demonstrated our state-of-the-art stereo SR performance and the disparity estimation improvements. 現状のステレオsr性能と異質性評価の改善を実証した。 0.58
REFERENCES [1] A. Bhavsar and A. Rajagopalan. A. Bhavsar と A. Rajagopalan の略。 0.63
2010. Resolution Enhancement in Multi-Image Stereo. 2010. マルチイメージステレオの解像度向上 0.81
IEEE Transactions on Pattern Analysis and Machine Intelligence 32 (2010), 1721–1728. IEEE Transactions on Pattern Analysis and Machine Intelligence 32 (2010), 1721–1728。 0.85
[2] Rohan Chabra, J. Straub, C. Sweeney, Richard A. Newcombe, and H. Fuchs. ^ Rohan Chabra, J. Straub, C. Sweeney, Richard A. Newcombe, H. Fuchs 0.79
2019. StereoDRNet: Dilated Residual StereoNet. 2019. StereoDRNet: Dilated Residual StereoNet 0.76
2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2019), 11778–11787. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2019), 11778-11787。 0.93
[3] Jia-Ren Chang and Y. Chen. [3]Jia-Ren Chang、Y. Chen 0.83
2018. Pyramid Stereo Matching Network. 2018. ピラミッドステレオマッチングネットワーク。 0.75
2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (2018), 5410– 5418. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (2018), 5410–5418。 0.91
[4] Chao Dong, Chen Change Loy, Kaiming He, and X. Tang. [4]チャ・ドン、チェンはロイ、カイミング・ヒ、x・タンを交代する。 0.61
2014. Learning a Deep 2014. 深く学ぶこと 0.76
Convolutional Network for Image Super-Resolution. 画像超解像のための畳み込みネットワーク 0.61
In ECCV. [5] Andreas Geiger, Philip Lenz, and R. Urtasun. ECCV。 5]Andreas Geiger, Philip Lenz, R. Urtasun. 0.60
2012. Are we ready for autonomous driving? 2012. 自動運転の準備はできているか? 0.74
The KITTI vision benchmark suite. KITTIビジョンベンチマークスイート。 0.53
2012 IEEE Conference on Computer Vision and Pattern Recognition (2012), 3354–3361. 2012年IEEE Conference on Computer Vision and Pattern Recognition (2012), 3354–3361。 0.88
[6] X. Gu, Zhiwen Fan, Siyu Zhu, Zuozhuo Dai, Feitong Tan, and Ping Tan. [6]X.Gu、Zhiwen Fan、Siyu Zhu、Zuozhuo Dai、Feitong Tan、Ping Tan。 0.71
2020. Cascade Cost Volume for High-Resolution Multi-View Stereo and Stereo Matching. 2020. 高分解能マルチビューステレオおよびステレオマッチングのためのカスケードコストボリューム 0.82
2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2020), 2492–2501. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2020), 2492–2501。 0.93
[7] D. S. Jeon, Seung-Hwan Baek, Inchang Choi, and M. Kim. 7] d. s. jeon, seung-hwan baek, inchang choi, m. kim。 0.77
2018. Enhancing the Spatial Resolution of Stereo Images Using a Parallax Prior. 2018. parallax priorを用いたステレオ画像の空間分解能向上 0.74
2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (2018), 1721–1730. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (2018), 1721–1730。 0.96
[8] Alex Kendall, H. Martirosyan, S. Dasgupta, and Peter Henry. Alex Kendall氏、H. Martirosyan氏、S. Dasgupta氏、Peter Henry氏。 0.74
2017. End-toEnd Learning of Geometry and Context for Deep Stereo Regression. 2017. 深部ステレオ回帰のための幾何学と文脈のエンドツーエンド学習 0.73
2017 IEEE International Conference on Computer Vision (ICCV) (2017), 66–75. 2017 IEEE International Conference on Computer Vision (ICCV) (2017), 66-75。 0.84
[9] S. Khamis, S. Fanello, Christoph Rhemann, Adarsh Kowdle, Julien P. C. Valentin, and S. Izadi. 9] S. Khamis, S. Fanello, Christoph Rhemann, Adarsh Kowdle, Julien P. C. Valentin, S. Izadi。 0.90
2018. StereoNet: Guided Hierarchical Refinement for Real-Time Edge-Aware Depth Prediction. 2018. StereoNet: リアルタイムエッジ認識深度予測のための階層化ガイド 0.80
In ECCV. [10] Jiwon Kim, J. Lee, and Kyoung Mu Lee. ECCV。 [10]Jewon Kim、J. Lee、Kyoung Mu Lee。 0.63
2016. Accurate Image Super-Resolution Using Very Deep Convolutional Networks. 2016. 超深部畳み込みネットワークを用いた高精度画像超解法 0.75
2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2016), 1646–1654. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2016), 1646–1654。 0.86
[11] Diederik P. Kingma and Jimmy Ba. 11]ディーデリク・p・キングマとジミー・バ 0.52
2015. Adam: A Method for Stochastic Opti- 2015. Adam: 確率的オプティマイトのための方法 0.73
mization. CoRR abs/1412.6980 (2015). マネタイズ。 CoRR abs/1412.6980 (2015)。 0.54
[12] H. S. Lee and Kyoung Mu Lee. 12]H.S. LeeとKyoung Mu Lee。 0.87
2013. Simultaneous Super-Resolution of Depth and Images Using a Single Camera. 2013. 単一カメラによる深度と画像の同時高分解能化 0.73
2013 IEEE Conference on Computer Vision and Pattern Recognition (2013), 281–288. 2013年IEEE Conference on Computer Vision and Pattern Recognition (2013), 281-288。 0.89
[13] Jianjun Lei, Zhe Zhang, Xiaoting Fan, Yang Bolan, Li Xin-xin, Y. Chen, and Qingming Huang. [13]Jianjun Lei、Zhe Zhang、Xiaoting Fan、Yang Bolan、Li Xin-xin、Y. Chen、Qingming Huang。
訳抜け防止モード: [13 ]Jianjun Lei,Zhe Zhang,Xiaoting Fan, Yang Bolan, Li Xin - xin, Y. Chen, Qingming Huangもそうだ。
0.89
2020. Deep Stereoscopic Image Super-Resolution via Interaction Module. 2020. インタラクションモジュールによる深部立体画像の超解像 0.77
IEEE Transactions on Circuits and Systems for Video Technology (2020), 1–1. IEEE Transactions on Circuits and Systems for Video Technology (2020), 1-1。 0.84
[14] Ang Li and Zejian Yuan. [14]Ang LiとZejian Yuan。 0.73
2018. Occlusion Aware Stereo Matching via Cooperative 2018. 協調によるオクルージョン認識ステレオマッチング 0.74
Unsupervised Learning. In ACCV. 教師なしの学習。 ACCV所属。 0.59
[15] Juncheng Li, F. Fang, Kangfu Mei, and Guixu Zhang. [15]Juncheng Li、F.Fang、Kangfu Mei、Guixu Zhang。 0.66
2018. Multi-scale Residual 2018. マルチスケール残差 0.78
Network for Image Super-Resolution. 画像超解像のためのネットワーク 0.65
In ECCV. [16] Z. Li, J. Yang, Z. Liu, X. Yang, G. Jeon, and Wei Wu. ECCV。 [16]Z.Li、J. Yang、Z. Liu、X. Yang、G. Jeon、Wei Wu。 0.68
2019. Feedback Network for Image Super-Resolution. 2019. 画像超解像のためのフィードバックネットワーク 0.76
2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2019), 3862–3871. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2019), 3862–3871。 0.94
[17] Zhengfa Liang, Yiliu Feng, Yulan Guo, H. Liu, Wei Chen, Linbo Qiao, Li Zhou, and J. Zhang. [17]Zhengfa Liang、Yiliu Feng、Yulan Guo、H. Liu、Wei Chen、Linbo Qiao、Li Zhou、J. Zhang。 0.73
2018. Learning for Disparity Estimation Through Feature Constancy. 2018. 特徴量による異性度推定の学習 0.76
2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (2018), 2811–2820. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (2018), 2811–2820。 0.95
[18] Bee Lim, Sanghyun Son, Heewon Kim, Seungjun Nah, and Kyoung Mu Lee. [18]Bee Lim、Sanghyun Son、Heewon Kim、Seungjun Nah、Kyoung Mu Lee。 0.71
2017. Enhanced Deep Residual Networks for Single Image Super-Resolution. 2017. 単一画像超解像のための深部残像ネットワークの強化 0.75
2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW) (2017), 1132–1140. 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW) (2017), 1132–1140。 0.86
[19] W. Luo, Alexander G. Schwing, and R. Urtasun. W. Luo, Alexander G. Schwing, R. Urtasun. 0.66
2016. Efficient Deep Learning for Stereo Matching. 2016. ステレオマッチングのための効率的なディープラーニング 0.72
2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2016), 5695–5703. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2016), 5695–5703。 0.86
[20] N. Mayer, Eddy Ilg, Philip Häusser, P. Fischer, D. Cremers, A. Dosovitskiy, and T. Brox. N. Mayer氏、Eddy Ilg氏、Philip Häusser氏、P. Fischer氏、D. Cremers氏、A. Dosovitskiy氏、T. Brox氏。
訳抜け防止モード: He 20 ] N. Mayer, Eddy Ilg, Philip Häusser, P. Fischer、D. Cremers、A. Dosovitskiy、T. Brox。
0.86
2016. A Large Dataset to Train Convolutional Networks for Disparity, Optical Flow, and Scene Flow Estimation. 2016. 分散性、光流、シーンフロー推定のための畳み込みネットワークをトレーニングするための大きなデータセット。 0.77
2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2016), 4040–4048. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2016), 4040-4048。 0.82
[21] Moritz Menze and Andreas Geiger. 21] モリッツ・メンゼとアンドレアス・ガイガー 0.40
2015. Object scene flow for autonomous vehicles. 2015. 自動運転車のためのオブジェクトシーンフロー。 0.74
2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2015), 3061–3070. 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2015), 3061–3070。 0.86
[22] Guang-Yu Nie, Ming-Ming Cheng, Yun Liu, Zhengfa Liang, Deng-Ping Fan, Y. Liu, and Yongtian Wang. [22]広義寧、明明陳、雲龍、Zhengfa Liang、Deng-Ping Fan、Y. Liu、Yongtian Wang。
訳抜け防止モード: [22 ]広-英,明-明, Yun Liu, Zhengfa Liang, Deng - Ping Fan, Y. Liu そしてヨンチアン・ウォン。
0.79
2019. Multi-Level Context Ultra-Aggregation for Stereo Matching. 2019. ステレオマッチングのためのマルチレベルコンテキスト・ウルトラアグリゲーション 0.72
2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2019), 3278–3286. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2019), 3278–3286。 0.94
[23] Haesol Park, Kyoung Mu Lee, and S. Lee. [23]Haesol Park、Kyoung Mu Lee、S. Lee。 0.77
2012. Combining multi-view stereo and super resolution in a unified framework. 2012. 統合フレームワークにおけるマルチビューステレオとスーパーレゾリューションの組み合わせ 0.79
Proceedings of The 2012 Asia Pacific Signal and Information Processing Association Annual Summit and Conference (2012), 1–4. 2012年アジア太平洋信号・情報処理協会年次サミット・アンド・カンファレンス(2012年)、1-4。 0.71
[24] Andrea Pilzer, Stéphane Lathuilière, D. Xu, Mihai Marian Puscas, E. Ricci, and N. Sebe. [24]Andrea Pilzer, Stéphane Lathuilière, D. Xu, Mihai Marian Puscas, E. Ricci, N. Sebe。 0.88
2020. Progressive Fusion for Unsupervised Binocular Depth Estimation Using Cycled Networks. 2020. 周期的ネットワークを用いた無監督両眼深度推定のためのプログレッシブフュージョン 0.73
IEEE Transactions on Pattern Analysis and Machine Intelligence 42 (2020), 2380–2395. IEEE Transactions on Pattern Analysis and Machine Intelligence 42 (2020), 2380–2395。 0.86
[25] D. Scharstein and R. Szeliski. 25] d. シャースタインと r. szeliski 0.69
2004. A Taxonomy and Evaluation of Dense TwoFrame Stereo Correspondence Algorithms. 2004. 高密度2フレームステレオ対応アルゴリズムの分類と評価 0.74
International Journal of Computer Vision 47 (2004), 7–42. International Journal of Computer Vision 47 (2004), 7–42。 0.87
[26] O. Sener and V. Koltun. [26]O. SenerとV. Koltun。 0.85
2018. Multi-Task Learning as Multi-Objective Optimiza- 2018. 多目的オプティミザとしてのマルチタスク学習 0.70
tion. In NeurIPS. ティメント NeurIPSに登場。 0.51
[27] Wonil Song, S. Choi, Somi Jeong, and K. Sohn. [27]Wonil Song, S. Choi, Somi Jeong, K. Sohn 0.73
2020. Stereoscopic Image Super- 2020. 立体画像スーパー- 0.80
Resolution with Stereo Consistent Feature. Stereo Consistent Feature による解決 0.72
In AAAI. [28] T. Tong, Gen Li, Xiejie Liu, and Qinquan Gao. AAAI所属。 [28] t. tong, gen li, xiejie liu, qinquan gao。 0.61
2017. Image Super-Resolution Using Dense Skip Connections. 2017. Dense Skip Connection を用いた画像超解像 0.76
2017 IEEE International Conference on Computer Vision (ICCV) (2017), 4809–4817. 2017 IEEE International Conference on Computer Vision (ICCV) (2017), 4809–4817。 0.87
[29] Longguang Wang, Yulan Guo, Yingqian Wang, Zhengfa Liang, Zaiping Lin, Jungang Yang, and Wei An. [29]長広王、元広王、永昌王、陳華王、済平林、張陽、周安。
訳抜け防止モード: [29 ]長広王、元広王、永昌王、 Zhengfa Liang, Zaiping Lin, Jungang Yang, Wei An
0.69
2020. Parallax Attention for Unsupervised Stereo Correspondence Learning. 2020. 教師なしステレオ対応学習におけるパララックス注意 0.71
IEEE transactions on pattern analysis and machine intelligence PP (2020). IEEEによるパターン解析とマシンインテリジェンスPP(2020)のトランザクション。 0.84
[30] Longguang Wang, Yingqian Wang, Zhengfa Liang, Zaiping Lin, J. Yang, Wei An, and Yulan Guo. [30] 長広王、寧清王、張太梁、在平林、j.yang、weian、yulan guo
訳抜け防止モード: [30 ]長広王、永昌王、陳華羅王、 Zaiping Lin, J. Yang, Wei An, Yulan Guo
0.71
2019. Learning Parallax Attention for Stereo Image SuperResolution. 2019. ステレオ画像の超解像に対するパララックスの学習 0.72
2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2019), 12242–12251. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2019), 12242–12251。 0.94
[31] Yingqian Wang, Longguang Wang, Jungang Yang, Wei An, and Yulan Guo. [31]yingqian Wang、Longguang Wang、Jungang Yang、Wei An、Yulan Guo。 0.58
2019. Flickr1024: A Large-Scale Dataset for Stereo Image Super-Resolution. 2019. Flickr1024: ステレオ画像の超解像のための大規模データセット。 0.71
2019 IEEE/CVF International Conference on Computer Vision Workshop (ICCVW) (2019), 3852–3857. 2019 IEEE/CVF International Conference on Computer Vision Workshop (ICCVW) (2019), 3852-3857。 0.93
[32] Yingqian Wang, Xinyi Ying, Longguang Wang, Jungang Yang, Wei An, and Yulan Guo. [32]yingqian Wang、Xinyi Ying、Longguang Wang、Jungang Yang、Wei An、Yulan Guo。 0.59
2020. Symmetric Parallax Attention for Stereo Image Super-Resolution. 2020. ステレオ画像超解像のための対称パララックスアテンション 0.71
ArXiv abs/2011.03802 (2020). arxiv abs/2011.03802 (2020) 0.72
[33] H. Xu and J. Zhang. [33]H.XuとJ.Zhang。 0.75
2020. AANet: Adaptive Aggregation Network for Efficient Stereo Matching. 2020. AANet: 効率的なステレオマッチングのための適応集約ネットワーク。 0.80
2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2020), 1956–1965. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2020), 1956–1965 0.92
[34] Qingyu Xu, Longguang Wang, Yingqian Wang, Weidong Sheng, and Xinpu Deng. [34]清厳、長広王、永昌王、平宗、新府徳。 0.45
2021. Deep Bilateral Learning for Stereo Image Super-Resolution. 2021. ステレオ画像超解像のための深部バイラテラル学習 0.75
IEEE Signal Processing Letters 28 (2021), 613–617. IEEE Signal Processing Letters 28 (2021), 613-617。 0.83
[35] Bo Yan, Chenxi Ma, Bahetiyaer Bare, Weimin Tan, and S. Hoi. [35]Bo Yan, Chenxi Ma, Bahetiyaer Bare, Weimin Tan, S. Hoi 0.73
2020. DisparityAware Domain Adaptation in Stereo Image Restoration. 2020. ステレオ画像復元における不均質領域適応 0.75
2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2020), 13176–13184. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2020), 13176–13184。 0.93
[36] Guorun Yang, Hengshuang Zhao, J. Shi, Z. Deng, and J. Jia. [36]広雲陽、広州周、J. Shi、Z. Deng、J. Jia。 0.68
2018. SegStereo: 2018. SegStereo 0.66
Exploiting Semantic Information for Disparity Estimation. 異質度推定のための意味情報の抽出 0.58
In ECCV. [37] Xinyi Ying, Yingqian Wang, Longguang Wang, Weidong Sheng, Wei An, and Yulan Guo. ECCV。 [37]新yy Ying、Yingqian Wang、Longguang Wang、Weidong Sheng、Wei An、Yulan Guo。 0.55
2020. A Stereo Attention Module for Stereo Image Super-Resolution. 2020. ステレオ画像超解像のためのステレオアテンションモジュール 0.76
IEEE Signal Processing Letters 27 (2020), 496–500. IEEE Signal Processing Letters 27 (2020), 496-500。 0.85
[38] F. Zhang, V. Prisacariu, Ruigang Yang, and P. Torr. F. Zhang, V. Prisacariu, Ruigang Yang, P. Torr. 0.67
2019. GA-Net: Guided Aggregation Net for End-To-End Stereo Matching. 2019. GA-Net: エンドツーエンドステレオマッチングのためのガイドアグリゲーションネット。 0.77
2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2019), 185–194. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2019), 185–194。 0.95
[39] Yulun Zhang, Yapeng Tian, Yu Kong, B. Zhong, and Yun Fu. [39]Yulun Zhang、Yapeng Tian、Yu Kong、B. Zhong、Yun Fu。 0.70
2018. Residual Dense Network for Image Super-Resolution. 2018. 画像超解像のための残留密度ネットワーク 0.74
2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (2018), 2472–2481. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (2018), 2472–2481。 0.94
[40] Chao Zhou, H. Zhang, Xiaoyong Shen, and J. Jia. [40]Chao Zhou、H. Zhang、Xiaoyong Shen、J. Jia。 0.76
2017. Unsupervised Learning of Stereo Matching. 2017. ステレオマッチングの教師なし学習。 0.73
2017 IEEE International Conference on Computer Vision (ICCV) (2017), 1576–1584. 2017 IEEE International Conference on Computer Vision (ICCV) (2017), 1576–1584。 0.87
                   ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。