論文の概要: ReWiTe: Realistic Wide-angle and Telephoto Dual Camera Fusion Dataset via Beam Splitter Camera Rig
- arxiv url: http://arxiv.org/abs/2404.10584v2
- Date: Tue, 30 Apr 2024 03:59:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-01 18:49:14.821473
- Title: ReWiTe: Realistic Wide-angle and Telephoto Dual Camera Fusion Dataset via Beam Splitter Camera Rig
- Title（参考訳）: ReWiTe:ビームスプリッタ・カメラ・リグによる広角・望遠デュアルカメラフュージョンデータセット
- Authors: Chunli Peng, Xuan Dong, Tiantian Cao, Zhengqing Li, Kun Dong, Weixin Li,
- Abstract要約: 本稿では,ビームスプリッタを用いた新しいハードウェア構成を導入し,入力対と接地トラス画像の3つの画像を同時にキャプチャする。
新たに導入したデータセットであるReWiTeの有効性を検証する実験を行った。
- 参考スコア（独自算出の注目度）: 6.532271094305152
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The fusion of images from dual camera systems featuring a wide-angle and a telephoto camera has become a hotspot problem recently. By integrating simultaneously captured wide-angle and telephoto images from these systems, the resulting fused image achieves a wide field of view (FOV) coupled with high-definition quality. Existing approaches are mostly deep learning methods, and predominantly rely on supervised learning, where the training dataset plays a pivotal role. However, current datasets typically adopt a data synthesis approach generate input pairs of wide-angle and telephoto images alongside ground-truth images. Notably, the wide-angle inputs are synthesized rather than captured using real wide-angle cameras, and the ground-truth image is captured by wide-angle camera whose quality is substantially lower than that of input telephoto images captured by telephoto cameras. To address these limitations, we introduce a novel hardware setup utilizing a beam splitter to simultaneously capture three images, i.e. input pairs and ground-truth images, from two authentic cellphones equipped with wide-angle and telephoto dual cameras. Specifically, the wide-angle and telephoto images captured by cellphone 2 serve as the input pair, while the telephoto image captured by cellphone 1, which is calibrated to match the optical path of the wide-angle image from cellphone 2, serves as the ground-truth image, maintaining quality on par with the input telephoto image. Experiments validate the efficacy of our newly introduced dataset, named ReWiTe, significantly enhances the performance of various existing methods for real-world wide-angle and telephoto dual image fusion tasks.
- Abstract（参考訳）: 近年,広角カメラと望遠カメラを備えたデュアルカメラシステムからの画像の融合がホットスポット問題となっている。
これらのシステムから取得した広角画像と望遠画像を同時に統合することにより、融合した画像は高画質の視野(FOV)を実現する。
既存のアプローチは主にディープラーニングの手法であり、主にトレーニングデータセットが重要な役割を果たす教師付き学習に依存しています。
しかし、現在のデータセットは典型的にはデータ合成アプローチを採用しており、接地構造画像とともに広角画像と望遠画像の入力対を生成する。
特に、実際の広角カメラで撮影するよりも広角入力を合成し、望遠カメラで撮影する入力望遠画像よりも画質がかなり低い広角カメラで地平線画像をキャプチャする。
これらの制約に対処するために,広角・望遠デュアルカメラを備えた2台の携帯電話から入力対と接地トラス画像の3つの画像を同時にキャプチャするビームスプリッタを用いた新しいハードウェア構成を導入する。
具体的には、携帯電話2が捉えた広角・望遠画像が入力対として機能し、携帯電話1が捉えた望遠画像は、携帯電話2からの広角画像の光路に合わせて校正され、入力された望遠画像と同等の画質を維持した地上画像として機能する。
ReWiTeと呼ばれる新しいデータセットの有効性を検証する実験により、実世界の広角・望遠両画像融合タスクにおける様々な既存手法の性能を大幅に向上する。
関連論文リスト
- Self-Supervised Learning for Real-World Super-Resolution from Dual and Multiple Zoomed Observations [61.448005005426666]
スマートフォン用レファレンスベーススーパーレゾリューション(RefSR)における2つの課題について考察する。
本稿では,デュアルカメラとマルチカメラのズームで観測した実世界のRefSRに対して,新たな自己教師型学習手法を提案する。
論文 参考訳（メタデータ） (2024-05-03T15:20:30Z) - Spatial-frequency Dual-Domain Feature Fusion Network for Low-Light Remote Sensing Image Enhancement [49.15531684596958]
低照度リモートセンシング画像強調のためのDFFN(Dual-Domain Feature Fusion Network)を提案する。
第1フェーズは振幅情報を学習して画像輝度を復元し、第2フェーズは位相情報を学習して詳細を洗練させる。
我々は、現在の暗光リモートセンシング画像強調におけるデータセットの欠如に対応するために、2つの暗光リモートセンシングデータセットを構築した。
論文 参考訳（メタデータ） (2024-04-26T13:21:31Z) - Efficient Hybrid Zoom using Camera Fusion on Mobile Phones [26.7287264520133]
モバイルデバイス上でのハイブリットズーム超解像システムを提案する。
モバイルプラットフォーム上で500msで12メガピクセル画像を生成する。
論文 参考訳（メタデータ） (2024-01-02T23:28:20Z) - Deep Hybrid Camera Deblurring for Smartphone Cameras [18.053081461607544]
スマートフォンのための学習型デブロアリングフレームワークを提案する。
我々は、長時間露光した広視野画像と短露光した超広視野画像をキャプチャし、そのバースト画像を用いて広視野像を損なう。
実験により, HCDeblurは最先端の劣化品質を達成できることが示された。
論文 参考訳（メタデータ） (2023-12-20T11:02:59Z) - Long-term Visual Localization with Mobile Sensors [30.839849072256435]
そこで本稿では,GPS,コンパス,重力センサなどの携帯端末にセンサを追加することで,この課題を解決することを提案する。
また,最初のポーズで直接2D-3Dマッチングネットワークを考案し,効率的に2D-3D対応を確立できる。
提案手法といくつかの最先端ベースラインをベンチマークし,提案手法の有効性を実証する。
論文 参考訳（メタデータ） (2023-04-16T04:35:10Z) - Dual Adversarial Adaptation for Cross-Device Real-World Image
Super-Resolution [114.26933742226115]
異なるデバイスからの画像に基づいて訓練された超高解像度(SR)モデルは、異なる画像パターンを示す可能性がある。
本稿では、DADA(Dual Adversarial Adaptation)という、実世界のSRのための教師なしドメイン適応機構を提案する。
3台のカメラで6台のリアル・トゥ・リアル・アダプティブ・セッティングで実験を行い、既存の最先端のアプローチと比較して優れた性能を実現した。
論文 参考訳（メタデータ） (2022-05-07T02:55:39Z) - MEFNet: Multi-scale Event Fusion Network for Motion Deblurring [62.60878284671317]
従来のフレームベースのカメラは、長時間露光のために必然的に動きがぼやけている。
バイオインスパイアされたカメラの一種として、イベントカメラは、高時間分解能で非同期な方法で強度変化を記録する。
本稿では,イベントベースの画像劣化問題を再考し,これをエンドツーエンドの2段階画像復元ネットワークに展開する。
論文 参考訳（メタデータ） (2021-11-30T23:18:35Z) - Dual-Camera Super-Resolution with Aligned Attention Modules [56.54073689003269]
デュアルカメラ・スーパーレゾリューション(DCSR)に着目したレファレンスベース・スーパーレゾリューション(RefSR)への新しいアプローチを提案する。
提案手法は,空間アライメント操作と標準パッチベースの特徴マッチングを一般化する。
実世界の画像とトレーニング画像の領域ギャップを埋めるために,自己監督型領域適応戦略を提案する。
論文 参考訳（メタデータ） (2021-09-03T07:17:31Z) - From two rolling shutters to one global shutter [57.431998188805665]
我々は、ローリングシャッターの歪みを解き放つことができる驚くほどシンプルなカメラ構成を探索する。
このようなセットアップは簡単で安価であり、ローリングシャッター歪みを修正するのに必要な幾何学的制約を持っている。
一般および特殊運動の基底となる幾何学を記述した方程式を導出し、それらの解を見つけるための効率的な方法を提案する。
論文 参考訳（メタデータ） (2020-06-02T22:18:43Z) - Du$^2$Net: Learning Depth Estimation from Dual-Cameras and Dual-Pixels [16.797169907541164]
本稿では,デュアルカメラのステレオとデュアルピクセルセンサのステレオを組み合わせた深度推定のためのニューラルネットワークに基づく新しいアプローチを提案する。
我々のネットワークは、2つの情報ソースを融合するために新しいアーキテクチャを使用し、純粋な双眼鏡ステレオマッチングの限界を克服することができる。
論文 参考訳（メタデータ） (2020-03-31T15:39:43Z) - Dual-Triplet Metric Learning for Unsupervised Domain Adaptation in
Video-Based Face Recognition [8.220945563455848]
新しいビデオカメラでキャプチャしたラベルのないトラックレットを用いて、シームズネットワークのCNN埋め込みに適応する新しいディープドメイン適応(DA)法を提案する。
提案手法は,異なるトレーニングシナリオ下での深層シームズネットワークのトレーニングに使用される。
論文 参考訳（メタデータ） (2020-02-11T05:06:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。