論文の概要: Blind Augmentation: Calibration-free Camera Distortion Model Estimation for Real-time Mixed-reality Consistency

• arxiv url: http://arxiv.org/abs/2503.01387v1
• Date: Mon, 03 Mar 2025 10:30:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:13:51.788035
• Title: Blind Augmentation: Calibration-free Camera Distortion Model Estimation for Real-time Mixed-reality Consistency
• Title（参考訳）: Blind Augmentation:リアルタイム混合現実性一貫性のためのキャリブレーションフリーカメラ歪みモデル推定
• Authors: Siddhant Prakash, David R. Walton, Rafael K. dos Anjos, Anthony Steed, Tobias Ritschel,
• Abstract要約: 実写カメラの映像はノイズ、動きのぼかし(MB)、奥行き(DoF) 仮想コンテンツをライブビデオフィードに構成した拡張現実アプリケーションでは、ノイズ、MB、DoFをモデル化して、仮想コンテンツをビデオと視覚的に整合させることができる。 本稿では,音,MB,DoFのパラメータを瞬時に推定する手法を提案する。
• 参考スコア（独自算出の注目度）: 14.291397442816002
• License:
• Abstract: Real camera footage is subject to noise, motion blur (MB) and depth of field (DoF). In some applications these might be considered distortions to be removed, but in others it is important to model them because it would be ineffective, or interfere with an aesthetic choice, to simply remove them. In augmented reality applications where virtual content is composed into a live video feed, we can model noise, MB and DoF to make the virtual content visually consistent with the video. Existing methods for this typically suffer two main limitations. First, they require a camera calibration step to relate a known calibration target to the specific cameras response. Second, existing work require methods that can be (differentiably) tuned to the calibration, such as slow and specialized neural networks. We propose a method which estimates parameters for noise, MB and DoF instantly, which allows using off-the-shelf real-time simulation methods from e.g., a game engine in compositing augmented content. Our main idea is to unlock both features by showing how to use modern computer vision methods that can remove noise, MB and DoF from the video stream, essentially providing self-calibration. This allows to auto-tune any black-box real-time noise+MB+DoF method to deliver fast and high-fidelity augmentation consistency.
• Abstract（参考訳）: 実際のカメラ映像は、ノイズ、動きのぼかし(MB)、奥行き(DoF)の影響を受ける。 あるアプリケーションでは、これらは取り除くための歪みと見なされるかもしれないが、あるアプリケーションでは、単に取り除くために、それを非効率にするか、美的な選択に干渉するため、モデル化することが重要である。 仮想コンテンツをライブビデオフィードに構成した拡張現実アプリケーションでは、ノイズ、MB、DoFをモデル化して、仮想コンテンツをビデオと視覚的に整合させることができる。 既存の方法には2つの大きな制限がある。 まず、既知のキャリブレーションターゲットと特定のカメラ応答を関連付けるために、カメラキャリブレーションステップが必要である。 第二に、既存の研究は、遅くて特殊なニューラルネットワークなど、キャリブレーションに合わせて(異なる)調整できる方法を必要とする。 本稿では,拡張コンテンツを合成するゲームエンジンであるegから,市販のリアルタイムシミュレーション手法を用いることで,ノイズ,MB,DoFのパラメータを瞬時に推定する手法を提案する。 私たちの基本的なアイデアは、ビデオストリームからノイズやMB、DoFを取り除き、本質的に自己校正を提供する、モダンなコンピュータビジョンメソッドの使い方を示すことで、両方の機能をアンロックすることにあります。 これにより、ブラックボックスのリアルタイムノイズ+MB+DoFメソッドを自動的にチューニングして、高速かつ高忠実な拡張一貫性を実現することができる。

関連論文リスト

• Go-with-the-Flow: Motion-Controllable Video Diffusion Models Using Real-Time Warped Noise [19.422355461775343]
  本研究では,構造付き潜時雑音サンプリングによる動画拡散モデルの構築を行う。 本稿では,ランダムな時空間のガウス性と相関した雑音を置き換え,リアルタイムに動作可能な新しいノイズワープアルゴリズムを提案する。 提案アルゴリズムの効率性により,ワープノイズを最小限のオーバーヘッドで使用することで,最新の映像拡散ベースモデルを微調整することができる。
  論文  参考訳（メタデータ） (2025-01-14T18:59:10Z)
• Modeling Dual-Exposure Quad-Bayer Patterns for Joint Denoising and Deblurring [22.82877719326985]
  単一イメージのソリューションは、ノイズ低減と動きのぼかしの間に固有のトレードオフに直面している。 本稿では,新しい2重露光型Qad-Bayerパターンセンサを利用した物理モデルに基づく画像復元手法を提案する。 QRNetと呼ばれる階層型畳み込みニューラルネットワークを設計し、高品質なRGB画像を復元する。
  論文  参考訳（メタデータ） (2024-12-10T07:35:26Z)
• Buffer Anytime: Zero-Shot Video Depth and Normal from Image Priors [54.8852848659663]
  Buffer Anytimeは、ビデオから深さと正規マップ(幾何バッファと呼ばれる)を推定するためのフレームワークです。 時間的整合性制約を持つ単一画像の先行値を活用することによって,高品質なビデオバッファ推定を実証する。
  論文  参考訳（メタデータ） (2024-11-26T09:28:32Z)
• Domain-adaptive Video Deblurring via Test-time Blurring [43.40607572991409]
  未確認領域におけるデブロアリングモデルに対するテスト時間微調整を実現するために, ぼかしモデルに基づくドメイン適応方式を提案する。 そこで本手法では, 対象領域の劣化モデルを校正するために, ドメイン適応型トレーニングペアを生成することができる。 提案手法は,最先端の映像復号化手法を大幅に改善し,実世界の映像復号化データセットに対して最大7.54dBの性能向上を実現する。
  論文  参考訳（メタデータ） (2024-07-12T07:28:01Z)
• Motion-adaptive Separable Collaborative Filters for Blind Motion Deblurring [71.60457491155451]
  様々な動きによって生じる画像のぼかしを除去することは、難しい問題である。 本研究では,動き適応型分離型協調フィルタと呼ばれる実世界のデブロアリングフィルタモデルを提案する。 本手法は,実世界の動きのぼかし除去に有効な解法を提供し,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-04-19T19:44:24Z)
• Make Explicit Calibration Implicit: Calibrate Denoiser Instead of the Noise Model [83.9497193551511]
  デジタルゲインやカメラセンサーによらず有効であるLED(Lighting Every Darkness)を導入する。 LEDは明示的なノイズモデルのキャリブレーションの必要性を排除し、高速な展開と最小限のデータを必要とする暗黙の微調整プロセスを活用する。 LEDは、センサー工学の利点を生かしながら、ディープラーニングの進歩にもっと注力することを可能にする。
  論文  参考訳（メタデータ） (2023-08-07T10:09:11Z)
• AirPose: Multi-View Fusion Network for Aerial 3D Human Pose and Shape Estimation [51.17610485589701]
  本研究では,非構造屋外環境のための新しいマーカーレス3次元モーションキャプチャ(MoCap)システムを提案する。 AirPoseは複数の無人飛行カメラで撮影された画像を使って人間のポーズと形状を推定する。 AirPose自体は、事前校正に頼らずに、人のカメラを校正する。
  論文  参考訳（メタデータ） (2022-01-20T09:46:20Z)
• Self-Supervised Camera Self-Calibration from Video [34.35533943247917]
  汎用カメラモデルの効率的なファミリーを用いてシーケンスごとのキャリブレーションパラメータを回帰する学習アルゴリズムを提案する。 提案手法は,サブピクセル再投射誤差による自己校正を行い,他の学習手法よりも優れる。
  論文  参考訳（メタデータ） (2021-12-06T19:42:05Z)
• IR Motion Deblurring [34.584541842225306]
  カメラジンバルシステムは、ナビゲーション、目標追跡、セキュリティ、監視など、様々な航空や水上システムにおいて重要である。 所定視野(FOV)を短時間で再検討できるため、ジンバルのより高い操舵速度(回転角)がリアルタイムアプリケーションに好ましい。 露出時間におけるジンバルとシーン間の相対的な動きにより、キャプチャされたビデオフレームは動きのぼけに悩まされる。 動きを損なう深層学習法は速いが、異なる領域に満足できる一般化はしない。
  論文  参考訳（メタデータ） (2021-11-23T09:12:48Z)
• Self-Calibrating Neural Radiance Fields [68.64327335620708]
  キャリブレーション対象のないシーンの幾何学と正確なカメラパラメータを共同で学習する。 我々のカメラモデルは、ピンホールモデル、第4次ラジアル歪み、および任意の非線形カメラ歪みを学習可能な汎用ノイズモデルで構成されている。
  論文  参考訳（メタデータ） (2021-08-31T13:34:28Z)
• Single Image Brightening via Multi-Scale Exposure Fusion with Hybrid Learning [48.890709236564945]
  小さいISOと小さな露光時間は、通常、背面または低い光条件下で画像をキャプチャするために使用される。 本稿では、そのような画像を明るくするために、単一の画像輝度化アルゴリズムを提案する。 提案アルゴリズムは,露出時間が大きい2つの仮想画像を生成するための,ユニークなハイブリッド学習フレームワークを含む。
  論文  参考訳（メタデータ） (2020-07-04T08:23:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。