論文の概要: Training and Predicting Visual Error for Real-Time Applications

• arxiv url: http://arxiv.org/abs/2310.09125v1
• Date: Fri, 13 Oct 2023 14:14:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-16 12:49:43.367471
• Title: Training and Predicting Visual Error for Real-Time Applications
• Title（参考訳）: リアルタイムアプリケーションのためのトレーニングとビジュアルエラー予測
• Authors: Jo\~ao Lib\'orio Cardoso, Bernhard Kerbl, Lei Yang, Yury Uralsky, Michael Wimmer
• Abstract要約: コンボリューションニューラルネットワークが参照または描画画像を必要とすることなく、様々な視覚メトリクスを予測する能力について検討する。 我々のソリューションは、ほとんどの最先端の遅延シェーディングパイプラインで容易に利用できる画像空間情報と、以前のフレームからの再投影を組み合わせることで、視覚的エラーを適切に見積もることができる。
• 参考スコア（独自算出の注目度）: 6.687091041822445
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Visual error metrics play a fundamental role in the quantification of perceived image similarity. Most recently, use cases for them in real-time applications have emerged, such as content-adaptive shading and shading reuse to increase performance and improve efficiency. A wide range of different metrics has been established, with the most sophisticated being capable of capturing the perceptual characteristics of the human visual system. However, their complexity, computational expense, and reliance on reference images to compare against prevent their generalized use in real-time, restricting such applications to using only the simplest available metrics. In this work, we explore the abilities of convolutional neural networks to predict a variety of visual metrics without requiring either reference or rendered images. Specifically, we train and deploy a neural network to estimate the visual error resulting from reusing shading or using reduced shading rates. The resulting models account for 70%-90% of the variance while achieving up to an order of magnitude faster computation times. Our solution combines image-space information that is readily available in most state-of-the-art deferred shading pipelines with reprojection from previous frames to enable an adequate estimate of visual errors, even in previously unseen regions. We describe a suitable convolutional network architecture and considerations for data preparation for training. We demonstrate the capability of our network to predict complex error metrics at interactive rates in a real-time application that implements content-adaptive shading in a deferred pipeline. Depending on the portion of unseen image regions, our approach can achieve up to $2\times$ performance compared to state-of-the-art methods.
• Abstract（参考訳）: 視覚誤差メトリクスは、知覚された画像の類似性の定量化において基本的な役割を果たす。 最近では、コンテンツ適応型シェーディングやシェーディング再利用といったリアルタイムアプリケーションでのユースケースが登場し、パフォーマンス向上と効率向上が図られている。 様々な測定基準が確立され、最も洗練されたものは人間の視覚システムの知覚特性を捉えることができる。 しかし、それらの複雑さ、計算費用、参照画像への依存により、リアルタイムに一般化された使用を防ぎ、最も単純なメトリクスのみを使用するように制限されている。 本研究では,参照や描画を必要とせずに,様々な視覚的メトリクスを予測する畳み込みニューラルネットワークの能力について検討する。 具体的には、シェーディングの再利用やシェーディングレートの低減によって生じる視覚エラーを推定するために、ニューラルネットワークをトレーニングしてデプロイする。 その結果得られたモデルは分散の70%から90%を占め、計算時間は最大で1桁速くなった。 今回のソリューションでは,最先端の遅延シェーディングパイプラインで容易に使用可能な画像空間情報と,以前のフレームからの再投影を組み合わせることで,これまで見つからなかった領域においても,視覚エラーの適切な推定を可能にする。 本稿では、適切な畳み込みネットワークアーキテクチャとトレーニングのためのデータ準備の検討について述べる。 我々は,遅延パイプラインでコンテンツ適応シェーディングを実装したリアルタイムアプリケーションにおいて,複雑なエラーメトリックをインタラクティブレートで予測するネットワークの能力を示す。 画像領域の未確認部分によって、我々の手法は最先端の手法と比較して最大2ドル以上の性能を達成できる。

関連論文リスト

• Relearning Forgotten Knowledge: on Forgetting, Overfit and Training-Free Ensembles of DNNs [9.010643838773477]
  本稿では,検証データ上での深層モデルの忘れ度をモニタする,過剰適合度定量化のための新しいスコアを提案する。 オーバーフィットは検証精度を低下させることなく発生しうることを示し,従来よりも一般的である可能性が示唆された。 我々は,1つのネットワークのトレーニング履歴のみに基づいて,新たなアンサンブル法を構築するために,我々の観測結果を用いて,トレーニング時間に追加のコストを要さず,大幅な改善を実現する。
  論文  参考訳（メタデータ） (2023-10-17T09:22:22Z)
• TIDE: Temporally Incremental Disparity Estimation via Pattern Flow in Structured Light System [17.53719804060679]
  TIDE-Netはモノカメラ構造光システムにおける差分計算の学習手法である。 得られた画像列に投影されたパターン(パターンフロー)の変形を利用して時間情報をモデル化する。 入力フレーム毎に、パターンフローに歪んだ相関ボリューム(現在のフレームから)と不均一(以前のフレームから)を融合する。
  論文  参考訳（メタデータ） (2023-10-13T07:55:33Z)
• Augmenting Deep Learning Adaptation for Wearable Sensor Data through Combined Temporal-Frequency Image Encoding [4.458210211781739]
  本稿では、時間領域情報と周波数領域情報をシームレスに統合した、新しい修正繰り返しプロットベースの画像表現を提案する。 加速度センサを用いた活動認識データと事前訓練されたResNetモデルを用いて提案手法の評価を行い,既存の手法と比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2023-07-03T09:29:27Z)
• FoVolNet: Fast Volume Rendering using Foveated Deep Neural Networks [33.489890950757975]
  FoVolNetはボリュームデータ可視化の性能を大幅に向上させる手法である。 我々は、焦点付近のボリュームを疎結合にサンプリングし、ディープニューラルネットワークを用いてフルフレームを再構築する、費用対効果の高いフェーベレートレンダリングパイプラインを開発した。
  論文  参考訳（メタデータ） (2022-09-20T19:48:56Z)
• ZippyPoint: Fast Interest Point Detection, Description, and Matching through Mixed Precision Discretization [71.91942002659795]
  我々は,ネットワーク量子化技術を用いて推論を高速化し,計算限定プラットフォームでの利用を可能にする。 バイナリディスクリプタを用いた効率的な量子化ネットワークZippyPointは,ネットワーク実行速度,ディスクリプタマッチング速度,3Dモデルサイズを改善する。 これらの改善は、ホモグラフィー推定、視覚的ローカライゼーション、マップフリーな視覚的再ローカライゼーションのタスクで評価されるように、小さなパフォーマンス劣化をもたらす。
  論文  参考訳（メタデータ） (2022-03-07T18:59:03Z)
• RegNeRF: Regularizing Neural Radiance Fields for View Synthesis from Sparse Inputs [79.00855490550367]
  我々は,多くの入力ビューが利用可能である場合,NeRFは見えない視点のフォトリアリスティックレンダリングを生成することができることを示す。 我々は、未観測の視点からレンダリングされたパッチの幾何学と外観を規則化することで、この問題に対処する。 我々のモデルは、1つのシーンで最適化する他の方法よりも、大規模なマルチビューデータセットで広範囲に事前訓練された条件付きモデルよりも優れています。
  論文  参考訳（メタデータ） (2021-12-01T18:59:46Z)
• Leveraging Self-Supervision for Cross-Domain Crowd Counting [71.75102529797549]
  混雑したシーンで人をカウントするための最先端の方法は、群衆密度を推定するために深いネットワークに依存します。 われわれのネットワークは、通常の画像から逆さまの実際の画像を認識できるように訓練し、その不確実性を予測する能力を組み込む。 このアルゴリズムは、推論時に余分な計算をせずに、最先端のクロスドメイン群をカウントするアルゴリズムを一貫して上回る。
  論文  参考訳（メタデータ） (2021-03-30T12:37:55Z)
• Transformer Guided Geometry Model for Flow-Based Unsupervised Visual Odometry [38.20137500372927]
  対画像からの情報を扱う2つのカメラポーズ推定器からなる手法を提案する。 画像シーケンスでは、Transformerライクな構造を採用して、局所的な時間ウィンドウ上にジオメトリモデルを構築する。 対向画像間の関係を利用するために,f2fpe(flow-to-flow pose estimator)を提案する。
  論文  参考訳（メタデータ） (2020-12-08T19:39:26Z)
• Unsupervised Metric Relocalization Using Transform Consistency Loss [66.19479868638925]
  メートル法再ローカライズを行うためのトレーニングネットワークは、従来、正確な画像対応が必要である。 地図内のクエリ画像のローカライズは、登録に使用される参照画像に関係なく、同じ絶対的なポーズを与えるべきである。 提案手法は, 限られた地下構造情報が得られる場合に, 他の教師あり手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-01T19:24:27Z)
• Object-based Illumination Estimation with Rendering-aware Neural Networks [56.01734918693844]
  個々の物体とその局所画像領域のRGBD外観から高速環境光推定手法を提案する。 推定照明により、仮想オブジェクトは実際のシーンと一貫性のあるシェーディングでARシナリオでレンダリングできる。
  論文  参考訳（メタデータ） (2020-08-06T08:23:19Z)
• Unsupervised Learning of Visual Features by Contrasting Cluster Assignments [57.33699905852397]
  ペア比較の計算を必要とせず,コントラスト的手法を生かしたオンラインアルゴリズムSwaVを提案する。 本手法では,クラスタ割り当て間の一貫性を保ちながら,同時にデータをクラスタ化する。 我々の方法は大規模で小さなバッチで訓練でき、無制限のデータにスケールできる。
  論文  参考訳（メタデータ） (2020-06-17T14:00:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。