論文の概要: Uni-Render: A Unified Accelerator for Real-Time Rendering Across Diverse Neural Renderers
- arxiv url: http://arxiv.org/abs/2503.23644v1
- Date: Mon, 31 Mar 2025 01:14:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-01 19:35:57.224791
- Title: Uni-Render: A Unified Accelerator for Real-Time Rendering Across Diverse Neural Renderers
- Title（参考訳）: Uni-Render: 異種ニューラルネットワークのリアルタイムレンダリングのための統一加速器
- Authors: Chaojian Li, Sixu Li, Linrui Jiang, Jingqun Zhang, Yingyan Celine Lin,
- Abstract要約: 本稿では,ニューラルネットワークの一般的なパイプラインを対象とする,統一型ニューラルネットワークレンダリングアクセラレータを提案する。
提案されたアクセラレータは、エッジデバイス上のさまざまな代表パイプラインをまたいだリアルタイムニューラルネットワークレンダリングを実現するための、最初のソリューションとして際立っている。
- 参考スコア（独自算出の注目度）: 6.604018723997594
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advancements in neural rendering technologies and their supporting devices have paved the way for immersive 3D experiences, significantly transforming human interaction with intelligent devices across diverse applications. However, achieving the desired real-time rendering speeds for immersive interactions is still hindered by (1) the lack of a universal algorithmic solution for different application scenarios and (2) the dedication of existing devices or accelerators to merely specific rendering pipelines. To overcome this challenge, we have developed a unified neural rendering accelerator that caters to a wide array of typical neural rendering pipelines, enabling real-time and on-device rendering across different applications while maintaining both efficiency and compatibility. Our accelerator design is based on the insight that, although neural rendering pipelines vary and their algorithm designs are continually evolving, they typically share common operators, predominantly executing similar workloads. Building on this insight, we propose a reconfigurable hardware architecture that can dynamically adjust dataflow to align with specific rendering metric requirements for diverse applications, effectively supporting both typical and the latest hybrid rendering pipelines. Benchmarking experiments and ablation studies on both synthetic and real-world scenes demonstrate the effectiveness of the proposed accelerator. The proposed unified accelerator stands out as the first solution capable of achieving real-time neural rendering across varied representative pipelines on edge devices, potentially paving the way for the next generation of neural graphics applications.
- Abstract（参考訳）: ニューラルネットワーク技術とそのサポート機器の最近の進歩は、没入型3D体験の道を開いた。
しかしながら,(1)異なるアプリケーションシナリオに対する汎用的なアルゴリズムソリューションが欠如していること,(2)既存のデバイスやアクセラレータが単に特定のレンダリングパイプラインに専心していること,などによって,没入型インタラクションのための所望のリアルタイムレンダリング速度を達成することが依然として妨げられている。
この課題を克服するため、我々は、さまざまなアプリケーションにまたがるリアルタイムおよびオンデバイスレンダリングを可能にするとともに、効率と互換性の両方を維持しながら、幅広い典型的なニューラルネットワークレンダリングパイプラインに対応する、統一されたニューラルネットワークレンダリングアクセラレータを開発した。
私たちのアクセラレータ設計は、ニューラルネットワークのレンダリングパイプラインが変化し、アルゴリズムの設計は継続的に進化しているが、一般的には共通のオペレータを共有し、主に同様のワークロードを実行している、という洞察に基づいています。
この知見に基づいて,データフローを動的に調整し,多様なアプリケーションに対する特定のレンダリングメトリック要求に適合させることができる再構成可能なハードウェアアーキテクチャを提案し,従来型と最新のハイブリッドなレンダリングパイプラインの両方を効果的にサポートした。
合成シーンと実世界のシーンのベンチマーク実験とアブレーション研究は、提案した加速器の有効性を実証している。
提案された統合アクセラレータは、エッジデバイス上のさまざまな代表パイプラインをまたいだリアルタイムなニューラルレンダリングを実現するための最初のソリューションであり、次世代のニューラルグラフィックアプリケーションへの道を開く可能性がある。
関連論文リスト
- A3FR: Agile 3D Gaussian Splatting with Incremental Gaze Tracked Foveated Rendering in Virtual Reality [4.604414186645244]
我々は、視線追跡されたフェーベレートレンダリングのレイテンシを最小限に抑えるために、textitA3FRと呼ばれる効率的なレンダリングフレームワークを提案する。
レンダリングアルゴリズムでは,最先端のニューラルレンダリング技術である3D Gaussian Splattingを利用する。
論文 参考訳（メタデータ） (2025-07-05T19:55:25Z) - Progressive Inertial Poser: Progressive Real-Time Kinematic Chain Estimation for 3D Full-Body Pose from Three IMU Sensors [25.67875816218477]
スパース追跡信号からのフルボディポーズ推定は、環境条件や記録範囲によって制限されない。
従来の作業では、骨盤と下肢にセンサーを追加することや、キージョイントのグローバルな位置を得るために外部視覚センサーに頼ることが困難だった。
仮想現実技術の実用性を向上させるため,頭部と手首に装着した3つの慣性計測ユニット(IMU)センサから得られた慣性データのみを用いて,全身のポーズを推定した。
論文 参考訳（メタデータ） (2025-05-08T15:28:09Z) - DiVE: Efficient Multi-View Driving Scenes Generation Based on Video Diffusion Transformer [56.98400572837792]
DiVEは高忠実で、時間的コヒーレントで、相互に一貫したマルチビュービデオを生成する。
これらの革新は総じて、最小品質の劣化を伴う2.62倍のスピードアップを達成する。
論文 参考訳（メタデータ） (2025-04-28T09:20:50Z) - Dita: Scaling Diffusion Transformer for Generalist Vision-Language-Action Policy [56.424032454461695]
本稿では,Transformerアーキテクチャを活用した拡張性のあるフレームワークであるDitaについて紹介する。
Ditaはコンテキスト内コンディショニング(context conditioning)を採用しており、歴史的観察から生の視覚トークンと識別されたアクションをきめ細やかなアライメントを可能にする。
Ditaは、さまざまなカメラパースペクティブ、観察シーン、タスク、アクションスペースの横断的なデータセットを効果的に統合する。
論文 参考訳（メタデータ） (2025-03-25T15:19:56Z) - Diffusion Transformer Policy [48.50988753948537]
本稿では,拡散変圧器ポリシー(Diffusion Transformer Policy)と呼ばれる多モード拡散変圧器を提案し,連続的なエンドエフェクタ動作をモデル化する。
トランスのスケーリング機能を活用することで、提案手法は、多種多様なロボットデータセットにわたる継続的エンドエフェクタアクションを効果的にモデル化することができる。
論文 参考訳（メタデータ） (2024-10-21T12:43:54Z) - CARIn: Constraint-Aware and Responsive Inference on Heterogeneous Devices for Single- and Multi-DNN Workloads [4.556037016746581]
本稿では,モバイルデバイス上でのディープニューラルネットワーク(DNN)の実行を最適化する上での課題に対処する。
CARInはシングルDNNアプリケーションとマルチDNNアプリケーションの両方を最適化するための新しいフレームワークである。
現状のOODInフレームワークとは対照的に,単一モデルの設計では1.92倍,最大10.69倍となる。
論文 参考訳（メタデータ） (2024-09-02T09:18:11Z) - Inference Optimization of Foundation Models on AI Accelerators [68.24450520773688]
トランスフォーマーアーキテクチャを備えた大規模言語モデル(LLM)を含む強力な基礎モデルは、ジェネレーティブAIの新たな時代を支えている。
モデルパラメータの数が数十億に達すると、実際のシナリオにおける推論コストと高いレイテンシーが排除される。
このチュートリアルでは、AIアクセラレータを用いた補完推論最適化テクニックに関する包括的な議論を行っている。
論文 参考訳（メタデータ） (2024-07-12T09:24:34Z) - Exploring Dynamic Transformer for Efficient Object Tracking [58.120191254379854]
効率的なトラッキングのための動的トランスフォーマーフレームワークであるDyTrackを提案する。
DyTrackは、様々な入力に対して適切な推論ルートを設定することを学習し、利用可能な計算予算をより活用する。
複数のベンチマークの実験では、DyTrackは単一のモデルで有望な速度精度のトレードオフを実現している。
論文 参考訳（メタデータ） (2024-03-26T12:31:58Z) - Adaptive Multi-NeRF: Exploit Efficient Parallelism in Adaptive Multiple
Scale Neural Radiance Field Rendering [3.8200916793910973]
ニューラル・ラジアンス・フィールド(NeRF)の最近の進歩は、3次元シーンの出現を暗黙のニューラルネットワークとして表す重要な可能性を示している。
しかし、長いトレーニングとレンダリングのプロセスは、リアルタイムレンダリングアプリケーションにこの有望なテクニックを広く採用することを妨げる。
本稿では,大規模シーンのニューラルネットワークレンダリングプロセスの高速化を目的とした適応型マルチNeRF手法を提案する。
論文 参考訳（メタデータ） (2023-10-03T08:34:49Z) - Neural Operators for Accelerating Scientific Simulations and Design [85.89660065887956]
Neural Operatorsとして知られるAIフレームワークは、継続的ドメインで定義された関数間のマッピングを学習するための原則的なフレームワークを提供する。
ニューラルオペレータは、計算流体力学、天気予報、物質モデリングなど、多くのアプリケーションで既存のシミュレータを拡張または置き換えることができる。
論文 参考訳（メタデータ） (2023-09-27T00:12:07Z) - HyperINR: A Fast and Predictive Hypernetwork for Implicit Neural
Representations via Knowledge Distillation [31.44962361819199]
Inlicit Neural Representations (INRs)は近年、科学的可視化の分野で大きな可能性を秘めている。
本稿では,コンパクトINRの重みを直接予測できる新しいハイパーネットワークアーキテクチャであるHyperINRを紹介する。
多分解能ハッシュ符号化ユニットのアンサンブルを一斉に利用することにより、INRは最先端の推論性能を得る。
論文 参考訳（メタデータ） (2023-04-09T08:10:10Z) - Towards Multi-spatiotemporal-scale Generalized PDE Modeling [4.924631198058705]
渦流および速度関数形式における流体力学問題に対する様々なFNOとU-Netのようなアプローチの比較を行う。
一つの代理モデルを用いて異なるPDEパラメータと時間スケールへの一般化の有望な結果を示す。
論文 参考訳（メタデータ） (2022-09-30T17:40:05Z) - Multi-Exit Vision Transformer for Dynamic Inference [88.17413955380262]
視覚変換器のバックボーンの動的推論に使用できる早期出口分岐のための7つの異なるアーキテクチャを提案する。
提案したアーキテクチャのそれぞれが,精度と速度のトレードオフにおいて有用であることを示す。
論文 参考訳（メタデータ） (2021-06-29T09:01:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。