論文の概要: Neural Fields in Visual Computing and Beyond
- arxiv url: http://arxiv.org/abs/2111.11426v1
- Date: Mon, 22 Nov 2021 18:57:51 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-23 14:51:56.153825
- Title: Neural Fields in Visual Computing and Beyond
- Title(参考訳): ビジュアルコンピューティングのニューラルフィールドとその先
- Authors: Yiheng Xie, Towaki Takikawa, Shunsuke Saito, Or Litany, Shiqin Yan,
Numair Khan, Federico Tombari, James Tompkin, Vincent Sitzmann, Srinath
Sridhar
- Abstract要約: 機械学習の最近の進歩は、座標ベースニューラルネットワークを用いた視覚コンピューティング問題の解決への関心が高まっている。
ニューラルネットワークは、3D形状と画像の合成、人体のアニメーション、3D再構成、ポーズ推定に成功している。
本報告は、文脈、数学的基礎、および、ニューラルネットワークに関する文献の広範なレビューを提供する。
- 参考スコア(独自算出の注目度): 54.950885364735804
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in machine learning have created increasing interest in
solving visual computing problems using a class of coordinate-based neural
networks that parametrize physical properties of scenes or objects across space
and time. These methods, which we call neural fields, have seen successful
application in the synthesis of 3D shapes and image, animation of human bodies,
3D reconstruction, and pose estimation. However, due to rapid progress in a
short time, many papers exist but a comprehensive review and formulation of the
problem has not yet emerged. In this report, we address this limitation by
providing context, mathematical grounding, and an extensive review of
literature on neural fields. This report covers research along two dimensions.
In Part I, we focus on techniques in neural fields by identifying common
components of neural field methods, including different representations,
architectures, forward mapping, and generalization methods. In Part II, we
focus on applications of neural fields to different problems in visual
computing, and beyond (e.g., robotics, audio). Our review shows the breadth of
topics already covered in visual computing, both historically and in current
incarnations, demonstrating the improved quality, flexibility, and capability
brought by neural fields methods. Finally, we present a companion website that
contributes a living version of this review that can be continually updated by
the community.
- Abstract(参考訳): 機械学習の最近の進歩は、空間と時間にまたがるシーンやオブジェクトの物理的特性をパラメータ化する座標ベースのニューラルネットワークを使って、ビジュアルコンピューティング問題を解決することへの関心を高めている。
ニューラルフィールドと呼ばれるこれらの手法は、3次元形状と画像の合成、人体のアニメーション、3次元再構成、ポーズ推定に成功している。
しかし、短期間の急速な進展により、多くの論文が存在するが、この問題の総合的なレビューと定式化はまだ現れていない。
本報告では, 文脈, 数学的基礎, およびニューラルネットワークに関する文献の広範なレビューを提供することにより, この限界に対処する。
この報告は2次元の研究を扱っている。
パートIでは、異なる表現、アーキテクチャ、前方マッピング、一般化メソッドを含む、ニューラルネットワークメソッドの共通コンポーネントを識別することで、ニューラルネットワークのテクニックに焦点を当てる。
パートiiでは、視覚コンピューティングのさまざまな問題(ロボティクス、オーディオなど)に対するニューラルフィールドの応用に焦点を当てます。
本レビューでは,視覚コンピューティングにすでに取り組まれているトピックの多様さを概観し,ニューラルフィールド法によってもたらされる品質,柔軟性,能力の向上を実証する。
最後に、コミュニティによって継続的に更新されるこのレビューの生きたバージョンをコントリビュートするWebサイトを紹介する。
関連論文リスト
- Hebbian Learning based Orthogonal Projection for Continual Learning of
Spiking Neural Networks [74.3099028063756]
我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。
我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。
我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
論文 参考訳(メタデータ) (2024-02-19T09:29:37Z) - Neuro-Visualizer: An Auto-encoder-based Loss Landscape Visualization
Method [4.981452040789784]
本稿では,ニューロ・ビジュアライザー (Neuro-Visualizer) と呼ばれる,自動エンコーダを用いた非線形景観可視化手法を提案する。
この結果,Neuro-Visualizerは,他の線状および非線状ベースラインよりも優れていた。
論文 参考訳(メタデータ) (2023-09-26T01:10:16Z) - Intrinsic Neural Fields: Learning Functions on Manifolds [45.269698580847916]
内在神経場は、ニューラルネットワークの利点とラプラス・ベルトラミ作用素のスペクトル特性を結合する。
内在型ニューラルネットワークは、最先端の画質で画像から高品質なテクスチャを再構築できることを示す。
様々なアプリケーションに対処することで,本質的ニューラルネットワークの汎用性を実証する。
論文 参考訳(メタデータ) (2022-03-15T14:52:52Z) - Neural Architecture Search for Dense Prediction Tasks in Computer Vision [74.9839082859151]
ディープラーニングは、ニューラルネットワークアーキテクチャエンジニアリングに対する需要の高まりにつながっている。
ニューラルネットワーク検索(NAS)は、手動ではなく、データ駆動方式でニューラルネットワークアーキテクチャを自動設計することを目的としている。
NASはコンピュータビジョンの幅広い問題に適用されている。
論文 参考訳(メタデータ) (2022-02-15T08:06:50Z) - Overcoming the Domain Gap in Neural Action Representations [60.47807856873544]
3Dポーズデータは、手動で介入することなく、マルチビュービデオシーケンスから確実に抽出できる。
本稿では,ニューラルアクション表現の符号化を,ニューラルアクションと行動拡張のセットと共に導くために使用することを提案する。
ドメインギャップを減らすために、トレーニングの間、同様の行動をしているように見える動物間で神経と行動のデータを取り替える。
論文 参考訳(メタデータ) (2021-12-02T12:45:46Z) - Neural Actor: Neural Free-view Synthesis of Human Actors with Pose
Control [80.79820002330457]
任意の視点と任意の制御可能なポーズの下での人間の高品質な合成法を提案する。
提案手法は,新しいポーズ合成法と同様に,再生時の最先端技術よりも優れた品質を実現し,トレーニングポーズと大きく異なる新しいポーズを一般化することができる。
論文 参考訳(メタデータ) (2021-06-03T17:40:48Z) - Action in Mind: A Neural Network Approach to Action Recognition and
Segmentation [0.0]
本稿では,ニューラルネットワークに基づく多層アーキテクチャの異なる実装によるヒューマンアクション認識のための新しい計算手法を提案する。
提案する行動認識アーキテクチャは,前処理層,順序ベクトル表現層,ニューラルネットワークの3層を含む複数の処理層から構成される。
開発の各段階において、システムは連続する3d体姿勢からなる入力データで訓練され、システムがこれまで経験したことのない一般的な入力データでテストされる。
論文 参考訳(メタデータ) (2021-04-30T09:53:28Z) - Neural population geometry: An approach for understanding biological and
artificial neural networks [3.4809730725241605]
生体および人工ニューラルネットワークの機能に関する洞察を提供する幾何学的アプローチの例を概観する。
神経集団幾何学は、生体と人工のニューラルネットワークにおける構造と機能の理解を統一する可能性がある。
論文 参考訳(メタデータ) (2021-04-14T18:10:34Z) - Understanding Information Processing in Human Brain by Interpreting
Machine Learning Models [1.14219428942199]
この論文は、ニューラルネットワークの直感的な計算モデルを作成する上で、機械学習メソッドが果たす役割を探求している。
この視点は、コンピュータ神経科学に対する探索的およびデータ駆動のアプローチが果たす大きな役割を支持する。
論文 参考訳(メタデータ) (2020-10-17T04:37:26Z) - State of the Art on Neural Rendering [141.22760314536438]
我々は,古典的コンピュータグラフィックス技術と深層生成モデルを組み合わせることで,制御可能かつフォトリアリスティックな出力を得るアプローチに焦点をあてる。
本報告は,新しいビュー合成,セマンティック写真操作,顔と身体の再現,リライティング,自由視点ビデオ,バーチャルおよび拡張現実テレプレゼンスのためのフォトリアリスティックアバターの作成など,記述されたアルゴリズムの多くの重要なユースケースに焦点をあてる。
論文 参考訳(メタデータ) (2020-04-08T04:36:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。