論文の概要: FC2T2: The Fast Continuous Convolutional Taylor Transform with
Applications in Vision and Graphics
- arxiv url: http://arxiv.org/abs/2111.00110v1
- Date: Fri, 29 Oct 2021 22:58:42 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-02 13:28:20.874943
- Title: FC2T2: The Fast Continuous Convolutional Taylor Transform with
Applications in Vision and Graphics
- Title（参考訳）: FC2T2: ビジョンとグラフィックスを応用した高速連続畳み込みテイラー変換
- Authors: Henning Lange, J. Nathan Kutz
- Abstract要約: 現代の機械学習の観点から、Taylorシリーズの拡張を再考する。
連続空間における低次元畳み込み作用素の効率的な近似を可能にする高速多重極法(FMM)の変種である高速連続畳み込みテイラー変換(FC2T2)を導入する。
- 参考スコア（独自算出の注目度）: 8.629912408966145
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Series expansions have been a cornerstone of applied mathematics and
engineering for centuries. In this paper, we revisit the Taylor series
expansion from a modern Machine Learning perspective. Specifically, we
introduce the Fast Continuous Convolutional Taylor Transform (FC2T2), a variant
of the Fast Multipole Method (FMM), that allows for the efficient approximation
of low dimensional convolutional operators in continuous space. We build upon
the FMM which is an approximate algorithm that reduces the computational
complexity of N-body problems from O(NM) to O(N+M) and finds application in
e.g. particle simulations. As an intermediary step, the FMM produces a series
expansion for every cell on a grid and we introduce algorithms that act
directly upon this representation. These algorithms analytically but
approximately compute the quantities required for the forward and backward pass
of the backpropagation algorithm and can therefore be employed as (implicit)
layers in Neural Networks. Specifically, we introduce a root-implicit layer
that outputs surface normals and object distances as well as an
integral-implicit layer that outputs a rendering of a radiance field given a 3D
pose. In the context of Machine Learning, $N$ and $M$ can be understood as the
number of model parameters and model evaluations respectively which entails
that, for applications that require repeated function evaluations which are
prevalent in Computer Vision and Graphics, unlike regular Neural Networks, the
techniques introduce in this paper scale gracefully with parameters. For some
applications, this results in a 200x reduction in FLOPs compared to
state-of-the-art approaches at a reasonable or non-existent loss in accuracy.
- Abstract（参考訳）: 数世紀にわたって、一連の拡張は応用数学と工学の基盤となった。
本稿では,現代の機械学習の観点からTaylorシリーズの拡張を再考する。
具体的には,FMM(Fast Multipole Method)の変種であるFC2T2(Fast Continuous Convolutional Taylor Transform)を導入し,連続空間における低次元畳み込み作用素の効率的な近似を可能にする。
我々は、N体問題の計算複雑性をO(NM)からO(N+M)に還元する近似アルゴリズムであるFMMを構築し、例えば粒子シミュレーションに適用する。
中間段階として、fmmはグリッド上の各セルに対して系列展開を生成し、この表現に直接作用するアルゴリズムを導入する。
これらのアルゴリズムは解析的にではあるが、バックプロパゲーションアルゴリズムの前後通過に必要な量をほぼ計算し、ニューラルネットワークの(単純な)層として利用できる。
具体的には,表面の正規分布と物体距離を出力するルート単純層と,3次元ポーズを与えられた放射場の描画を出力する積分単純層を導入する。
機械学習の文脈では、n$ と $m$ はそれぞれモデルパラメータの数とモデル評価として理解することができ、コンピュータビジョンやグラフィックスに広く使われている繰り返し関数評価を必要とするアプリケーションでは、通常のニューラルネットワークとは異なり、この手法はパラメーターを優雅にスケールする。
応用によっては、FLOPの200倍の削減が達成され、最先端のアプローチでは精度が低下する。
関連論文リスト
- Emergence in non-neural models: grokking modular arithmetic via average gradient outer product [16.911836722312152]
グラッキングはニューラルネットワークや勾配降下に基づく最適化に特有ではないことを示す。
この現象はRecursive Feature Machinesを用いてモジュラー算術を学習する際に発生する。
この結果から,タスク関連の特徴を学習することで,創発が純粋に引き起こされることが示された。
論文 参考訳（メタデータ） (2024-07-29T17:28:58Z) - Multi-Grid Tensorized Fourier Neural Operator for High-Resolution PDEs [93.82811501035569]
本稿では,メモリ要求を低減し,より一般化したデータ効率・並列化可能な演算子学習手法を提案する。
MG-TFNOは、実世界の実世界の現象の局所的構造と大域的構造を活用することで、大規模な分解能にスケールする。
乱流ナビエ・ストークス方程式において150倍以上の圧縮で誤差の半分以下を達成できる優れた性能を示す。
論文 参考訳（メタデータ） (2023-09-29T20:18:52Z) - Geometry-Informed Neural Operator for Large-Scale 3D PDEs [76.06115572844882]
大規模偏微分方程式の解演算子を学習するために,幾何インフォームド・ニューラル演算子(GINO)を提案する。
我々はGINOを訓練し、わずか500点のデータポイントで車両表面の圧力を予測することに成功した。
論文 参考訳（メタデータ） (2023-09-01T16:59:21Z) - Softmax-free Linear Transformers [90.83157268265654]
視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。
既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。
我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
論文 参考訳（メタデータ） (2022-07-05T03:08:27Z) - Scalable Optimal Transport in High Dimensions for Graph Distances,
Embedding Alignment, and More [7.484063729015126]
最適輸送のためのコスト行列の2つの効率的な対数線形時間近似を提案する。
これらの近似は、複雑な高次元空間に対してもよく機能するエントロピー規則化OTに対する一般的な対数線形時間アルゴリズムを可能にする。
グラフ距離回帰のために,グラフニューラルネットワーク(GNN)と拡張シンクホーンを組み合わせたグラフトランスポートネットワーク(GTN)を提案する。
論文 参考訳（メタデータ） (2021-07-14T17:40:08Z) - Graph Signal Restoration Using Nested Deep Algorithm Unrolling [85.53158261016331]
グラフ信号処理は、センサー、社会交通脳ネットワーク、ポイントクラウド処理、グラフネットワークなど、多くのアプリケーションにおいてユビキタスなタスクである。
凸非依存型深部ADMM(ADMM)に基づく2つの復元手法を提案する。
提案手法のパラメータはエンドツーエンドでトレーニング可能である。
論文 参考訳（メタデータ） (2021-06-30T08:57:01Z) - Rotation Invariant Graph Neural Networks using Spin Convolutions [28.4962005849904]
機械学習アプローチは、密度汎関数理論(DFT)を計算的に効率的に近似する可能性がある。
グラフニューラルネットワークにおいて,隣り合う原子の集合間の角度情報をモデル化するための新しい手法を提案する。
結果は大規模なOpen Catalyst 2020データセットで実証されている。
論文 参考訳（メタデータ） (2021-06-17T14:59:34Z) - SHINE: SHaring the INverse Estimate from the forward pass for bi-level
optimization and implicit models [15.541264326378366]
近年,深層ニューラルネットワークの深度を高める手法として暗黙の深度学習が登場している。
トレーニングは双レベル問題として実行され、その計算複雑性は巨大なヤコビ行列の反復反転によって部分的に駆動される。
本稿では,この計算ボトルネックに対処する新たな手法を提案する。
論文 参考訳（メタデータ） (2021-06-01T15:07:34Z) - ResNet-LDDMM: Advancing the LDDMM Framework Using Deep Residual Networks [86.37110868126548]
本研究では,eulerの離散化スキームに基づく非定常ode(フロー方程式)の解法として,深層残留ニューラルネットワークを用いた。
複雑なトポロジー保存変換の下での3次元形状の多種多様な登録問題について述べる。
論文 参考訳（メタデータ） (2021-02-16T04:07:13Z) - Accelerated FBP for computed tomography image reconstruction [1.0266928164137636]
フィルタバックプロジェクション (FBP) は, 許容品質を示す断層画像再構成において一般的に用いられる手法である。
本稿では,アルゴリズムの計算複雑性を$Theta(N2log N)$に減らし,フーリエ空間を回避した加算演算を提案する。
論文 参考訳（メタデータ） (2020-07-13T10:16:54Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。