論文の概要: Curvature-Aware Training for Coordinate Networks

• arxiv url: http://arxiv.org/abs/2305.08552v1
• Date: Mon, 15 May 2023 11:26:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-16 14:54:40.076788
• Title: Curvature-Aware Training for Coordinate Networks
• Title（参考訳）: 座標ネットワークのための曲率アウェアトレーニング
• Authors: Hemanth Saratchandran, Shin-Fang Chng, Sameera Ramasinghe, Lachlan MacDonald, Simon Lucey
• Abstract要約: コーディネートネットワークは、信号が圧縮された連続的なエンティティとして表現できるため、コンピュータビジョンで広く使われている。 近年の研究では、より高速なトレーニングを実現するために、浅いボクセルベースの表現を選択しているが、これはメモリ効率を犠牲にしている。 本研究は,2次最適化手法を利用して,圧縮性を維持しながら座標ネットワークのトレーニング時間を短縮する手法を提案する。
• 参考スコア（独自算出の注目度）: 28.42671321283525
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Coordinate networks are widely used in computer vision due to their ability to represent signals as compressed, continuous entities. However, training these networks with first-order optimizers can be slow, hindering their use in real-time applications. Recent works have opted for shallow voxel-based representations to achieve faster training, but this sacrifices memory efficiency. This work proposes a solution that leverages second-order optimization methods to significantly reduce training times for coordinate networks while maintaining their compressibility. Experiments demonstrate the effectiveness of this approach on various signal modalities, such as audio, images, videos, shape reconstruction, and neural radiance fields.
• Abstract（参考訳）: コーディネートネットワークは、信号が圧縮された連続的なエンティティとして表現できるため、コンピュータビジョンで広く使われている。 しかし、これらのネットワークをファーストオーダーオプティマイザでトレーニングすることは遅くなり、リアルタイムアプリケーションでの使用が妨げられる。 最近の研究では、より高速なトレーニングを達成するために、浅いvoxelベースの表現を選択しているが、これはメモリ効率を犠牲にしている。 本研究は,2次最適化手法を利用して,圧縮性を維持しながら座標ネットワークのトレーニング時間を著しく短縮する手法を提案する。 実験は、音声、画像、ビデオ、形状再構成、神経放射野などの様々な信号モダリティに対するこのアプローチの有効性を実証する。

関連論文リスト

• Algebraic Representations for Faster Predictions in Convolutional Neural Networks [0.0]
  畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンにおけるタスクのモデルとして一般的な選択肢である。 より簡単な勾配最適化問題を作成するために、スキップ接続を追加することもできる。 スキップ接続を持つ任意の複雑で訓練された線形CNNは単層モデルに単純化可能であることを示す。
  論文  参考訳（メタデータ） (2024-08-14T21:10:05Z)
• Preconditioners for the Stochastic Training of Implicit Neural Representations [30.92757082348805]
  複雑な連続多次元信号をニューラルネットワークとして符号化する強力な手法として、暗黙の神経表現が登場した。 本稿では,様々な信号モダリティにまたがる実効性を示すために,対角プレコンディショナーを用いたトレーニングを提案する。
  論文  参考訳（メタデータ） (2024-02-13T20:46:37Z)
• Rapid Network Adaptation: Learning to Adapt Neural Networks Using Test-Time Feedback [12.946419909506883]
  テスト時間フィードバック信号を用いてネットワークをオンザフライで適応するクローズドループシステムを構築した。 本稿では,このループを学習型関数を用いて効果的に実装し,ネットワークに対する償却を実現する方法を提案する。 これにより、Rapid Network Adaptation (RNA) と呼ばれる適応手法が実現され、ベースラインよりも柔軟で桁違いに高速になる。
  論文  参考訳（メタデータ） (2023-09-27T16:20:39Z)
• Collaborative Learning over Wireless Networks: An Introductory Overview [84.09366153693361]
  主に、ワイヤレスデバイス間の協調トレーニングに焦点を合わせます。 過去数十年間、多くの分散最適化アルゴリズムが開発されてきた。 データ局所性 – すなわち、各参加デバイスで利用可能なデータがローカルのままである間、共同モデルを協調的にトレーニングすることができる。
  論文  参考訳（メタデータ） (2021-12-07T20:15:39Z)
• Joint inference and input optimization in equilibrium networks [68.63726855991052]
  ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。 この2つの設定の間には自然なシナジーがあることが示されています。 この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
  論文  参考訳（メタデータ） (2021-11-25T19:59:33Z)
• Multi-Exit Semantic Segmentation Networks [78.44441236864057]
  本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。 パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。 接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
  論文  参考訳（メタデータ） (2021-06-07T11:37:03Z)
• Two Novel Performance Improvements for Evolving CNN Topologies [0.0]
  畳み込みニューラルネットワーク(CNN)は、画像処理のための最先端のアルゴリズムである。 この研究では、これらのアルゴリズムの利用に2つの新しいアプローチが提示され、複雑さとトレーニング時間を20%近く短縮するのに効果的である。
  論文  参考訳（メタデータ） (2021-02-10T14:17:51Z)
• MetaSDF: Meta-learning Signed Distance Functions [85.81290552559817]
  ニューラルな暗示表現で形状を一般化することは、各関数空間上の学習先行値に比例する。 形状空間の学習をメタラーニング問題として定式化し、勾配に基づくメタラーニングアルゴリズムを利用してこの課題を解決する。
  論文  参考訳（メタデータ） (2020-06-17T05:14:53Z)
• Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
  ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。 有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
  論文  参考訳（メタデータ） (2020-03-25T10:49:22Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。