論文の概要: Simple, Fast, and Flexible Framework for Matrix Completion with Infinite Width Neural Networks

• arxiv url: http://arxiv.org/abs/2108.00131v1
• Date: Sat, 31 Jul 2021 02:40:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-03 15:12:55.515980
• Title: Simple, Fast, and Flexible Framework for Matrix Completion with Infinite Width Neural Networks
• Title（参考訳）: Infinite Width Neural Networksを用いたマトリックス補完のためのシンプルで高速で柔軟なフレームワーク
• Authors: Adityanarayanan Radhakrishnan, George Stefanakis, Mikhail Belkin, Caroline Uhler
• Abstract要約: 行列補完問題は、レコメンデーションシステム、コンピュータビジョン、ゲノミクスを含む多くのアプリケーションで発生する。 行列補完のための無限幅ニューラルネットワークフレームワークを開発した。
• 参考スコア（独自算出の注目度）: 25.937653724247845
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Matrix completion problems arise in many applications including recommendation systems, computer vision, and genomics. Increasingly larger neural networks have been successful in many of these applications, but at considerable computational costs. Remarkably, taking the width of a neural network to infinity allows for improved computational performance. In this work, we develop an infinite width neural network framework for matrix completion that is simple, fast, and flexible. Simplicity and speed come from the connection between the infinite width limit of neural networks and kernels known as neural tangent kernels (NTK). In particular, we derive the NTK for fully connected and convolutional neural networks for matrix completion. The flexibility stems from a feature prior, which allows encoding relationships between coordinates of the target matrix, akin to semi-supervised learning. The effectiveness of our framework is demonstrated through competitive results for virtual drug screening and image inpainting/reconstruction. We also provide an implementation in Python to make our framework accessible on standard hardware to a broad audience.
• Abstract（参考訳）: 行列補完問題は、レコメンデーションシステム、コンピュータビジョン、ゲノミクスを含む多くのアプリケーションで発生する。 より大きなニューラルネットワークは多くのアプリケーションで成功しているが、かなりの計算コストがかかる。 驚くべきことに、ニューラルネットワークの幅を無限大にすることで、計算性能が向上する。 本研究では,単純で高速で柔軟な行列補完のための無限幅ニューラルネットワークフレームワークを開発する。 単純さとスピードは、ニューラルネットワークの無限幅限界とニューラルタンジェントカーネル(NTK)として知られるカーネルの接続から生まれる。 特に,完全連結および畳み込みニューラルネットワークによる行列補完のためのNTKを導出する。 この柔軟性は、半教師付き学習に似た、ターゲットマトリックスの座標間の関係をエンコーディングする機能に先立つものである。 本手法の有効性は,仮想薬物スクリーニングと画像インペインティング/リコンストラクションの競争結果を通じて実証された。 標準ハードウェア上でフレームワークにアクセスできるようにpythonの実装も提供しています。

関連論文リスト

• LinSATNet: The Positive Linear Satisfiability Neural Networks [116.65291739666303]
  本稿では,ニューラルネットワークに人気の高い正の線形満足度を導入する方法について検討する。 本稿では,古典的なシンクホーンアルゴリズムを拡張し,複数の辺分布の集合を共同で符号化する,最初の微分可能満足層を提案する。
  論文  参考訳（メタデータ） (2024-07-18T22:05:21Z)
• Deep Maxout Network Gaussian Process [1.9292807030801753]
  我々は、深い無限幅の最大出力ネットワークとガウス過程(GP)の等価性を導出する。 私たちは、ディープマックスアウトネットワークカーネルとディープニューラルネットワークカーネルの接続を構築します。
  論文  参考訳（メタデータ） (2022-08-08T23:52:26Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• Instant Neural Graphics Primitives with a Multiresolution Hash Encoding [67.33850633281803]
  品質を犠牲にすることなく、より小さなネットワークを使用できる汎用的な新しい入力符号化を提案する。 小さなニューラルネットワークは、勾配降下によって値が最適化された訓練可能な特徴ベクトルの多分解能ハッシュテーブルによって拡張される。 数桁の高速化を実現し、高品質なニューラルネットワークプリミティブを数秒でトレーニングすることができる。
  論文  参考訳（メタデータ） (2022-01-16T07:22:47Z)
• CondenseNeXt: An Ultra-Efficient Deep Neural Network for Embedded Systems [0.0]
  畳み込みニューラルネットワーク(英: Convolutional Neural Network, CNN)は、画像センサが捉えた視覚画像の分析に広く用いられているディープニューラルネットワーク(DNN)のクラスである。 本稿では,組込みシステム上でのリアルタイム推論のために,既存のCNNアーキテクチャの性能を改善するために,深層畳み込みニューラルネットワークアーキテクチャの新しい変種を提案する。
  論文  参考訳（メタデータ） (2021-12-01T18:20:52Z)
• Neural networks with linear threshold activations: structure and algorithms [1.795561427808824]
  クラス内で表現可能な関数を表現するのに、2つの隠れたレイヤが必要であることを示す。 また、クラス内の任意の関数を表すのに必要なニューラルネットワークのサイズについて、正確な境界を与える。 我々は,線形しきい値ネットワークと呼ばれるニューラルネットワークの新たなクラスを提案する。
  論文  参考訳（メタデータ） (2021-11-15T22:33:52Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
  動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
  論文  参考訳（メタデータ） (2020-10-02T16:50:26Z)
• Nonlinear computations in spiking neural networks through multiplicative synapses [3.1498833540989413]
  非線形計算は、スパイクニューラルネットワークでうまく実装できる。 これは教師付きトレーニングを必要とし、その結果の接続性は解釈が難しい。 いくつかの非線形力学系において, 必要な接続性を直接導出する方法を示す。
  論文  参考訳（メタデータ） (2020-09-08T16:47:27Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。