論文の概要: Semi-Parametric Deep Neural Networks in Linear Time and Memory

• arxiv url: http://arxiv.org/abs/2205.11718v1
• Date: Tue, 24 May 2022 01:42:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-25 15:13:17.266336
• Title: Semi-Parametric Deep Neural Networks in Linear Time and Memory
• Title（参考訳）: 線形時間とメモリにおける半パラメトリックディープニューラルネットワーク
• Authors: Richa Rastogi, Yuntian Deng, Ian Lee, Mert R. Sabuncu, Volodymyr Kuleshov
• Abstract要約: 我々はSPINと呼ばれる汎用半パラメトリックニューラルネットワークを導入する。 私たちのアーキテクチャはポイントメソッドの誘導にインスパイアされ、データポイント間のクロスアテンションの新たな応用に依存しています。 提案手法は,既存の半パラメトリックモデルの計算要求を,データセットの範囲で最大1桁削減する。
• 参考スコア（独自算出の注目度）: 18.572562224291477
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in deep learning have been driven by large-scale parametric models, which can be computationally expensive and lack interpretability. Semi-parametric methods query the training set at inference time and can be more compact, although they typically have quadratic computational complexity. Here, we introduce SPIN, a general-purpose semi-parametric neural architecture whose computational cost is linear in the size and dimensionality of the data. Our architecture is inspired by inducing point methods and relies on a novel application of cross-attention between datapoints. At inference time, its computational cost is constant in the training set size as the data gets distilled into a fixed number of inducing points. We find that our method reduces the computational requirements of existing semi-parametric models by up to an order of magnitude across a range of datasets and improves state-of-the-art performance on an important practical problem, genotype imputation.
• Abstract（参考訳）: ディープラーニングの最近の進歩は大規模パラメトリックモデルによって推進されており、計算コストが高く、解釈性に欠ける。 半パラメトリックメソッドは推論時にトレーニングセットをクエリし、よりコンパクトになるが、通常は二次計算複雑性を持つ。 本稿では,データのサイズと次元において計算コストが線形である汎用半パラメトリックニューラルネットワークSPINを紹介する。 私たちのアーキテクチャはポイントメソッドの誘導にインスパイアされ、データポイント間のクロスアテンションの新たな応用に依存しています。 推論時には、データが一定数の誘導点に蒸留されるので、その計算コストはトレーニングセットサイズで一定である。 提案手法は,既存の半パラメトリックモデルの計算要求を,データセットの範囲内で最大1桁削減し,重要な実用的問題であるジェノタイプインプテーションにおいて最先端の性能を向上させる。

関連論文リスト

• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Slow Invariant Manifolds of Singularly Perturbed Systems via Physics-Informed Machine Learning [0.0]
  特異摂動系の遅い不変多様体(SIM)を近似するための物理インフォームド・機械学習(PIML)手法を提案する。 提案手法では,従来のGSPT法よりも精度の高い近似法が提案されている。 また、学習過程において必要となる微分の記号的、自動的、数値的近似の計算コストの比較を行う。
  論文  参考訳（メタデータ） (2023-09-14T14:10:22Z)
• Precision Machine Learning [5.15188009671301]
  様々な関数近似法を比較し,パラメータやデータの増加とともにスケールする方法について検討する。 ニューラルネットワークは、しばしば高次元の例において古典的近似法より優れていることが判明した。 我々は,ニューラルネットワークを極端に低損失に訓練する訓練手法を開発した。
  論文  参考訳（メタデータ） (2022-10-24T17:58:30Z)
• MARS: Meta-Learning as Score Matching in the Function Space [79.73213540203389]
  本稿では,一連の関連するデータセットから帰納バイアスを抽出する手法を提案する。 機能的ベイズニューラルネットワーク推論を用いて、前者をプロセスとみなし、関数空間で推論を行う。 本手法は,データ生成プロセスのスコア関数をメタラーニングすることにより,複雑な事前知識をシームレスに獲得し,表現することができる。
  論文  参考訳（メタデータ） (2022-10-24T15:14:26Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• Mitigating Performance Saturation in Neural Marked Point Processes: Architectures and Loss Functions [50.674773358075015]
  本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。 我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
  論文  参考訳（メタデータ） (2021-07-07T16:59:14Z)
• Balancing Accuracy and Latency in Multipath Neural Networks [0.09668407688201358]
  我々は,一発のニューラルネットワーク探索モデルを用いて,難解な数のニューラルネットワークの性能を暗黙的に評価する。 本手法は,待ち時間が異なるモデル間の相対性能を正確にモデル化し,異なるデータセットをまたいだ精度で未検出モデルの性能を予測できることを示す。
  論文  参考訳（メタデータ） (2021-04-25T00:05:48Z)
• Neural Complexity Measures [96.06344259626127]
  本稿では,一般化を予測するメタラーニングフレームワークであるNeural Complexity(NC)を提案する。 我々のモデルは、データ駆動方式で、多くの異種タスクとの相互作用を通じてスカラー複雑性尺度を学習する。
  論文  参考訳（メタデータ） (2020-08-07T02:12:10Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)
• A deep learning framework for solution and discovery in solid mechanics [1.4699455652461721]
  本稿では,物理情報ニューラルネットワーク(PINN)と呼ばれるディープラーニングのクラスを,固体力学の学習と発見に応用する。 本稿では, 運動量バランスと弾性の関係をPINNに組み込む方法について解説し, 線形弾性への応用について詳細に検討する。
  論文  参考訳（メタデータ） (2020-02-14T08:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。