論文の概要: Analytically Tractable Inference in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2103.05461v1
• Date: Tue, 9 Mar 2021 14:51:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-11 13:01:59.484057
• Title: Analytically Tractable Inference in Deep Neural Networks
• Title（参考訳）: 深層ニューラルネットワークにおける解析可能な推論
• Authors: Luong-Ha Nguyen and James-A. Goulet
• Abstract要約: Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。 従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Since its inception, deep learning has been overwhelmingly reliant on backpropagation and gradient-based optimization algorithms in order to learn weight and bias parameter values. Tractable Approximate Gaussian Inference (TAGI) algorithm was shown to be a viable and scalable alternative to backpropagation for shallow fully-connected neural networks. In this paper, we are demonstrating how TAGI matches or exceeds the performance of backpropagation, for training classic deep neural network architectures. Although TAGI's computational efficiency is still below that of deterministic approaches relying on backpropagation, it outperforms them on classification tasks and matches their performance for information maximizing generative adversarial networks while using smaller architectures trained with fewer epochs.
• Abstract（参考訳）: その開始以来、ディープラーニングは、重みとバイアスパラメータ値を学ぶために、バックプロパゲーションと勾配に基づく最適化アルゴリズムに圧倒的に依存してきた。 Tractable Approximate Gaussian Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに代わる実行可能でスケーラブルな代替手段であることが示された。 本稿では、従来のディープニューラルネットワークアーキテクチャのトレーニングにおいて、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するかを示す。 TAGIの計算効率は、バックプロパゲーションに依存した決定論的アプローチのそれよりも低いが、分類タスクにそれらを上回り、生成敵対的ネットワークを最大化する情報のパフォーマンスにマッチし、より少ないエポックで訓練されたより小さなアーキテクチャを使用している。

関連論文リスト

• Informed deep hierarchical classification: a non-standard analysis inspired approach [0.0]
  出力層の前に配置された特定のプロジェクション演算子を備えた多出力ディープニューラルネットワークで構成されている。 このようなアーキテクチャの設計は、LH-DNN(Lexicographic Hybrid Deep Neural Network)と呼ばれ、異なる研究分野と非常に離れた研究分野のツールを組み合わせることで実現されている。 アプローチの有効性を評価するために、階層的な分類タスクに適した畳み込みニューラルネットワークであるB-CNNと比較する。
  論文  参考訳（メタデータ） (2024-09-25T14:12:50Z)
• Deep Learning Meets Adaptive Filtering: A Stein's Unbiased Risk Estimator Approach [13.887632153924512]
  本稿では,Deep RLSとDeep EASIというタスクベースのディープラーニングフレームワークを紹介する。 これらのアーキテクチャは、元のアルゴリズムの繰り返しをディープニューラルネットワークの層に変換し、効率的なソース信号推定を可能にする。 性能をさらに向上するために、我々は、スタインの非バイアスリスク推定器(SURE)に基づく代理損失関数を用いた、これらの深層無ロールネットワークのトレーニングを提案する。
  論文  参考訳（メタデータ） (2023-07-31T14:26:41Z)
• Forward-Forward Algorithm for Hyperspectral Image Classification: A Preliminary Study [0.0]
  フォワードフォワードアルゴリズム(FFA)は、ネットワークパラメータを最適化するために局所良性関数を計算する。 本研究では,FFAのハイパースペクトル画像分類への応用について検討した。
  論文  参考訳（メタデータ） (2023-07-01T05:39:28Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Scalable computation of prediction intervals for neural networks via matrix sketching [79.44177623781043]
  既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。 本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-06T13:18:31Z)
• Sparse Deep Learning: A New Framework Immune to Local Traps and Miscalibration [12.05471394131891]
  我々は、上記の問題を一貫性のある方法で解決する、疎いディープラーニングのための新しいフレームワークを提供する。 我々はスパース深層学習の理論的基礎を築き,スパースニューラルネットワークの学習に先立つアニールアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-10-01T21:16:34Z)
• Analytically Tractable Bayesian Deep Q-Learning [0.0]
  我々は時間差Q-ラーニングフレームワークを適応させ、抽出可能な近似ガウス推論(TAGI)と互換性を持たせる。 我々は,TAGIがバックプロパゲーション学習ネットワークに匹敵する性能に到達できることを実証した。
  論文  参考訳（メタデータ） (2021-06-21T13:11:52Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)
• Large Batch Training Does Not Need Warmup [111.07680619360528]
  大きなバッチサイズを使用してディープニューラルネットワークをトレーニングすることは、有望な結果を示し、多くの現実世界のアプリケーションに利益をもたらしている。 本稿では,大規模バッチ学習のための全層適応レートスケーリング(CLARS)アルゴリズムを提案する。 分析に基づいて,このギャップを埋め,3つの一般的な大規模バッチトレーニング手法の理論的洞察を提示する。
  論文  参考訳（メタデータ） (2020-02-04T23:03:12Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。