論文の概要: Traversing Between Modes in Function Space for Fast Ensembling

• arxiv url: http://arxiv.org/abs/2306.11304v1
• Date: Tue, 20 Jun 2023 05:52:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-21 15:31:06.995337
• Title: Traversing Between Modes in Function Space for Fast Ensembling
• Title（参考訳）: 高速組立のための関数空間におけるモード間のトラバース
• Authors: EungGu Yun, Hyungi Lee, Giung Nam, Juho Lee
• Abstract要約: ブリッジ」は、元のネットワークから最小限の機能を持つ軽量ネットワークであり、元のネットワークを前方通過することなく、低損失部分空間の出力を予測する。 我々は,橋梁ネットワークを実際に訓練し,橋梁ネットワークの助けを借りて推論コストを大幅に削減できることを実証的に実証した。
• 参考スコア（独自算出の注目度）: 15.145136272169946
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep ensemble is a simple yet powerful way to improve the performance of deep neural networks. Under this motivation, recent works on mode connectivity have shown that parameters of ensembles are connected by low-loss subspaces, and one can efficiently collect ensemble parameters in those subspaces. While this provides a way to efficiently train ensembles, for inference, multiple forward passes should still be executed using all the ensemble parameters, which often becomes a serious bottleneck for real-world deployment. In this work, we propose a novel framework to reduce such costs. Given a low-loss subspace connecting two modes of a neural network, we build an additional neural network that predicts the output of the original neural network evaluated at a certain point in the low-loss subspace. The additional neural network, which we call a "bridge", is a lightweight network that takes minimal features from the original network and predicts outputs for the low-loss subspace without forward passes through the original network. We empirically demonstrate that we can indeed train such bridge networks and significantly reduce inference costs with the help of bridge networks.
• Abstract（参考訳）: ディープアンサンブルは、ディープニューラルネットワークの性能を改善するためのシンプルだが強力な方法である。 このモチベーションの下で、近年のモード接続に関する研究により、アンサンブルのパラメータは低損失部分空間で接続され、それらの部分空間で効率的にアンサンブルパラメータを収集できることが示されている。 これは、アンサンブルを効率的にトレーニングする方法を提供するが、推論のために、複数のフォワードパスは、まだ全てのアンサンブルパラメータを使用して実行されるべきである。 本研究では,コスト削減のための新しい枠組みを提案する。 ニューラルネットワークの2つのモードを接続する低損失部分空間が与えられると、低損失部分空間のある点で評価された元のニューラルネットワークの出力を予測するニューラルネットワークを新たに構築する。 と呼ばれる追加のニューラルネットワークは、元のネットワークから最小限の機能を取り、元のネットワークを前方通過することなく、低損失のサブスペースの出力を予測する軽量ネットワークである。 このようなブリッジネットワークを実際にトレーニングし、ブリッジネットワークの助けを借りて推論コストを大幅に削減できることを実証的に実証する。

関連論文リスト

• D'OH: Decoder-Only Random Hypernetworks for Implicit Neural Representations [24.57801400001629]
  Decoder-Only randomly Projected Hypernetwork (D'OH) による単一インスタンス信号に対する実行時暗黙関数の最適化戦略を提案する。 遅延コード次元を直接変更することにより、ニューラルネットワークの検索を犠牲にすることなく、ニューラル表現のメモリフットプリントを変更できる自然な方法を提供する。
  論文  参考訳（メタデータ） (2024-03-28T06:18:12Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• Fast Conditional Network Compression Using Bayesian HyperNetworks [54.06346724244786]
  条件付き圧縮問題を導入し、それに取り組むための高速なフレームワークを提案する。 問題は、トレーニング済みの大規模ニューラルネットワークをターゲットコンテキストに応じて最適な小さなネットワークに素早く圧縮する方法である。 提案手法は, ベースライン方式よりもはるかに小型の圧縮ネットワークを高速に生成できる。
  論文  参考訳（メタデータ） (2022-05-13T00:28:35Z)
• FreeTickets: Accurate, Robust and Efficient Deep Ensemble by Training with Dynamic Sparsity [74.58777701536668]
  我々は、疎い畳み込みニューラルネットワークの性能を、ネットワークの高密度な部分よりも大きなマージンで向上させることができるFreeTicketsの概念を紹介した。 本研究では, ダイナミックな間隔を持つ2つの新しい効率的なアンサンブル手法を提案し, スパーストレーニング過程において, 多数の多様かつ正確なチケットを「無償」で撮影する。
  論文  参考訳（メタデータ） (2021-06-28T10:48:20Z)
• Binary Neural Network for Speaker Verification [13.472791713805762]
  本稿では,二元的ニューラルネットワークを話者検証の課題に適用する方法に焦点をあてる。 実験の結果、Convolutional Neural Networkをバイナライズした後、ResNet34ベースのネットワークは約5%のEERを達成した。
  論文  参考訳（メタデータ） (2021-04-06T06:04:57Z)
• Artificial Neural Networks generated by Low Discrepancy Sequences [59.51653996175648]
  我々は、高密度ネットワークグラフ上のランダムウォーキングとして、人工ニューラルネットワークを生成する。 このようなネットワークはスクラッチからスパースを訓練することができ、高密度ネットワークをトレーニングし、その後圧縮する高価な手順を避けることができる。 我々は,低差分シーケンスで生成された人工ニューラルネットワークが,より低い計算複雑性で,密度の高いニューラルネットワークの到達範囲内で精度を達成できることを実証した。
  論文  参考訳（メタデータ） (2021-03-05T08:45:43Z)
• Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification [10.727102755903616]
  我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。 可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。 我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
  論文  参考訳（メタデータ） (2020-12-04T19:50:09Z)
• ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
  簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。 本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
  論文  参考訳（メタデータ） (2020-06-28T23:09:27Z)
• Compact Neural Representation Using Attentive Network Pruning [1.0152838128195465]
  本稿では,Bottom-Upフィードフォワードネットワークに付加されたTop-Downアテンション機構について述べる。 提案手法は, 新たな階層選択機構をプルーニングの基礎として導入するだけでなく, 実験評価において, 従来のベースライン手法と競合するままである。
  論文  参考訳（メタデータ） (2020-05-10T03:20:01Z)
• Mixed-Precision Quantized Neural Network with Progressively Decreasing Bitwidth For Image Classification and Object Detection [21.48875255723581]
  ビット幅が徐々に増大する混合精度量子化ニューラルネットワークを提案し,精度と圧縮のトレードオフを改善する。 典型的なネットワークアーキテクチャとベンチマークデータセットの実験は、提案手法がより良い結果または同等の結果が得られることを示した。
  論文  参考訳（メタデータ） (2019-12-29T14:11:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。