論文の概要: Triangular Dropout: Variable Network Width without Retraining

• arxiv url: http://arxiv.org/abs/2205.01235v1
• Date: Mon, 2 May 2022 21:58:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-04 14:51:40.351315
• Title: Triangular Dropout: Variable Network Width without Retraining
• Title（参考訳）: 三角形ドロップアウト:リトレーニングなしの可変ネットワーク幅
• Authors: Edward W. Staley and Jared Markowitz
• Abstract要約: レイヤ幅は、ネットワークが学習し、ソリューションの複雑さを決定する能力に影響を与える。 我々は、この制限を持たない三角形のドロップアウトと呼ばれる新しい層設計を提案する。 トレーニング後、層幅を任意に減らし、狭さのために性能を交換することができる。
• 参考スコア（独自算出の注目度）: 4.111899441919165
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: One of the most fundamental design choices in neural networks is layer width: it affects the capacity of what a network can learn and determines the complexity of the solution. This latter property is often exploited when introducing information bottlenecks, forcing a network to learn compressed representations. However, such an architecture decision is typically immutable once training begins; switching to a more compressed architecture requires retraining. In this paper we present a new layer design, called Triangular Dropout, which does not have this limitation. After training, the layer can be arbitrarily reduced in width to exchange performance for narrowness. We demonstrate the construction and potential use cases of such a mechanism in three areas. Firstly, we describe the formulation of Triangular Dropout in autoencoders, creating models with selectable compression after training. Secondly, we add Triangular Dropout to VGG19 on ImageNet, creating a powerful network which, without retraining, can be significantly reduced in parameters. Lastly, we explore the application of Triangular Dropout to reinforcement learning (RL) policies on selected control problems.
• Abstract（参考訳）: ニューラルネットワークにおける最も基本的な設計選択の1つは層幅であり、ネットワークが学習し、ソリューションの複雑さを決定する能力に影響する。 後者の性質は情報ボトルネックを導入する際にしばしば利用され、ネットワークは圧縮表現を学習せざるを得ない。 しかし、そのようなアーキテクチャの決定は訓練が始まると不変であり、より圧縮されたアーキテクチャに切り替えるには再訓練が必要である。 本稿では,この制限を伴わない三角形ドロップアウトと呼ばれる新しい層設計を提案する。 トレーニング後、層幅を任意に減らし、狭さのために性能を交換することができる。 このようなメカニズムの構築とユースケースを3つの領域で実証する。 まず,自動エンコーダにおける三角形ドロップアウトの定式化について述べる。 第二に、ImageNetでVGG19に三角形のドロップアウトを追加し、リトレーニングなしでパラメータを大幅に削減できる強力なネットワークを作成します。 最後に,選択した制御問題に対する強化学習(rl)ポリシーへの三角形ドロップアウトの適用について検討する。

関連論文リスト

• ChannelDropBack: Forward-Consistent Stochastic Regularization for Deep Networks [5.00301731167245]
  既存のテクニックでは、しばしば特別なレイヤを追加することによってネットワークのアーキテクチャを変更する必要がある。 本稿では,逆情報フローにのみランダム性を導入する単純な正規化手法であるChannelDropBackを提案する。 アーキテクチャを変更することなく、任意のモデルやレイヤのトレーニングプロセスにシームレスに統合することができます。
  論文  参考訳（メタデータ） (2024-11-16T21:24:44Z)
• Self-Expanding Neural Networks [24.812671965904727]
  ニューラルネットワークの幅と深さの両方を直感的に拡張する自然な勾配に基づくアプローチを導入する。 我々は、ニューロンが加算されるレート'の上限を証明し、拡張スコアに計算的に安価で低いバウンドを証明した。 分類問題と回帰問題の両方において、完全な接続性と畳み込みを備えた自己拡張ニューラルネットワークの利点について説明する。
  論文  参考訳（メタデータ） (2023-07-10T12:49:59Z)
• Feature-Learning Networks Are Consistent Across Widths At Realistic Scales [72.27228085606147]
  様々なアーキテクチャやデータセットにわたる特徴学習ニューラルネットワークのダイナミクスに対する幅の影響について検討する。 トレーニングの初期、オンラインデータでトレーニングされた広範なニューラルネットワークは、損失曲線が同じであるだけでなく、トレーニング全体を通じてポイントワイドなテスト予測に一致している。 しかし、より狭いネットワークのアンサンブルは、単一のワイドネットワークよりも性能が劣っている。
  論文  参考訳（メタデータ） (2023-05-28T17:09:32Z)
• Random Weights Networks Work as Loss Prior Constraint for Image Restoration [50.80507007507757]
  「画像復元の優先制約としてランダムウェイトネットワークを機能させることができる」という信念を提示する。」 我々の信念は、計算コストのトレーニングやテストなしに、既存のネットワークに直接挿入することができる。 強調しておきたいのは、損失関数の領域を刺激し、現在無視されている状態を保存することです。
  論文  参考訳（メタデータ） (2023-03-29T03:43:51Z)
• Parameter-Efficient Masking Networks [61.43995077575439]
  先進的なネットワーク設計は、しばしば多数の繰り返し構造を含む(例: Transformer)。 本研究では,マスクの学習により,一意値に制限された固定ランダムウェイトの代表的ポテンシャルについて検討する。 これはモデル圧縮のための新しいパラダイムをもたらし、モデルサイズを減少させます。
  論文  参考訳（メタデータ） (2022-10-13T03:39:03Z)
• Increasing Depth of Neural Networks for Life-long Learning [2.0305676256390934]
  本稿では,ニューラルネットワークの深度増加に基づく連続学習手法を提案する。 この研究は、ニューラルネットワークの深さを延ばすことが、生涯にわたる学習環境で有益かどうかを探求する。
  論文  参考訳（メタデータ） (2022-02-22T11:21:41Z)
• All at Once Network Quantization via Collaborative Knowledge Transfer [56.95849086170461]
  オールオンス量子化ネットワークを効率的にトレーニングするための新しい共同知識伝達アプローチを開発しています。 具体的には、低精度の学生に知識を伝達するための高精度のエンクォータを選択するための適応的選択戦略を提案する。 知識を効果的に伝達するために,低精度の学生ネットワークのブロックを高精度の教師ネットワークのブロックにランダムに置き換える動的ブロックスワッピング法を開発した。
  論文  参考訳（メタデータ） (2021-03-02T03:09:03Z)
• Recurrent Multi-view Alignment Network for Unsupervised Surface Registration [79.72086524370819]
  非厳格な登録をエンドツーエンドで学習することは、本質的に高い自由度とラベル付きトレーニングデータの欠如により困難である。 我々は、いくつかの剛性変換のポイントワイドな組み合わせで、非剛性変換を表現することを提案する。 また,投影された多視点2次元深度画像上での3次元形状の類似度を計測する可微分損失関数も導入する。
  論文  参考訳（メタデータ） (2020-11-24T14:22:42Z)
• Gram Regularization for Multi-view 3D Shape Retrieval [3.655021726150368]
  本稿では,グラム正規化という新しい正規化用語を提案する。 重みカーネル間の分散を強要することにより、正規化器は識別的特徴を抽出するのに役立つ。 提案したグラム正規化はデータ独立であり、ベルやホイッスルを使わずに安定かつ迅速に収束することができる。
  論文  参考訳（メタデータ） (2020-11-16T05:37:24Z)
• Shape Adaptor: A Learnable Resizing Module [59.940372879848624]
  ニューラルネットワークのための新しいリサイズモジュール: 従来のリサイズ層上に構築されたドロップインエンハンスメントであるシェイプアダプタを提案する。 我々の実装では、追加の監督なしに形状適応器をエンドツーエンドで訓練することが可能です。 ネットワーク圧縮と伝達学習の2つの応用における形状適応器の有効性を示す。
  論文  参考訳（メタデータ） (2020-08-03T14:15:52Z)
• Reusing Trained Layers of Convolutional Neural Networks to Shorten Hyperparameters Tuning Time [1.160208922584163]
  本稿では,この過程を短縮するために,異なるトレーニングで隠蔽層(畳み込み層)の重みを再利用する提案について述べる。 実験では、再使用時のトレーニング時間と、畳み込みレイヤの再使用時のバリデーション損失を比較した。 彼らはこの戦略がトレーニング時間を短縮し、その結果のニューラルネットワークの精度も向上することを確認した。
  論文  参考訳（メタデータ） (2020-06-16T11:39:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。