論文の概要: SODA: Self-organizing data augmentation in deep neural networks -- Application to biomedical image segmentation tasks

• arxiv url: http://arxiv.org/abs/2202.03223v1
• Date: Mon, 7 Feb 2022 14:24:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-08 21:19:36.957648
• Title: SODA: Self-organizing data augmentation in deep neural networks -- Application to biomedical image segmentation tasks
• Title（参考訳）: SODA:ディープニューラルネットワークにおける自己組織化データ拡張 -バイオメディカルイメージセグメンテーションタスクへの応用-
• Authors: Arnaud Deleruyelle, John Klein, Cristian Versari
• Abstract要約: 本稿では、ニューラルネットワークトレーニングの一環として、オンライン学習を活用して、この予算を早期に割り当てる。 このメタアルゴリズムは、勾配に基づく信号を利用して、どの種類のデータ拡張が望ましいかを決定するため、ほとんど余分なコストで実行できる。
• 参考スコア（独自算出の注目度）: 4.125187280299247
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In practice, data augmentation is assigned a predefined budget in terms of newly created samples per epoch. When using several types of data augmentation, the budget is usually uniformly distributed over the set of augmentations but one can wonder if this budget should not be allocated to each type in a more efficient way. This paper leverages online learning to allocate on the fly this budget as part of neural network training. This meta-algorithm can be run at almost no extra cost as it exploits gradient based signals to determine which type of data augmentation should be preferred. Experiments suggest that this strategy can save computation time and thus goes in the way of greener machine learning practices.
• Abstract（参考訳）: 実際には、データ拡張は、エポック毎に新しく作成されたサンプルの観点から、事前に定義された予算が割り当てられる。 複数の種類のデータ拡張を使用する場合、予算は通常、拡張のセットで均一に分配されるが、この予算を各タイプにより効率的な方法で割り当てるべきではないか疑問に思う。 本稿では、ニューラルネットワークトレーニングの一環として、オンライン学習を活用して、この予算を割り当てる。 このメタアルゴリズムは、勾配に基づく信号を利用して、どの種類のデータ拡張が望ましいかを決定するため、ほとんど余分なコストで実行できる。 実験によると、この戦略は計算時間を節約し、機械学習の実践を温めることができる。

関連論文リスト

• How Much Data are Enough? Investigating Dataset Requirements for Patch-Based Brain MRI Segmentation Tasks [74.21484375019334]
  ディープニューラルネットワークを確実にトレーニングするには、大規模なデータセットへのアクセスが必要である。 モデル開発に関連する時間的・経済的コストを緩和するためには,満足度の高いモデルをトレーニングするために必要なデータの量を明確に理解することが重要である。 本稿では,パッチベースのセグメンテーションネットワークのトレーニングに必要なアノテートデータの量を推定するための戦略的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-04-04T13:55:06Z)
• Fast, Distribution-free Predictive Inference for Neural Networks with Coverage Guarantees [25.798057062452443]
  本稿では,予測推論(PI)のための新しい計算効率アルゴリズムを提案する。 データに対する分布的な仮定は不要で、ニューラルネットワークの既存のブートストラップ方式よりも高速に計算できる。
  論文  参考訳（メタデータ） (2023-06-11T04:03:58Z)
• Resource saving taxonomy classification with k-mer distributions and machine learning [2.0196229393131726]
  我々はDNAから得られた$k$-merの分布を、その分類学的起源を分類するための特徴として用いることを提案する。 以上の結果から,本手法は属レベルでの分類を改良し,スーパーキングダムや植物レベルでの同等の結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-03-10T08:01:08Z)
• Bypass Exponential Time Preprocessing: Fast Neural Network Training via Weight-Data Correlation Preprocessing [16.35997749365563]
  最先端のディープニューラルネットワークは、モデル精度を高めるために、毎年サイズが大きくなる。 最近の作業(Song, Yang and Zhang, NeurIPS 2021)では、このイテレーション毎の時間を$o(nmd)$に削減していますが、データかニューラルネットワークの重みを前処理するのに指数関数的な時間が必要です。 本稿では,各反復でどのニューロンが発火するかを迅速かつ動的に検出するために,木構造に重みデータ相関を簡易に格納する前処理手法を提案する。
  論文  参考訳（メタデータ） (2022-11-25T16:40:49Z)
• Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
  我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。 我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
  論文  参考訳（メタデータ） (2022-10-14T01:42:05Z)
• A Sublinear Adversarial Training Algorithm [13.42699247306472]
  本稿では,ReLUの活性化をシフトした2層ニューラルネットワーク上での対向的トレーニング手順の収束保証を解析する。 本研究では,半空間レポートデータ構造を適用して,時間コスト$o(m n d)$の逆トレーニングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-08-10T15:31:40Z)
• Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations [76.82124752950148]
  我々はデータ拡張を選択するための便利な勾配法を開発した。 我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
  論文  参考訳（メタデータ） (2022-02-22T02:51:11Z)
• Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
  現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。 本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。 我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
  論文  参考訳（メタデータ） (2022-01-11T20:53:15Z)
• How to distribute data across tasks for meta-learning? [59.608652082495624]
  タスクごとのデータポイントの最適な数は予算に依存しますが、それは大きな予算のためのユニークな一定の値に収束します。 この結果から,データ収集の簡便かつ効率的な手順が示唆された。
  論文  参考訳（メタデータ） (2021-03-15T15:38:47Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。