論文の概要: Training Deep Networks from Zero to Hero: avoiding pitfalls and going beyond

• arxiv url: http://arxiv.org/abs/2109.02752v1
• Date: Mon, 6 Sep 2021 21:31:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2021-09-08 14:47:38.765743
• Title: Training Deep Networks from Zero to Hero: avoiding pitfalls and going beyond
• Title（参考訳）: zeroからheroへのディープネットワークのトレーニング - 落とし穴の回避と回避
• Authors: Moacir Antonelli Ponti, Fernando Pereira dos Santos, Leo Sampaio Ferraz Ribeiro, and Gabriel Biscaro Cavallari
• Abstract要約: このチュートリアルでは、基本的なステップと、モデルを改善するためのより最近のオプションを取り上げている。 これは特に、課題のデータセットほど準備が不十分なデータセットで有用である。
• 参考スコア（独自算出の注目度）: 59.94347858883343
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training deep neural networks may be challenging in real world data. Using models as black-boxes, even with transfer learning, can result in poor generalization or inconclusive results when it comes to small datasets or specific applications. This tutorial covers the basic steps as well as more recent options to improve models, in particular, but not restricted to, supervised learning. It can be particularly useful in datasets that are not as well-prepared as those in challenges, and also under scarce annotation and/or small data. We describe basic procedures: as data preparation, optimization and transfer learning, but also recent architectural choices such as use of transformer modules, alternative convolutional layers, activation functions, wide and deep networks, as well as training procedures including as curriculum, contrastive and self-supervised learning.
• Abstract（参考訳）: 深層ニューラルネットワークのトレーニングは、現実世界のデータでは難しいかもしれない。 モデルをブラックボックスとして使用する場合、転送学習であっても、小さなデータセットや特定のアプリケーションに関して、一般化や決定性の悪い結果をもたらす可能性がある。 このチュートリアルでは、基本的なステップと、より最近のモデルを改善するためのオプション、特に教師付き学習に制限されないものを取り上げます。 これは特に、課題のデータセットほど準備が不十分で、アノテーションや小さなデータが少ないデータセットで有用である。 データ準備、最適化、転送学習といった基本的な手順だけでなく、トランスフォーマーモジュール、代替畳み込み層、アクティベーション関数、ワイドネットワーク、ディープネットワーク、カリキュラム、コントラスト、自己教師付き学習などのトレーニング手順など、最近のアーキテクチャ上の選択についても述べる。

関連論文リスト

• These Are Not All the Features You Are Looking For: A Fundamental Bottleneck in Supervised Pretraining [10.749875317643031]
  トランスファーラーニングは、最新の機械学習の基盤であり、幅広いデータで事前訓練されたモデルを、最小限の新しいデータで新しいタスクに適応する方法を約束する。 本研究では,各タスクに対する事前学習混合物からのモデル伝達を評価し,事前学習した特徴がタスク固有の直接訓練のパフォーマンスに適合するかどうかを評価する。 ディープラーニングモデルでは、トレーニング中に同様の機能をエンコードすると、ネットワークが新しい機能を学習できないという、基本的な制限を特定します。
  論文  参考訳（メタデータ） (2025-06-23T01:04:29Z)
• Data-Efficient Challenges in Visual Inductive Priors: A Retrospective [9.961131337487243]
  ディープラーニングは、うまく動作するモデルをトレーニングするために、大量のデータを必要とします。 データ不足の設定では、パフォーマンスが劣化する可能性がある。 データ不足環境でのトレーニングモデルにどのようなディープラーニング手法が有用かを検討する。
  論文  参考訳（メタデータ） (2025-06-10T09:21:48Z)
• Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [52.03511469562013]
  3つのコアコンポーネントで構成されるICU(Iterative Contrastive Unlearning)フレームワークを紹介する。 知識未学習誘導モジュールは、未学習の損失を使用して、特定の知識を除去するためにターゲットとする。 Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を保持する。 イテレーティブ・アンラーニング・リファインメントモジュールは、進行中の評価と更新を通じて、アンラーニングプロセスを動的に調整する。
  論文  参考訳（メタデータ） (2024-07-25T07:09:35Z)
• Robust Machine Learning by Transforming and Augmenting Imperfect Training Data [6.928276018602774]
  この論文は、現代の機械学習のいくつかのデータ感度を探求する。 まず、トレーニングデータで測定された事前の人間の識別をMLが符号化するのを防ぐ方法について論じる。 次に、トレーニング中に予測忠実度を提供するが、デプロイ時に信頼性が低い突発的特徴を含むデータから学習する問題について論じる。
  論文  参考訳（メタデータ） (2023-12-19T20:49:28Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• netFound: Foundation Model for Network Security [11.38388749887112]
  本稿では,新しいトランスフォーマーベースネットワーク基盤モデルであるnetFoundを紹介する。 我々は、事前学習のために、豊富なラベルのないネットワークテレメトリデータに自己教師付き学習技術を採用する。 実運用環境では,netFoundが隠れたネットワークコンテキストを効果的にキャプチャすることを示す。
  論文  参考訳（メタデータ） (2023-10-25T22:04:57Z)
• Learn, Unlearn and Relearn: An Online Learning Paradigm for Deep Neural Networks [12.525959293825318]
  我々は、ディープニューラルネットワーク(DNN)のためのオンライン学習パラダイムであるLearning, Unlearn, and Relearn(LURE)を紹介する。 LUREは、モデルの望ましくない情報を選択的に忘れる未学習フェーズと、一般化可能な特徴の学習を強調する再学習フェーズとを交換する。 トレーニングパラダイムは、分類と少数ショット設定の両方において、データセット間で一貫したパフォーマンス向上を提供します。
  論文  参考訳（メタデータ） (2023-03-18T16:45:54Z)
• PIVOT: Prompting for Video Continual Learning [50.80141083993668]
  PIVOTは、画像領域から事前学習したモデルにおける広範な知識を活用する新しい手法である。 実験の結果,PIVOTは20タスクのアクティビティネット設定において,最先端の手法を27%向上することがわかった。
  論文  参考訳（メタデータ） (2022-12-09T13:22:27Z)
• Deep invariant networks with differentiable augmentation layers [87.22033101185201]
  データ拡張ポリシーの学習方法は、保持データを必要とし、二段階最適化の問題に基づいている。 我々のアプローチは、現代の自動データ拡張技術よりも訓練が簡単で高速であることを示す。
  論文  参考訳（メタデータ） (2022-02-04T14:12:31Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)
• Reasoning-Modulated Representations [85.08205744191078]
  タスクが純粋に不透明でないような共通的な環境について研究する。 我々のアプローチは、新しいデータ効率表現学習の道を開く。
  論文  参考訳（メタデータ） (2021-07-19T13:57:13Z)
• Friendly Training: Neural Networks Can Adapt Data To Make Learning Easier [23.886422706697882]
  フレンドリートレーニング(Friendly Training)と呼ばれる新しいトレーニング手順を提案する。 フレンドリートレーニングは、情報サブ選択とランダム選択に関して改善をもたらすことを示す。 その結果,入力データへの適応は学習を安定させ,ネットワークのスキル一般化を改善するための有効な方法であることが示唆された。
  論文  参考訳（メタデータ） (2021-06-21T10:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。