Fugu-MT 論文翻訳(概要): Interleaving Learning, with Application to Neural Architecture Search

論文の概要: Interleaving Learning, with Application to Neural Architecture Search

arxiv url: http://arxiv.org/abs/2103.07018v1
Date: Fri, 12 Mar 2021 00:54:22 GMT
ステータス: 処理完了
システム内更新日: 2021-03-15 23:27:26.406590
Title: Interleaving Learning, with Application to Neural Architecture Search
Title（参考訳）: インターリーブ学習とニューラルアーキテクチャ探索への応用
Authors: Hao Ban, Pengtao Xie
Abstract要約: インターリーブ学習(IL)と呼ばれる新しい機械学習フレームワークを提案する。私たちのフレームワークでは、一連のモデルが相互に連携してデータエンコーダを学習します。 CIFAR-10, CIFAR-100, ImageNetの画像分類にインターリービング学習を適用した。
参考スコア（独自算出の注目度）: 12.317568257671427
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Interleaving learning is a human learning technique where a learner interleaves the studies of multiple topics, which increases long-term retention and improves ability to transfer learned knowledge. Inspired by the interleaving learning technique of humans, in this paper we explore whether this learning methodology is beneficial for improving the performance of machine learning models as well. We propose a novel machine learning framework referred to as interleaving learning (IL). In our framework, a set of models collaboratively learn a data encoder in an interleaving fashion: the encoder is trained by model 1 for a while, then passed to model 2 for further training, then model 3, and so on; after trained by all models, the encoder returns back to model 1 and is trained again, then moving to model 2, 3, etc. This process repeats for multiple rounds. Our framework is based on multi-level optimization consisting of multiple inter-connected learning stages. An efficient gradient-based algorithm is developed to solve the multi-level optimization problem. We apply interleaving learning to search neural architectures for image classification on CIFAR-10, CIFAR-100, and ImageNet. The effectiveness of our method is strongly demonstrated by the experimental results.
Abstract（参考訳）: インターリーブ学習は、学習者が複数のトピックの研究をインターリーブする人間の学習技術であり、長期の保持を高め、学習した知識を伝達する能力を向上させます。本稿では,人間の相互学習技術に着想を得て,この学習手法が機械学習モデルの性能向上にも有効であるかどうかを検討する。本稿では、interleaving learning(il)と呼ばれる新しい機械学習フレームワークを提案する。私たちのフレームワークでは、一連のモデルが共同でデータエンコーダをインターリーブ形式で学習します。エンコーダはしばらくモデル1によって訓練され、さらにトレーニングするためにモデル2に渡され、そしてモデル3に渡されます。すべてのモデルによって訓練された後、エンコーダはモデル1に戻り、再びトレーニングされ、モデル2、3などに移動します。このプロセスは複数のラウンドで繰り返される。このフレームワークは,複数の相互接続学習段階からなるマルチレベル最適化に基づいている。マルチレベル最適化問題を解くために,効率的な勾配に基づくアルゴリズムを開発した。 CIFAR-10, CIFAR-100, ImageNetの画像分類にインターリービング学習を適用した。実験結果により,本手法の有効性が実証された。

関連論文リスト

Accelerating Deep Learning with Fixed Time Budget [2.190627491782159]
本稿では,一定時間内に任意のディープラーニングモデルを学習するための効果的な手法を提案する。提案手法はコンピュータビジョンにおける分類タスクと回帰タスクの両方において広範囲に評価される。
論文参考訳（メタデータ） (2024-10-03T21:18:04Z)
EfficientTrain++: Generalized Curriculum Learning for Efficient Visual Backbone Training [79.96741042766524]
訓練カリキュラムをソフトセレクション機能として再構築する。自然画像の内容の露光は,データ拡張の強度によって容易に達成できることを示す。結果のメソッドであるEfficientTrain++は単純で汎用的だが驚くほど効果的である。
論文参考訳（メタデータ） (2024-05-14T17:00:43Z)
PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [71.63186089279218]
本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
論文参考訳（メタデータ） (2023-09-13T17:55:11Z)
CodeGen2: Lessons for Training LLMs on Programming and Natural Languages [116.74407069443895]
我々はエンコーダとデコーダベースのモデルを単一のプレフィックスLMに統一する。学習方法は,「フリーランチ」仮説の主張を考察する。データ配信においては,混合分布と多言語学習がモデル性能に及ぼす影響について検討した。
論文参考訳（メタデータ） (2023-05-03T17:55:25Z)
EfficientTrain: Exploring Generalized Curriculum Learning for Training Visual Backbones [80.662250618795]
本稿では視覚バックボーン(例えば視覚変換器)の効率的なトレーニングのための新しいカリキュラム学習手法を提案する。オフザシェルフ方式として、様々な人気モデルのウォールタイムトレーニングコストを、精度を犠牲にすることなく、ImageNet-1K/22Kで1.5倍に削減する。
論文参考訳（メタデータ） (2022-11-17T17:38:55Z)
Learning from Mistakes based on Class Weighting with Application to Neural Architecture Search [12.317568257671427]
ミスからの学習(LFM)という,シンプルで効果的な多段階最適化フレームワークを提案する。主な目的は、将来の同様のミスを防ぐために、再重み付け技術を用いて、ターゲットタスクで効果的に実行するモデルを訓練することである。本定式化では,モデルの検証損失を最小限に抑えてクラスウェイトを学習し,クラスワイド性能と実データにより重み付けされた画像生成装置の合成データを用いてモデルを再学習する。
論文参考訳（メタデータ） (2021-12-01T04:56:49Z)
An Approach for Combining Multimodal Fusion and Neural Architecture Search Applied to Knowledge Tracing [6.540879944736641]
本稿では,マルチモーダル融合とニューラルアーキテクチャ探索を組み合わせた逐次モデルに基づく最適化手法を提案する。得られたモデルが優れた性能を達成できることを示す2つの公開実データに対して,本手法の評価を行った。
論文参考訳（メタデータ） (2021-11-08T13:43:46Z)
Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文参考訳（メタデータ） (2021-06-17T17:26:31Z)
Small-Group Learning, with Application to Neural Architecture Search [17.86826990290058]
人間の学習では、学生の小さなグループが同じ学習目標に向かって協力し、そこでトピックに対する理解を仲間に表現し、アイデアを比較し、互いにトラブルシュートを手助けします。本稿では,新しいMLフレームワークであるSGL(Small-group Learning)を開発することにより,機械学習モデルを改善するために,この人的学習手法を借用できるかどうかを検討することを目的とする。 sglは、3つの学習段階からなる多レベル最適化フレームワークとして定式化されている: 各学習者は独立してモデルを訓練し、このモデルを使って擬似ラベルを実行する。
論文参考訳（メタデータ） (2020-12-23T05:56:47Z)
Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
論文参考訳（メタデータ） (2020-10-01T15:59:31Z)
Learning to Rank Learning Curves [15.976034696758148]
本稿では,トレーニングの早い段階で,構成不良を解消し,計算予算を削減できる新しい手法を提案する。我々は,学習曲線を観測することなく,学習曲線を効果的にランク付けできることを示す。
論文参考訳（メタデータ） (2020-06-05T10:49:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。