論文の概要: Small-Group Learning, with Application to Neural Architecture Search
- arxiv url: http://arxiv.org/abs/2012.12502v2
- Date: Thu, 11 Mar 2021 03:38:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-26 04:45:05.243542
- Title: Small-Group Learning, with Application to Neural Architecture Search
- Title（参考訳）: 小グループ学習とニューラルアーキテクチャ探索への応用
- Authors: Xuefeng Du, Pengtao Xie
- Abstract要約: 人間の学習では、学生の小さなグループが同じ学習目標に向かって協力し、そこでトピックに対する理解を仲間に表現し、アイデアを比較し、互いにトラブルシュートを手助けします。
本稿では,新しいMLフレームワークであるSGL(Small-group Learning)を開発することにより,機械学習モデルを改善するために,この人的学習手法を借用できるかどうかを検討することを目的とする。
sglは、3つの学習段階からなる多レベル最適化フレームワークとして定式化されている: 各学習者は独立してモデルを訓練し、このモデルを使って擬似ラベルを実行する。
- 参考スコア（独自算出の注目度）: 17.86826990290058
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In human learning, an effective learning methodology is small-group learning:
a small group of students work together towards the same learning objective,
where they express their understanding of a topic to their peers, compare their
ideas, and help each other to trouble-shoot problems. In this paper, we aim to
investigate whether this human learning method can be borrowed to train better
machine learning models, by developing a novel ML framework -- small-group
learning (SGL). In our framework, a group of learners (ML models) with
different model architectures collaboratively help each other to learn by
leveraging their complementary advantages. Specifically, each learner uses its
intermediately trained model to generate a pseudo-labeled dataset and re-trains
its model using pseudo-labeled datasets generated by other learners. SGL is
formulated as a multi-level optimization framework consisting of three learning
stages: each learner trains a model independently and uses this model to
perform pseudo-labeling; each learner trains another model using datasets
pseudo-labeled by other learners; learners improve their architectures by
minimizing validation losses. An efficient algorithm is developed to solve the
multi-level optimization problem. We apply SGL for neural architecture search.
Results on CIFAR-100, CIFAR-10, and ImageNet demonstrate the effectiveness of
our method.
- Abstract（参考訳）: 人間学習では、効果的な学習方法は小グループ学習(small-group learning)である。小さなグループが同じ学習目標に向かって協力し、トピックの理解を仲間に表現し、アイデアを比較し、トラブルシュート問題に互いに助け合う。
本稿では,この人的学習手法が機械学習モデルの学習に有効かどうかを,SGL(Small-group learning)という新しいMLフレームワークを開発することによって検討する。
我々のフレームワークでは、異なるモデルアーキテクチャを持つ学習者グループ(MLモデル)が、相補的な利点を生かして相互に学習するのに役立つ。
具体的には、各学習者は、その中間訓練されたモデルを使用して擬似ラベル付きデータセットを生成し、他の学習者が生成した擬似ラベル付きデータセットを使用してそのモデルを再訓練する。
SGLは3つの学習段階からなる多段階最適化フレームワークとして定式化されている。各学習者は独立してモデルをトレーニングし、このモデルを使用して擬似ラベルを実行する。
多レベル最適化問題を解くために効率的なアルゴリズムを開発した。
ニューラルネットワーク探索にSGLを適用した。
The results on CIFAR-100, CIFAR-10, and ImageNet showed the effective of our method。
関連論文リスト
- ConML: A Universal Meta-Learning Framework with Task-Level Contrastive Learning [49.447777286862994]
ConMLは、さまざまなメタ学習アルゴリズムに適用可能な、普遍的なメタ学習フレームワークである。
我々は、ConMLが最適化ベース、メートル法ベース、およびアモータイズベースメタ学習アルゴリズムとシームレスに統合できることを実証した。
論文 参考訳（メタデータ） (2024-10-08T12:22:10Z) - LLMs-as-Instructors: Learning from Errors Toward Automating Model Improvement [93.38736019287224]
LLMs-as-Instructors"フレームワークは、より小さなターゲットモデルのトレーニングを自律的に強化する。
このフレームワークは、"Learning from Errors"理論にインスパイアされ、ターゲットモデル内の特定のエラーを注意深く分析するインストラクターLLMを使用している。
本フレームワークでは,適切なトレーニングデータに対する誤応答のみに焦点を当てた「エラーからの学習」と,比較学習を用いて誤りの深い理解を行う「コントラストによるエラーからの学習」という2つの戦略を実装している。
論文 参考訳（メタデータ） (2024-06-29T17:16:04Z) - Language models are weak learners [71.33837923104808]
本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。
これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。
結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
論文 参考訳（メタデータ） (2023-06-25T02:39:19Z) - CodeGen2: Lessons for Training LLMs on Programming and Natural Languages [116.74407069443895]
我々はエンコーダとデコーダベースのモデルを単一のプレフィックスLMに統一する。
学習方法は,「フリーランチ」仮説の主張を考察する。
データ配信においては,混合分布と多言語学習がモデル性能に及ぼす影響について検討した。
論文 参考訳（メタデータ） (2023-05-03T17:55:25Z) - Implicit Offline Reinforcement Learning via Supervised Learning [83.8241505499762]
監視学習によるオフライン強化学習(RL)は、さまざまな専門レベルのポリシーによって収集されたデータセットからロボットスキルを学ぶための、シンプルで効果的な方法である。
我々は、暗黙的なモデルが返却情報を利用して、固定されたデータセットからロボットスキルを取得するために、明示的なアルゴリズムにマッチするか、あるいは性能を向上するかを示す。
論文 参考訳（メタデータ） (2022-10-21T21:59:42Z) - Learning from Mistakes based on Class Weighting with Application to
Neural Architecture Search [12.317568257671427]
ミスからの学習(LFM)という,シンプルで効果的な多段階最適化フレームワークを提案する。
主な目的は、将来の同様のミスを防ぐために、再重み付け技術を用いて、ターゲットタスクで効果的に実行するモデルを訓練することである。
本定式化では,モデルの検証損失を最小限に抑えてクラスウェイトを学習し,クラスワイド性能と実データにより重み付けされた画像生成装置の合成データを用いてモデルを再学習する。
論文 参考訳（メタデータ） (2021-12-01T04:56:49Z) - Distill on the Go: Online knowledge distillation in self-supervised
learning [1.1470070927586016]
最近の研究では、より広範でより深いモデルは、小さなモデルよりも自己監督学習の恩恵を受けることが示されている。
単段階オンライン知識蒸留を用いた自己指導型学習パラダイムであるDistill-on-the-Go(DoGo)を提案する。
以上の結果から,ノイズラベルや限定ラベルの存在下でのパフォーマンス向上がみられた。
論文 参考訳（メタデータ） (2021-04-20T09:59:23Z) - Interleaving Learning, with Application to Neural Architecture Search [12.317568257671427]
インターリーブ学習(IL)と呼ばれる新しい機械学習フレームワークを提案する。
私たちのフレームワークでは、一連のモデルが相互に連携してデータエンコーダを学習します。
CIFAR-10, CIFAR-100, ImageNetの画像分類にインターリービング学習を適用した。
論文 参考訳（メタデータ） (2021-03-12T00:54:22Z) - Learning to Rank Learning Curves [15.976034696758148]
本稿では,トレーニングの早い段階で,構成不良を解消し,計算予算を削減できる新しい手法を提案する。
我々は,学習曲線を観測することなく,学習曲線を効果的にランク付けできることを示す。
論文 参考訳（メタデータ） (2020-06-05T10:49:52Z) - Auto-Ensemble: An Adaptive Learning Rate Scheduling based Deep Learning
Model Ensembling [11.324407834445422]
本稿では,ディープラーニングモデルのチェックポイントを収集し,それらを自動的にアンサンブルする自動アンサンブル(AE)を提案する。
この手法の利点は、一度のトレーニングで学習率をスケジューリングすることで、モデルを様々な局所最適化に収束させることである。
論文 参考訳（メタデータ） (2020-03-25T08:17:31Z) - Three Approaches for Personalization with Applications to Federated
Learning [68.19709953755238]
本稿では,パーソナライゼーションの体系的学習理論について述べる。
学習理論の保証と効率的なアルゴリズムを提供し、その性能を実証する。
全てのアルゴリズムはモデルに依存しず、任意の仮説クラスで機能する。
論文 参考訳（メタデータ） (2020-02-25T01:36:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。