論文の概要: Learning from Mistakes -- A Framework for Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2111.06353v1
• Date: Thu, 11 Nov 2021 18:04:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-12 14:04:41.359583
• Title: Learning from Mistakes -- A Framework for Neural Architecture Search
• Title（参考訳）: 間違いから学ぶ -- ニューラルアーキテクチャ検索のためのフレームワーク
• Authors: Bhanu Garg, Li Zhang, Pradyumna Sridhara, Ramtin Hosseini, Eric Xing, Pengtao Xie
• Abstract要約: LFM(Learning From Mistakes)と呼ばれる新しい機械学習手法を提案する。 LFMは、リビジョン中の誤りにもっと集中することで学習者の学習能力を向上させる。 CIFAR-10, CIFAR-100, Imagenet 上でのニューラルネットワーク探索に LFM フレームワークを適用した。
• 参考スコア（独自算出の注目度）: 13.722450738258015
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning from one's mistakes is an effective human learning technique where the learners focus more on the topics where mistakes were made, so as to deepen their understanding. In this paper, we investigate if this human learning strategy can be applied in machine learning. We propose a novel machine learning method called Learning From Mistakes (LFM), wherein the learner improves its ability to learn by focusing more on the mistakes during revision. We formulate LFM as a three-stage optimization problem: 1) learner learns; 2) learner re-learns focusing on the mistakes, and; 3) learner validates its learning. We develop an efficient algorithm to solve the LFM problem. We apply the LFM framework to neural architecture search on CIFAR-10, CIFAR-100, and Imagenet. Experimental results strongly demonstrate the effectiveness of our model.
• Abstract（参考訳）: 間違いから学ぶことは、学習者が間違いを犯したトピックに集中し、理解を深める効果的なヒューマンラーニング手法である。 本稿では,この人間の学習戦略が機械学習に応用できるかどうかを検討する。 そこで本研究では,学習者が修正時の誤りにもっと集中することで学習能力を向上させる学習手法である learning from mistakes (lfm) を提案する。 3段階最適化問題として LFM を定式化する。 1)学習者は,学習する 2) 誤りに着目した学習者が再学習し, 3)学習者は学習を検証する。 LFM問題を解決するための効率的なアルゴリズムを開発した。 CIFAR-10, CIFAR-100, Imagenet 上のニューラルネットワーク探索に LFM フレームワークを適用した。 実験結果は,本モデルの有効性を強く示している。

関連論文リスト

• LLMs-as-Instructors: Learning from Errors Toward Automating Model Improvement [93.38736019287224]
  LLMs-as-Instructors"フレームワークは、より小さなターゲットモデルのトレーニングを自律的に強化する。 このフレームワークは、"Learning from Errors"理論にインスパイアされ、ターゲットモデル内の特定のエラーを注意深く分析するインストラクターLLMを使用している。 本フレームワークでは,適切なトレーニングデータに対する誤応答のみに焦点を当てた「エラーからの学習」と,比較学習を用いて誤りの深い理解を行う「コントラストによるエラーからの学習」という2つの戦略を実装している。
  論文  参考訳（メタデータ） (2024-06-29T17:16:04Z)
• Tree-Based Adaptive Model Learning [62.997667081978825]
  我々はKearns-Vazirani学習アルゴリズムを拡張し、時間とともに変化するシステムを扱う。 本稿では,学習前の動作を再利用し,更新し,LearnerLibライブラリに実装し,大規模な実例で評価する学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-08-31T21:24:22Z)
• Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
  我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。 知識の抽出と知識の記憶という2つの側面から問題に取り組む。 提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
  論文  参考訳（メタデータ） (2022-08-27T09:27:36Z)
• RvS: What is Essential for Offline RL via Supervised Learning? [77.91045677562802]
  近年の研究では、時間差(TD)のない教師あり学習だけでオフラインRLに極めて効果的であることが示されている。 あらゆる環境スイートにおいて、2層フィードフォワードによる可能性の最大化は競争力がある。 彼らはまた、ランダムデータに対して比較的弱い既存のRvS法の限界を探索する。
  論文  参考訳（メタデータ） (2021-12-20T18:55:16Z)
• Learning from Mistakes based on Class Weighting with Application to Neural Architecture Search [12.317568257671427]
  ミスからの学習(LFM)という,シンプルで効果的な多段階最適化フレームワークを提案する。 主な目的は、将来の同様のミスを防ぐために、再重み付け技術を用いて、ターゲットタスクで効果的に実行するモデルを訓練することである。 本定式化では,モデルの検証損失を最小限に抑えてクラスウェイトを学習し,クラスワイド性能と実データにより重み付けされた画像生成装置の合成データを用いてモデルを再学習する。
  論文  参考訳（メタデータ） (2021-12-01T04:56:49Z)
• Interleaving Learning, with Application to Neural Architecture Search [12.317568257671427]
  インターリーブ学習(IL)と呼ばれる新しい機械学習フレームワークを提案する。 私たちのフレームワークでは、一連のモデルが相互に連携してデータエンコーダを学習します。 CIFAR-10, CIFAR-100, ImageNetの画像分類にインターリービング学習を適用した。
  論文  参考訳（メタデータ） (2021-03-12T00:54:22Z)
• Learning by Teaching, with Application to Neural Architecture Search [10.426533624387305]
  学習による学習(LBT)と呼ばれる新しいMLフレームワークを提案する。 lbtでは、教師モデルが生徒モデルにうまく学ぶように教えることで自己改善する。 バリデーションデータセットで生徒がどのように振る舞うかに基づいて、教師はモデルを再学習し、生徒が優れたバリデーション性能に達するまで再指導する。
  論文  参考訳（メタデータ） (2021-03-11T23:50:38Z)
• Learning by Self-Explanation, with Application to Neural Architecture Search [12.317568257671427]
  自己説明による学習(LeaSE)と呼ばれる新しい機械学習手法を提案する。 提案手法では,予測結果の作り方について客観モデルに明確に説明することにより,その学習能力を向上させる。 CIFAR-100、CIFAR-10、ImageNetのニューラルネットワーク探索にLeaSEを適用します。
  論文  参考訳（メタデータ） (2020-12-23T07:39:54Z)
• Small-Group Learning, with Application to Neural Architecture Search [17.86826990290058]
  人間の学習では、学生の小さなグループが同じ学習目標に向かって協力し、そこでトピックに対する理解を仲間に表現し、アイデアを比較し、互いにトラブルシュートを手助けします。 本稿では,新しいMLフレームワークであるSGL(Small-group Learning)を開発することにより,機械学習モデルを改善するために,この人的学習手法を借用できるかどうかを検討することを目的とする。 sglは、3つの学習段階からなる多レベル最適化フレームワークとして定式化されている: 各学習者は独立してモデルを訓練し、このモデルを使って擬似ラベルを実行する。
  論文  参考訳（メタデータ） (2020-12-23T05:56:47Z)
• Learning Compositional Neural Programs for Continuous Control [62.80551956557359]
  スパース逆連続制御問題に対する新しい解法を提案する。 我々のソリューションはAlphaNPI-Xと呼ばれ、学習の3つの段階を含む。 我々はAlphaNPI-Xがスパース操作の課題に効果的に取り組むことを実証的に示す。
  論文  参考訳（メタデータ） (2020-07-27T08:27:14Z)
• Rethinking Few-Shot Image Classification: a Good Embedding Is All You Need? [72.00712736992618]
  メタトレーニングセット上で教師付きあるいは自己教師型表現を学習する単純なベースラインが、最先端の数ショット学習方法より優れていることを示す。 追加の増量は自己蒸留によって達成できる。 我々は,この発見が,画像分類ベンチマークとメタ学習アルゴリズムの役割を再考する動機となっていると考えている。
  論文  参考訳（メタデータ） (2020-03-25T17:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。