論文の概要: Learning from Mistakes based on Class Weighting with Application to Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2112.00275v1
• Date: Wed, 1 Dec 2021 04:56:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-02 14:50:53.076383
• Title: Learning from Mistakes based on Class Weighting with Application to Neural Architecture Search
• Title（参考訳）: クラス重み付けに基づく誤りからの学習とニューラルアーキテクチャ検索への応用
• Authors: Jay Gala, Pengtao Xie
• Abstract要約: ミスからの学習(LFM)という,シンプルで効果的な多段階最適化フレームワークを提案する。 主な目的は、将来の同様のミスを防ぐために、再重み付け技術を用いて、ターゲットタスクで効果的に実行するモデルを訓練することである。 本定式化では,モデルの検証損失を最小限に抑えてクラスウェイトを学習し,クラスワイド性能と実データにより重み付けされた画像生成装置の合成データを用いてモデルを再学習する。
• 参考スコア（独自算出の注目度）: 12.317568257671427
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning from mistakes is an effective learning approach widely used in human learning, where a learner pays greater focus on mistakes to circumvent them in the future. It aids in improving the overall learning outcomes. In this work, we aim to investigate how effectively this exceptional learning ability can be used to improve machine learning models as well. We propose a simple and effective multi-level optimization framework called learning from mistakes (LFM), inspired by mistake-driven learning to train better machine learning models. Our LFM framework consists of a formulation involving three learning stages. The primary objective is to train a model to perform effectively on target tasks by using a re-weighting technique to prevent similar mistakes in the future. In this formulation, we learn the class weights by minimizing the validation loss of the model and re-train the model with the synthetic data from the image generator weighted by class-wise performance and real data. We apply our LFM framework for differential architecture search methods on image classification datasets such as CIFAR and ImageNet, where the results demonstrate the effectiveness of our proposed strategy.
• Abstract（参考訳）: ミスから学ぶことは、人間の学習で広く使われている効果的な学習手法であり、学習者は将来、間違いを避けるために間違いにもっと注力する。 全体的な学習結果を改善するのに役立つ。 本研究では,この特殊学習能力が機械学習モデルの改善にいかに効果的に利用できるかを検討することを目的とする。 そこで本研究では,誤り駆動学習にヒントを得て,より優れた機械学習モデルを学習するための,単純で効果的な多レベル最適化フレームワークであるlearning from mistakes (lfm)を提案する。 LFMフレームワークは3つの学習段階を含む定式化で構成されている。 主な目的は、将来的なミスを防ぐために再重み付け技術を用いて、ターゲットタスクで効果的に実行するモデルを訓練することである。 本稿では,モデルの検証損失を最小化し,クラス別性能と実データで重み付けされた画像生成器から合成データを用いてモデルを再訓練することにより,クラス重み付けを学習する。 我々は,CIFAR や ImageNet などの画像分類データセットに対する差分アーキテクチャ探索手法に LFM フレームワークを適用し,提案手法の有効性を実証した。

関連論文リスト

• LLMs-as-Instructors: Learning from Errors Toward Automating Model Improvement [93.38736019287224]
  LLMs-as-Instructors"フレームワークは、より小さなターゲットモデルのトレーニングを自律的に強化する。 このフレームワークは、"Learning from Errors"理論にインスパイアされ、ターゲットモデル内の特定のエラーを注意深く分析するインストラクターLLMを使用している。 本フレームワークでは,適切なトレーニングデータに対する誤応答のみに焦点を当てた「エラーからの学習」と,比較学習を用いて誤りの深い理解を行う「コントラストによるエラーからの学習」という2つの戦略を実装している。
  論文  参考訳（メタデータ） (2024-06-29T17:16:04Z)
• Unlearning with Control: Assessing Real-world Utility for Large Language Model Unlearning [97.2995389188179]
  最近の研究は、勾配上昇(GA)を通した大規模言語モデル(LLM)の未学習にアプローチし始めている。 その単純さと効率性にもかかわらず、我々はGAベースの手法が過剰な未学習の傾向に直面することを示唆している。 過剰な未学習の度合いを制御できるいくつかの制御手法を提案する。
  論文  参考訳（メタデータ） (2024-06-13T14:41:00Z)
• Learning Objective-Specific Active Learning Strategies with Attentive Neural Processes [72.75421975804132]
  学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。 能動学習問題の対称性と独立性を利用した新しい分類法を提案する。 私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
  論文  参考訳（メタデータ） (2023-09-11T14:16:37Z)
• Model Sparsity Can Simplify Machine Unlearning [33.18951938708467]
  最近のデータ規制要件に応えて、マシン・アンラーニング(MU)が重要なプロセスとして登場した。 本研究は,ウェイトプルーニングによるモデルスペーシフィケーションという,新しいモデルベース視点を紹介する。 理論と実践の両方において、モデルスパーシティは、近似アンラーナーのマルチ基準アンラーニング性能を高めることができることを示す。
  論文  参考訳（メタデータ） (2023-04-11T02:12:02Z)
• Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
  ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。 しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。 これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
  論文  参考訳（メタデータ） (2023-04-05T07:28:33Z)
• Learnability of Learning Performance and Its Application to Data Valuation [11.78594243870616]
  ほとんどの機械学習(ML)タスクでは、与えられたデータセットで学習パフォーマンスを評価するには、集中的な計算が必要である。 学習性能を効率的に推定する能力は、アクティブラーニング、データ品質管理、データバリュエーションといった幅広いアプリケーションに恩恵をもたらす可能性がある。 最近の実証研究では、多くの一般的なMLモデルに対して、少量のサンプルを用いて任意の入力データセットの学習性能を予測するパラメトリックモデルを正確に学習できることが示されている。
  論文  参考訳（メタデータ） (2021-07-13T18:56:04Z)
• Interleaving Learning, with Application to Neural Architecture Search [12.317568257671427]
  インターリーブ学習(IL)と呼ばれる新しい機械学習フレームワークを提案する。 私たちのフレームワークでは、一連のモデルが相互に連携してデータエンコーダを学習します。 CIFAR-10, CIFAR-100, ImageNetの画像分類にインターリービング学習を適用した。
  論文  参考訳（メタデータ） (2021-03-12T00:54:22Z)
• Small-Group Learning, with Application to Neural Architecture Search [17.86826990290058]
  人間の学習では、学生の小さなグループが同じ学習目標に向かって協力し、そこでトピックに対する理解を仲間に表現し、アイデアを比較し、互いにトラブルシュートを手助けします。 本稿では,新しいMLフレームワークであるSGL(Small-group Learning)を開発することにより,機械学習モデルを改善するために,この人的学習手法を借用できるかどうかを検討することを目的とする。 sglは、3つの学習段階からなる多レベル最適化フレームワークとして定式化されている: 各学習者は独立してモデルを訓練し、このモデルを使って擬似ラベルを実行する。
  論文  参考訳（メタデータ） (2020-12-23T05:56:47Z)
• Transfer Learning without Knowing: Reprogramming Black-box Machine Learning Models with Scarce Data and Limited Resources [78.72922528736011]
  そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。 ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。 BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
  論文  参考訳（メタデータ） (2020-07-17T01:52:34Z)
• Learning to Reweight with Deep Interactions [104.68509759134878]
  本稿では,教師モデルに内部状態を提供する改良型データ再重み付けアルゴリズムを提案する。 クリーン/ノイズラベルとニューラルマシン翻訳を用いた画像分類実験は、我々のアルゴリズムが従来の手法よりも大幅に改善されていることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-07-09T09:06:31Z)
• Learning to Rank Learning Curves [15.976034696758148]
  本稿では,トレーニングの早い段階で,構成不良を解消し,計算予算を削減できる新しい手法を提案する。 我々は,学習曲線を観測することなく,学習曲線を効果的にランク付けできることを示す。
  論文  参考訳（メタデータ） (2020-06-05T10:49:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。