論文の概要: Learn To Learn More Precisely

• arxiv url: http://arxiv.org/abs/2408.04590v1
• Date: Thu, 8 Aug 2024 17:01:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-09 14:58:04.782492
• Title: Learn To Learn More Precisely
• Title（参考訳）: より正確に学ぶことを学ぶ
• Authors: Runxi Cheng, Yongxian Wei, Xianglong He, Wanyun Zhu, Songsong Huang, Fei Richard Yu, Fei Ma, Chun Yuan,
• Abstract要約: より正確に学習すること」は、モデルにデータから正確な目標知識を学習させることを目的としている。 学習知識の一貫性を最大化するために,メタ自己蒸留(Meta Self-Distillation:MSD)という,シンプルで効果的なメタ学習フレームワークを提案する。 MSDは、標準シナリオと拡張シナリオの両方において、数ショットの分類タスクにおいて顕著なパフォーマンスを示す。
• 参考スコア（独自算出の注目度）: 30.825058308218047
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Meta-learning has been extensively applied in the domains of few-shot learning and fast adaptation, achieving remarkable performance. While Meta-learning methods like Model-Agnostic Meta-Learning (MAML) and its variants provide a good set of initial parameters for the model, the model still tends to learn shortcut features, which leads to poor generalization. In this paper, we propose the formal conception of "learn to learn more precisely", which aims to make the model learn precise target knowledge from data and reduce the effect of noisy knowledge, such as background and noise. To achieve this target, we proposed a simple and effective meta-learning framework named Meta Self-Distillation(MSD) to maximize the consistency of learned knowledge, enhancing the models' ability to learn precise target knowledge. In the inner loop, MSD uses different augmented views of the same support data to update the model respectively. Then in the outer loop, MSD utilizes the same query data to optimize the consistency of learned knowledge, enhancing the model's ability to learn more precisely. Our experiment demonstrates that MSD exhibits remarkable performance in few-shot classification tasks in both standard and augmented scenarios, effectively boosting the accuracy and consistency of knowledge learned by the model.
• Abstract（参考訳）: メタラーニングは、いくつかのショットラーニングと高速適応の領域で広く適用されており、優れたパフォーマンスを実現している。 Model-Agnostic Meta-Learning (MAML) のようなメタラーニング手法とその変種はモデルの初期パラメータセットとして優れたものであるが、モデルはまだショートカット機能を学ぶ傾向にあり、一般化が不十分である。 本稿では,モデルがデータから正確な対象知識を学習させ,背景や雑音といったノイズのある知識の効果を低減することを目的とした,より正確に学習するための学習の形式的概念を提案する。 この目的を達成するために,メタ自己蒸留(Meta Self-Distillation:MSD)というメタ学習フレームワークを提案し,学習知識の一貫性を最大化し,モデルが正確な目標知識を学習する能力を向上させる。 内部ループでは、MSDは同じサポートデータの異なる拡張ビューを使用してそれぞれモデルを更新する。 そして、外部ループにおいて、MSDは、同じクエリデータを使用して学習した知識の一貫性を最適化し、モデルがより正確に学習できる能力を向上する。 実験により,MSDは標準シナリオと拡張シナリオの両方において,数ショットの分類タスクにおいて顕著な性能を示し,モデルが学習した知識の精度と一貫性を効果的に向上させることを示した。

関連論文リスト

• KBAlign: Efficient Self Adaptation on Specific Knowledge Bases [75.78948575957081]
  大規模言語モデル(LLM)は通常、知識材料を瞬時に活用するために、検索強化世代に依存している。 本稿では,知識ベースを含む下流タスクへの効率的な適応を目的としたKBAlignを提案する。 提案手法は,Q&Aペアやリビジョン提案などの自己注釈付きデータを用いて反復学習を行い,モデルが知識内容を効率的に把握できるようにする。
  論文  参考訳（メタデータ） (2024-11-22T08:21:03Z)
• Gradual Learning: Optimizing Fine-Tuning with Partially Mastered Knowledge in Large Language Models [51.20499954955646]
  大規模言語モデル(LLM)は、事前学習期間中に大量のテキストコーパスから膨大な量の知識を取得する。 微調整や推論のような後段では、モデルは初期訓練でカバーされていない知識に遭遇する可能性がある。 本稿では,モデル全体のテスト精度と知識保持性を改善するための2段階の微調整戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-08T08:35:16Z)
• Learning to Unlearn for Robust Machine Unlearning [6.488418950340473]
  学習過程を最適化する新しいLTU(Learning-to-Unlearn)フレームワークを提案する。 LTUは、モデルが一般化可能な知識を効果的に保存することを容易にするメタ最適化スキームを含んでいる。 また、記憶と忘れのための最適化トラジェクトリを整列するグラディエント調和戦略も導入する。
  論文  参考訳（メタデータ） (2024-07-15T07:36:00Z)
• Learning Semantic Proxies from Visual Prompts for Parameter-Efficient Fine-Tuning in Deep Metric Learning [13.964106147449051]
  既存のソリューションは、既存の画像データセット上でトレーニング済みのモデルを微調整することに集中している。 我々は、事前学習された視覚変換器(ViT)における視覚プロンプト(VPT)の学習に基づく、新しい効果的なフレームワークを提案する。 セマンティック情報を用いた新しい近似が代表的能力よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-04T04:42:05Z)
• Meta-Learning with Self-Improving Momentum Target [72.98879709228981]
  メタラーナーの性能を向上させるために,SiMT(Self-improving Momentum Target)を提案する。 SiMTはメタラーナーの時間アンサンブルから適応してターゲットモデルを生成する。 我々は、SiMTが幅広いメタ学習手法と組み合わせることで、大きなパフォーマンス向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-10-11T06:45:15Z)
• On Fast Adversarial Robustness Adaptation in Model-Agnostic Meta-Learning [100.14809391594109]
  モデルに依存しないメタラーニング(MAML)は、数発の学習において最も成功したメタラーニング手法の1つである。 メタモデルの一般化力にもかかわらず、マルチショット学習においてMDLがいかに敵対的堅牢性を維持することができるかは明らかではない。 本稿では,ラベルなしデータ拡張,高速な攻撃生成,計算量軽微な微調整を可能にする,汎用的かつ最適化が容易なロバストネス正規化メタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-20T22:03:04Z)
• Unraveling Meta-Learning: Understanding Feature Representations for Few-Shot Tasks [55.66438591090072]
  メタラーニングの基礎となる力学と、メタラーニングを用いて訓練されたモデルと古典的に訓練されたモデルの違いをよりよく理解する。 数ショット分類のための標準訓練ルーチンの性能を高める正則化器を開発した。
  論文  参考訳（メタデータ） (2020-02-17T03:18:45Z)
• Towards explainable meta-learning [5.802346990263708]
  メタラーニングは、さまざまな機械学習アルゴリズムが幅広い予測タスクでどのように機能するかを発見することを目的としている。 State of the Artアプローチは、最高のメタモデルを探すことに重点を置いているが、これらの異なる側面がパフォーマンスにどのように貢献するかは説明していない。 ブラックボックスサロゲートモデルから知識を抽出するために,eXplainable Artificial Intelligence (XAI) のために開発された手法を提案する。
  論文  参考訳（メタデータ） (2020-02-11T09:42:29Z)
• Revisiting Meta-Learning as Supervised Learning [69.2067288158133]
  メタラーニングと従来の教師付き学習の関連性を再考し,強化することで,原則的,統一的なフレームワークの提供を目指す。 タスク固有のデータセットとターゲットモデルを(機能、ラベル)サンプルとして扱うことで、多くのメタ学習アルゴリズムを教師付き学習のインスタンスに還元することができる。 この視点は、メタラーニングを直感的で実践的なフレームワークに統一するだけでなく、教師付き学習から直接洞察を伝達してメタラーニングを改善することができる。
  論文  参考訳（メタデータ） (2020-02-03T06:13:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。