論文の概要: Exploring the Efficacy of Meta-Learning: Unveiling Superior Data Diversity Utilization of MAML Over Pre-training

• arxiv url: http://arxiv.org/abs/2501.08506v2
• Date: Tue, 21 Jan 2025 01:01:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:26:21.332190
• Title: Exploring the Efficacy of Meta-Learning: Unveiling Superior Data Diversity Utilization of MAML Over Pre-training
• Title（参考訳）: メタラーニングの有効性を探る:MAMLの事前学習における高次データ多様性利用の展開
• Authors: Kavita Selva, Satita Vittayaareekul, Brando Miranda,
• Abstract要約: データセットの多様性が視覚モデルの性能に影響を及ぼすことを示す。 本研究は,テストセットの精度とデータの多様性との間に正の相関関係を示す。 これらの結果は我々の仮説を支持し、形式的なデータの多様性がモデルの性能にどのように影響するかをより深く探究するための有望な方法を示す。
• 参考スコア（独自算出の注目度）: 1.3980986259786223
• License:
• Abstract: Currently, data and model size dominate the narrative in the training of super-large, powerful models. However, there has been a lack of exploration on the effect of other attributes of the training dataset on model performance. We hypothesize that dataset diversity can impact the performance of vision models. Our study shows positive correlations between test set accuracy and data diversity, providing an argument for furthering the research of dataset attributes beyond size. We analyzed pre-training and model-agnostic meta-learning methods on twelve popular visual datasets (e.g., Omniglot, CIFAR-FS, Aircraft) and five model configurations, including MAML variants with different numbers of inner gradient steps and supervised learning. We show moderate to strong positive correlations (R-squared: 0.15-0.42) between accuracy and data diversity and weaker but significant correlations (R-squared: ~0.2) between loss and diversity. These findings support our hypothesis and demonstrate a promising way for a deeper exploration of how formal data diversity influences model performance. This initial study highlights the potential of (Task2Vec) data diversity as a valuable measure in the rapidly evolving field of large-scale learning and emphasizes that understanding the dataset is key to building more powerful and generalizable models.
• Abstract（参考訳）: 現在、データとモデルサイズは、超大規模で強力なモデルのトレーニングにおいて、物語を支配している。 しかし、トレーニングデータセットの他の属性がモデルパフォーマンスに与える影響についての調査は行われていない。 データセットの多様性が視覚モデルの性能に影響を及ぼすと仮定する。 本研究は,テストセットの精度とデータの多様性との間に正の相関関係を示し,サイズを超えてデータセット属性の研究をさらに進めるための議論を提供する。 我々は,12の人気のある視覚データセット(Omniglot, CIFAR-FS, Aircraft)と5つのモデル構成に関する事前学習およびモデルに依存しないメタラーニング手法を解析した。 精度とデータの多様性の間に中程度から強い正の相関(R-squared: 0.15-0.42)と、損失と多様性の間には弱いが有意な相関(R-squared: ~0.2)を示す。 これらの結果は我々の仮説を支持し、形式的なデータの多様性がモデルの性能にどのように影響するかをより深く探究するための有望な方法を示す。 この最初の研究は、(Task2Vec)データの多様性が、大規模学習の急速に発展する分野における価値ある尺度である可能性を強調し、データセットを理解することがより強力で一般化可能なモデルを構築するための鍵であることを強調した。

関連論文リスト

• CollectiveSFT: Scaling Large Language Models for Chinese Medical Benchmark with Collective Instructions in Healthcare [12.218718086529462]
  本研究は中国における総合医療ベンチマーク(CMB)に焦点を当てる。 私たちは、より大きなモデルに匹敵するスコアを得るために、より小さなベースモデルをトレーニングしました。 幅広い指導内容を統合することで,データ品質の不整合などの潜在的な問題に対処する。
  論文  参考訳（メタデータ） (2024-07-29T05:00:48Z)
• Data Augmentation for Multivariate Time Series Classification: An Experimental Study [1.5390962520179197]
  これらのデータセットのサイズは限られていますが、RocketとInceptionTimeモデルを使用して、13のデータセットのうち10の分類精度を向上しました。 これは、コンピュータビジョンで見られる進歩と並行して、効果的なモデルを訓練する上で、十分なデータの重要性を強調している。
  論文  参考訳（メタデータ） (2024-06-10T17:58:02Z)
• DiverGen: Improving Instance Segmentation by Learning Wider Data Distribution with More Diverse Generative Data [48.31817189858086]
  生成データは、モデルが学習できるデータ分布を拡大し、過剰適合を軽減できると主張している。 DiverGenは強力なX-Pasteよりも優れており、すべてのカテゴリで+1.1ボックスAPと+1.1マスクAPを達成でき、まれなカテゴリでは+1.9ボックスAPと+2.5マスクAPを達成できる。
  論文  参考訳（メタデータ） (2024-05-16T15:30:18Z)
• Towards Better Modeling with Missing Data: A Contrastive Learning-based Visual Analytics Perspective [7.577040836988683]
  データ不足は機械学習(ML)モデリングの課題となる可能性がある。 現在のアプローチは、特徴計算とラベル予測に分類される。 本研究は、観測データに欠落した値でモデル化するコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-18T13:16:24Z)
• StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized Image-Dialogue Data [129.92449761766025]
  本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。 このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。 本研究は,各種データセットを対象とした総合的な実験を含む。
  論文  参考訳（メタデータ） (2023-08-20T12:43:52Z)
• Stubborn Lexical Bias in Data and Models [50.79738900885665]
  我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。 トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。 驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
  論文  参考訳（メタデータ） (2023-06-03T20:12:27Z)
• On the Trade-off of Intra-/Inter-class Diversity for Supervised Pre-training [72.8087629914444]
  教師付き事前学習データセットのクラス内多様性(クラス毎のサンプル数)とクラス間多様性(クラス数)とのトレードオフの影響について検討した。 トレーニング前のデータセットのサイズが固定された場合、最高のダウンストリームのパフォーマンスは、クラス内/クラス間の多様性のバランスがとれる。
  論文  参考訳（メタデータ） (2023-05-20T16:23:50Z)
• Homogenization of Existing Inertial-Based Datasets to Support Human Activity Recognition [8.076841611508486]
  信号から日常生活の行動を認識する問題に対処するために,いくつかの手法が提案されている。 慣性信号に適用する深層学習技術は有効であることが証明されており、かなりの分類精度が達成されている。 人間の行動認識モデルの研究は、ほぼ完全にモデル中心である。
  論文  参考訳（メタデータ） (2022-01-17T14:29:48Z)
• Comparing Test Sets with Item Response Theory [53.755064720563]
  我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。 Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。 また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
  論文  参考訳（メタデータ） (2021-06-01T22:33:53Z)
• Dataset Cartography: Mapping and Diagnosing Datasets with Training Dynamics [118.75207687144817]
  我々はデータセットを特徴付け、診断するモデルベースのツールであるData Mapsを紹介した。 私たちは、トレーニング中の個々のインスタンス上でのモデルの振る舞いという、ほとんど無視された情報のソースを活用しています。 以上の結果から,データ量から品質へのフォーカスの変化は,ロバストなモデルとアウト・オブ・ディストリビューションの一般化に繋がる可能性が示唆された。
  論文  参考訳（メタデータ） (2020-09-22T20:19:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。