論文の概要: Labeled-Data-Free Meta-Learning: Efficient Task Generation Using Pre-trained Models and Unlabeled Data
- arxiv url: http://arxiv.org/abs/2607.02850v1
- Date: Fri, 03 Jul 2026 01:02:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.43397
- Title: Labeled-Data-Free Meta-Learning: Efficient Task Generation Using Pre-trained Models and Unlabeled Data
- Title（参考訳）: ラベル付きデータなしメタラーニング:事前学習モデルと未学習データを用いた効率的なタスク生成
- Authors: Lei Sun, Yusuke Tanaka, Tomoharu Iwata,
- Abstract要約: 本稿では,事前学習したモデルとラベルなしデータを協調的に活用することにより,モデル反転を回避するメタラーニング環境を提案する。
本手法は,事前学習したモデルからラベルなしデータにソフトラベルを割り当てることで,メタトレーニングタスクを生成する。
我々の手法は計算コストを大幅に削減し、一般化を改善し、104倍のスピードアップと8.4%から36.4%の改善を実現している。
- 参考スコア（独自算出の注目度）: 19.84420546281245
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Meta-learning without labeled data is crucial for real-world applications, where obtaining labeled datasets can be expensive or restricted due to privacy concerns. Data-Free Meta-Learning (DFML) addresses this challenge by leveraging pre-trained models without access to training data. However, existing DFML methods rely on model inversion to generate training data, a process that is generally difficult and computationally expensive due to the need to generate high-dimensional data matching the original distribution. To address this limitation, we propose a novel meta-learning setting that avoids model inversion by jointly leveraging pre-trained models and unlabeled data. Our method generates meta-training tasks by assigning soft labels from pre-trained models to unlabeled data. Since the quality of these tasks can vary, we introduce a task-weighting mechanism based on task confidence and class distribution balance to ensure effective meta-learning. Extensive experiments demonstrate that our approach substantially reduces computational cost and improves generalization, achieving up to 104-fold speedup and 8.4 percent to 36.4 percent improvements in few-shot classification accuracy compared to state-of-the-art DFML methods.
- Abstract（参考訳）: ラベル付きデータのないメタラーニングは、ラベル付きデータセットの取得がプライバシの懸念により高価または制限される現実世界のアプリケーションにとって不可欠である。
Data-Free Meta-Learning (DFML)は、トレーニングデータにアクセスせずに事前トレーニングされたモデルを活用することで、この課題に対処する。
しかし、既存のDFML法はトレーニングデータを生成するためにモデルインバージョンに依存しており、これは元々の分布と一致する高次元のデータを生成する必要があるため、一般に困難で計算コストが高いプロセスである。
この制限に対処するために,事前学習されたモデルとラベルなしデータとを併用することにより,モデル反転を回避するメタラーニング環境を提案する。
本手法は,事前学習したモデルからラベルなしデータにソフトラベルを割り当てることで,メタトレーニングタスクを生成する。
タスクの質は様々であるため,タスク信頼度とクラス分布バランスに基づくタスク重み付け機構を導入し,効果的なメタ学習を実現する。
大規模な実験により,我々の手法は計算コストを大幅に削減し,一般化を向上し,最新のDFML法と比較して104倍のスピードアップと8.4%から36.4%の改善を実現した。
関連論文リスト
- Forgetting-MarI: LLM Unlearning via Marginal Information Regularization [6.979586479353831]
既存の未学習のメソッドは、特定のデータを“忘れる”場合に必要以上の情報を取り除くことで、モデルのパフォーマンスを劣化させることが多い。
我々は,LLMアンラーニングフレームワークであるForgetting-MarIを紹介した。
限界情報をペナル化することにより、トレーニングされたモデルにおける未学習データセットの残差の影響を明示的に上限付けし、証明不能な検出を可能にする。
論文 参考訳（メタデータ） (2025-11-14T22:48:39Z) - DeepDistill: Enhancing LLM Reasoning Capabilities via Large-Scale Difficulty-Graded Data Training [16.441081996257576]
大規模言語モデル(LLM)は、最近、様々な複雑な推論ベンチマークで顕著なパフォーマンスを達成した。
難易度が変化する約334万のユニークなクエリを含む大規模で難易度の高い推論データセットを構築した。
AIME2024の数学的推論ベンチマークで79.2%のパス率を達成することで、ベースモデルの推論能力を大幅に改善する。
論文 参考訳（メタデータ） (2025-04-24T13:57:53Z) - Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。
本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
論文 参考訳（メタデータ） (2024-10-22T06:43:28Z) - FREE: Faster and Better Data-Free Meta-Learning [77.90126669914324]
Data-Free Meta-Learning (DFML) は、トレーニング済みモデルのコレクションから、元のデータを必要としない知識を抽出することを目的としている。
i)事前訓練されたモデルからトレーニングタスクを迅速に回復するためのメタジェネレータ,(ii)新しい未知のタスクに一般化するためのメタラーナーを含む、より高速で優れたデータフリーなメタラーニングフレームワークを紹介する。
論文 参考訳（メタデータ） (2024-05-02T03:43:19Z) - How to Train Data-Efficient LLMs [56.41105687693619]
事前学習言語モデル(LLM)に対するデータ効率のアプローチについて検討する。
Ask-LLMと密度サンプリングがそれぞれのカテゴリで最適であることがわかった。
何百もの評価タスクと事前学習作業を含む19個のサンプルを比較したところ,Ask-LLMと密度がそれぞれのカテゴリで最適な方法であることが判明した。
論文 参考訳（メタデータ） (2024-02-15T02:27:57Z) - Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。
TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
論文 参考訳（メタデータ） (2023-11-23T15:46:54Z) - Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。
このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。
データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-31T03:35:59Z) - Complementary Ensemble Learning [1.90365714903665]
我々は最先端のディープラーニングモデルの性能向上手法を考案した。
具体的には、最先端モデルの不確実性を補完できる補助モデルを訓練する。
論文 参考訳（メタデータ） (2021-11-09T03:23:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。