論文の概要: Unsupervised Meta-Learning via In-Context Learning

• arxiv url: http://arxiv.org/abs/2405.16124v2
• Date: Tue, 01 Oct 2024 06:29:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-02 16:32:02.817770
• Title: Unsupervised Meta-Learning via In-Context Learning
• Title（参考訳）: インテクスト学習による教師なしメタラーニング
• Authors: Anna Vettoruzzo, Lorenzo Braccaioli, Joaquin Vanschoren, Marlena Nowaczyk,
• Abstract要約: 本稿では,教師なしメタ学習における教師なしメタ学習の一般化能力を活用した新しい手法を提案する。 提案手法は,メタラーニングをシーケンスモデリング問題として再設計し,トランスフォーマーエンコーダがサポート画像からタスクコンテキストを学習できるようにする。
• 参考スコア（独自算出の注目度）: 3.4165401459803335
• License:
• Abstract: Unsupervised meta-learning aims to learn feature representations from unsupervised datasets that can transfer to downstream tasks with limited labeled data. In this paper, we propose a novel approach to unsupervised meta-learning that leverages the generalization abilities of in-context learning observed in transformer architectures. Our method reframes meta-learning as a sequence modeling problem, enabling the transformer encoder to learn task context from support images and utilize it to predict query images. At the core of our approach lies the creation of diverse tasks generated using a combination of data augmentations and a mixing strategy that challenges the model during training while fostering generalization to unseen tasks at test time. Experimental results on benchmark datasets showcase the superiority of our approach over existing unsupervised meta-learning baselines, establishing it as the new state-of-the-art in the field. Remarkably, our method achieves competitive results with supervised and self-supervised approaches, underscoring the efficacy of the model in leveraging generalization over memorization.
• Abstract（参考訳）: 教師なしメタラーニングは、ラベル付き限られたデータで下流タスクに転送できる教師なしデータセットから特徴表現を学習することを目的としている。 本稿では,トランスフォーマーアーキテクチャで観測される文脈内学習の一般化能力を活用する,教師なしメタラーニングの新たなアプローチを提案する。 提案手法は, メタラーニングをシーケンスモデリング問題として再設計し, トランスフォーマーエンコーダがサポート画像からタスクコンテキストを学習し, クエリ画像の予測に利用できるようにする。 このアプローチの核心にあるのは、データ拡張と、トレーニング中にモデルに挑戦し、テスト時に見えないタスクに一般化を奨励するミキシング戦略を組み合わせた、多様なタスクの生成です。 ベンチマークデータセットの実験結果から、既存の教師なしメタラーニングベースラインよりもアプローチが優れていることが示され、この分野における新しい最先端技術として確立された。 注意すべき点として,本手法は,教師付きおよび自己教師型アプローチによる競合的な結果を達成し,メモリ化よりも一般化を活用できるモデルの有効性を裏付けるものである。

関連論文リスト

• Meta-Prior: Meta learning for Adaptive Inverse Problem Solvers [9.364509804053275]
  現実のイメージングの課題は、しばしば真実のデータを欠いているため、従来の監督されたアプローチは効果がない。 本手法では,様々な画像処理タスクに対してメタモデルを訓練し,特定のタスクに対して効率的に微調整を行う。 簡単な設定で、このアプローチはベイズ最適推定器を復元し、我々のアプローチの健全性を示す。
  論文  参考訳（メタデータ） (2023-11-30T17:02:27Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• Multi-View Class Incremental Learning [57.14644913531313]
  マルチビュー学習(MVL)は、下流タスクのパフォーマンスを改善するためにデータセットの複数の視点から情報を統合することで大きな成功を収めている。 本稿では,複数視点クラスインクリメンタルラーニング(MVCIL)と呼ばれる新しいパラダイムについて考察する。
  論文  参考訳（メタデータ） (2023-06-16T08:13:41Z)
• Predictive Experience Replay for Continual Visual Control and Forecasting [62.06183102362871]
  視覚力学モデリングのための新しい連続学習手法を提案し,その視覚制御と予測における有効性について検討する。 まず,タスク固有のダイナミクスをガウスの混合で学習する混合世界モデルを提案し,その上で,破滅的な忘れを克服するための新たなトレーニング戦略を提案する。 我々のモデルは,DeepMind Control と Meta-World のベンチマークにおいて,既存の連続的学習アルゴリズムと視覚的RLアルゴリズムの単純な組み合わせよりも優れている。
  論文  参考訳（メタデータ） (2023-03-12T05:08:03Z)
• Towards Sequence-Level Training for Visual Tracking [60.95799261482857]
  本研究は、強化学習に基づく視覚追跡のためのシーケンスレベルのトレーニング戦略を導入する。 4つの代表的な追跡モデル、SiamRPN++、SiamAttn、TransT、TrDiMPは、提案手法をトレーニングに取り入れることで一貫して改善されている。
  論文  参考訳（メタデータ） (2022-08-11T13:15:36Z)
• Multi-Modal Unsupervised Pre-Training for Surgical Operating Room Workflow Analysis [4.866110274299399]
  本稿では,単一のビデオフレームや画像に対して,マルチモーダルデータを融合する新しい手法を提案する。 マルチモーダルデータを異なるビューとして扱い、クラスタリングを介して教師なしの方法でモデルを訓練する。 以上の結果から,手術映像の動作認識とセマンティックセグメンテーションにおけるアプローチの優れた性能が示された。
  論文  参考訳（メタデータ） (2022-07-16T10:32:27Z)
• Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
  現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。 タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。 実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-04T20:15:34Z)
• Multimodal Contrastive Training for Visual Representation Learning [45.94662252627284]
  マルチモーダルデータを取り入れた視覚表現の学習手法を開発した。 本手法は,各モダリティおよびセマンティクス情報内の本質的なデータ特性をクロスモーダル相関から同時に利用する。 統合フレームワークにマルチモーダルトレーニングを組み込むことで,より強力で汎用的な視覚的特徴を学習することができる。
  論文  参考訳（メタデータ） (2021-04-26T19:23:36Z)
• Continual Learning From Unlabeled Data Via Deep Clustering [7.704949298975352]
  継続的学習は、新しいタスクが到着するたびにモデルをスクラッチから再トレーニングするのではなく、少ない計算とメモリリソースを使って、新しいタスクをインクリメンタルに学習することを目的としている。 クラスタ割り当てから得られた擬似ラベルをモデル更新に用いて,教師なしモードで継続的学習を実現する新たなフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-14T23:46:17Z)
• Revisiting Meta-Learning as Supervised Learning [69.2067288158133]
  メタラーニングと従来の教師付き学習の関連性を再考し,強化することで,原則的,統一的なフレームワークの提供を目指す。 タスク固有のデータセットとターゲットモデルを(機能、ラベル)サンプルとして扱うことで、多くのメタ学習アルゴリズムを教師付き学習のインスタンスに還元することができる。 この視点は、メタラーニングを直感的で実践的なフレームワークに統一するだけでなく、教師付き学習から直接洞察を伝達してメタラーニングを改善することができる。
  論文  参考訳（メタデータ） (2020-02-03T06:13:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。