論文の概要: Learning to Learn with Contrastive Meta-Objective

• arxiv url: http://arxiv.org/abs/2410.05975v3
• Date: Sat, 20 Sep 2025 15:27:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:15.618634
• Title: Learning to Learn with Contrastive Meta-Objective
• Title（参考訳）: 対照的なメタオブジェクトで学ぶこと
• Authors: Shiguang Wu, Yaqing Wang, Yatao Bian, Quanming Yao,
• Abstract要約: 本稿では,メタトレーニングにおけるタスクアイデンティティのさらなる監視として活用することを提案する。 提案したConMLは、対照的なメタオブジェクトの評価と最適化を行っている。 我々は、ConMLが既存のメタ学習モデルだけでなく、既存のメタ学習モデルとシームレスに統合できることを実証した。
• 参考スコア（独自算出の注目度）: 48.27877062976768
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Meta-learning enables learning systems to adapt quickly to new tasks, similar to humans. Different meta-learning approaches all work under/with the mini-batch episodic training framework. Such framework naturally gives the information about task identity, which can serve as additional supervision for meta-training to improve generalizability. We propose to exploit task identity as additional supervision in meta-training, inspired by the alignment and discrimination ability which is is intrinsic in human's fast learning. This is achieved by contrasting what meta-learners learn, i.e., model representations. The proposed ConML is evaluating and optimizing the contrastive meta-objective under a problem- and learner-agnostic meta-training framework. We demonstrate that ConML integrates seamlessly with existing meta-learners, as well as in-context learning models, and brings significant boost in performance with small implementation cost.
• Abstract（参考訳）: メタ学習は、学習システムが人間のように新しいタスクに迅速に適応できるようにする。 異なるメタラーニングアプローチはすべて、ミニバッチ・エピソード・トレーニング・フレームワークの下で/で機能する。 このようなフレームワークは、タスクのアイデンティティに関する情報を自然に提供します。 本稿では,人間の素早い学習に内在するアライメントと識別能力にインスパイアされた,メタトレーニングのさらなる監督としてタスクアイデンティティを活用することを提案する。 これはメタ学習者が学習するもの、すなわちモデル表現を対比することで達成される。 提案したConMLは,問題および学習者に依存しないメタトレーニングフレームワークの下で,対照的なメタオブジェクトの評価と最適化を行っている。 我々は、ConMLが既存のメタ学習モデルやコンテキスト内学習モデルとシームレスに統合できることを示し、実装コストを小さくすることで、パフォーマンスを大幅に向上させる。

関連論文リスト

• Meta-Learning with Heterogeneous Tasks [42.695853959923625]
  HeTRoM(Heterogeneous Tasks Robust Meta-learning) 双方向最適化に基づく効率的な反復最適化アルゴリズム その結果,提案手法の柔軟性が示され,多様なタスク設定に適応できることがわかった。
  論文  参考訳（メタデータ） (2024-10-24T16:32:23Z)
• CoMMIT: Coordinated Instruction Tuning for Multimodal Large Language Models [68.64605538559312]
  本稿では,MLLM命令のチューニングを理論的・経験的両面から解析する。 そこで本研究では,学習バランスを定量的に評価する尺度を提案する。 さらに,MLLMの生成分布の更新を促進する補助的損失正規化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-29T23:18:55Z)
• Meta-Learning via Classifier(-free) Guidance [5.812784742024491]
  最先端のメタ学習技術は、目に見えないタスクへのゼロショット適応を最適化しない。 本稿では,自然言語指導によるゼロショット性能向上のためのメタ学習手法を提案する。
  論文  参考訳（メタデータ） (2022-10-17T11:09:35Z)
• The Effect of Diversity in Meta-Learning [79.56118674435844]
  少ないショット学習は、少数の例から見れば、新しいタスクに対処できる表現を学習することを目的としている。 近年の研究では,タスク分布がモデルの性能に重要な役割を担っていることが示されている。 タスクの多様性がメタ学習アルゴリズムに与える影響を評価するために,多種多様なモデルとデータセットのタスク分布について検討する。
  論文  参考訳（メタデータ） (2022-01-27T19:39:07Z)
• MetaICL: Learning to Learn In Context [87.23056864536613]
  そこで我々は,メタICLというメタトレーニングフレームワークを紹介した。このフレームワークでは,事前学習された言語モデルが,大量のトレーニングタスクに対してコンテキスト内学習を行うように調整されている。 その結果,MetaICLは,目標タスクトレーニングデータに対して完全に微調整されたモデルの性能にアプローチ(時には打ち負かす)し,ほぼ8倍のパラメータを持つモデルよりも優れた性能を示すことがわかった。
  論文  参考訳（メタデータ） (2021-10-29T17:42:08Z)
• Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
  現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。 タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。 実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-04T20:15:34Z)
• A Comprehensive Overview and Survey of Recent Advances in Meta-Learning [0.0]
  メタラーニングはラーニング・トゥ・ラーン(Learning-to-Lern)とも呼ばれる。 メタラーニング手法は,ブラックボックスメタラーニング,メトリックベースメタラーニング,階層型メタラーニング,ベイズ的メタラーニングフレームワークである。
  論文  参考訳（メタデータ） (2020-04-17T03:11:08Z)
• Structured Prediction for Conditional Meta-Learning [44.30857707980074]
  構造化予測を用いた条件付きメタラーニングの新しい視点を提案する。 タスク適応型構造化メタラーニング(TASML: Task-Adaptive Structured Meta-learning)は,タスク固有目的関数を生成する基本的フレームワークである。 実験により,TASMLは既存のメタラーニングモデルの性能を向上し,ベンチマークデータセットの最先端性を上回った。
  論文  参考訳（メタデータ） (2020-02-20T15:24:15Z)
• Automated Relational Meta-learning [95.02216511235191]
  本稿では,クロスタスク関係を自動的に抽出し,メタ知識グラフを構築する自動リレーショナルメタ学習フレームワークを提案する。 我々は,2次元玩具の回帰と少数ショット画像分類に関する広範な実験を行い,ARMLが最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-01-03T07:02:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。