論文の概要: Hierarchical Variational Memory for Few-shot Learning Across Domains

• arxiv url: http://arxiv.org/abs/2112.08181v1
• Date: Wed, 15 Dec 2021 15:01:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-16 19:06:03.314979
• Title: Hierarchical Variational Memory for Few-shot Learning Across Domains
• Title（参考訳）: ドメイン間のFew-shot学習のための階層的変動記憶
• Authors: Yingjun Du, Xiantong Zhen, Ling Shao, Cees G. M. Snoek
• Abstract要約: 本稿では,プロトタイプの各レベルが階層メモリから対応する情報を取得する階層型プロトタイプモデルを提案する。 このモデルには、ドメインシフトの状況が要求される場合、異なるセマンティックレベルの機能を柔軟に依存する能力が備わっている。 モデルにおける各コンポーネントの有効性を示すために、徹底的なアブレーション研究を行っている。
• 参考スコア（独自算出の注目度）: 120.87679627651153
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural memory enables fast adaptation to new tasks with just a few training samples. Existing memory models store features only from the single last layer, which does not generalize well in presence of a domain shift between training and test distributions. Rather than relying on a flat memory, we propose a hierarchical alternative that stores features at different semantic levels. We introduce a hierarchical prototype model, where each level of the prototype fetches corresponding information from the hierarchical memory. The model is endowed with the ability to flexibly rely on features at different semantic levels if the domain shift circumstances so demand. We meta-learn the model by a newly derived hierarchical variational inference framework, where hierarchical memory and prototypes are jointly optimized. To explore and exploit the importance of different semantic levels, we further propose to learn the weights associated with the prototype at each level in a data-driven way, which enables the model to adaptively choose the most generalizable features. We conduct thorough ablation studies to demonstrate the effectiveness of each component in our model. The new state-of-the-art performance on cross-domain and competitive performance on traditional few-shot classification further substantiates the benefit of hierarchical variational memory.
• Abstract（参考訳）: ニューラルメモリは、少数のトレーニングサンプルで新しいタスクへの迅速な適応を可能にする。 既存のメモリモデルは、単一の最終層からのみ機能を格納するが、トレーニングとテストディストリビューション間のドメインシフトの存在下では、うまく一般化しない。 フラットメモリに頼るのではなく、異なる意味レベルで機能を格納する階層的な代替を提案する。 プロトタイプの各レベルが階層的メモリから対応する情報をフェッチする階層的プロトタイプモデルを提案する。 ドメインシフトの状況が要求される場合、モデルは異なるセマンティックレベルの機能を柔軟に依存する能力を備えています。 我々は,階層的メモリとプロトタイプを協調的に最適化する階層的変動推論フレームワークにより,モデルをメタラーニングする。 異なる意味レベルの重要性を探求し、活用するために、さらに、各レベルにおけるプロトタイプに関連する重みをデータ駆動方式で学習し、モデルが最も一般化可能な特徴を適応的に選択できるようにする。 我々は,モデルにおける各成分の有効性を示すため,徹底的なアブレーション研究を行う。 クロスドメインにおける新しい最先端性能と、従来の数ショット分類における競合性能は、階層的変動メモリの利点をさらに裏付けるものである。

関連論文リスト

• Benchmarking Hebbian learning rules for associative memory [0.0]
  連想記憶は認知と計算の脳科学における重要な概念である。 ストレージ容量とプロトタイプ抽出に関する6つの異なる学習ルールをベンチマークする。
  論文  参考訳（メタデータ） (2023-12-30T21:49:47Z)
• Submodel Partitioning in Hierarchical Federated Learning: Algorithm Design and Convergence Analysis [15.311309249848739]
  階層学習(FL)は、従来の「星のトポロジー」アーキテクチャに基づく連合学習(FL)よりも有望なスケーラビリティを実証している。 本稿では,IoT(Internet of Things)の独立したサブトレーニングを提案する。 HISTの背景にある主要なアイデアは、モデル計算のグローバルバージョンであり、グローバルモデルを各ラウンドの非結合サブモデルに分割し、異なるセルに分散する。
  論文  参考訳（メタデータ） (2023-10-27T04:42:59Z)
• A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental Learning [56.450090618578]
  CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。 モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。 本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
  論文  参考訳（メタデータ） (2022-05-26T08:24:01Z)
• Pin the Memory: Learning to Generalize Semantic Segmentation [68.367763672095]
  本稿ではメタラーニングフレームワークに基づくセマンティックセグメンテーションのための新しいメモリ誘導ドメイン一般化手法を提案する。 本手法は,セマンティッククラスの概念的知識を,ドメインを超えて一定であるカテゴリ記憶に抽象化する。
  論文  参考訳（メタデータ） (2022-04-07T17:34:01Z)
• Multi-dataset Pretraining: A Unified Model for Semantic Segmentation [97.61605021985062]
  我々は、異なるデータセットの断片化アノテーションを最大限に活用するために、マルチデータセット事前訓練と呼ばれる統合フレームワークを提案する。 これは、複数のデータセットに対して提案されたピクセルからプロトタイプへのコントラスト損失を通じてネットワークを事前トレーニングすることで実現される。 異なるデータセットからの画像とクラス間の関係をより良くモデル化するために、クロスデータセットの混合によりピクセルレベルの埋め込みを拡張する。
  論文  参考訳（メタデータ） (2021-06-08T06:13:11Z)
• Fine-grained Classification via Categorical Memory Networks [42.413523046712896]
  きめ細かい機能学習のためのクラス固有のメモリモジュールを提示する。 メモリモジュールは、各カテゴリの原型的特徴表現を移動平均として格納する。 クラス固有のメモリモジュールを標準畳み込みニューラルネットワークに統合し、カテゴリメモリネットワークを生成します。
  論文  参考訳（メタデータ） (2020-12-12T11:50:13Z)
• Learning to Learn Variational Semantic Memory [132.39737669936125]
  我々はメタラーニングに変分セマンティックメモリを導入し、数ショットラーニングのための長期的知識を得る。 セマンティックメモリはスクラッチから成長し、経験したタスクから情報を吸収することで徐々に統合される。 アドレスコンテンツから潜在記憶変数の変動推論としてメモリリコールを定式化する。
  論文  参考訳（メタデータ） (2020-10-20T15:05:26Z)
• Selecting Relevant Features from a Multi-domain Representation for Few-shot Classification [91.67977602992657]
  本稿では,従来の特徴適応手法よりもシンプルかつ効果的である特徴選択に基づく新しい戦略を提案する。 このような特徴の上に構築された単純な非パラメトリック分類器は高い精度を示し、訓練中に見たことのない領域に一般化する。
  論文  参考訳（メタデータ） (2020-03-20T15:44:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。