論文の概要: Extending Contextual Self-Modulation: Meta-Learning Across Modalities, Task Dimensionalities, and Data Regimes

• arxiv url: http://arxiv.org/abs/2410.01655v1
• Date: Wed, 2 Oct 2024 15:19:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 16:13:24.587572
• Title: Extending Contextual Self-Modulation: Meta-Learning Across Modalities, Task Dimensionalities, and Data Regimes
• Title（参考訳）: 文脈的自己変調の拡張: モダリティ、タスク次元、データレジームを横断するメタラーニング
• Authors: Roussel Desmond Nzoyem, David A. W. Barton, Tom Deakin,
• Abstract要約: Contextual Self-Modulation (CSM)は、Neural Context Flow (NCF)フレームワークの強力な正規化メカニズムである。 CSMを無限次元タスクに拡張する$i$CSMと、スケーラビリティを向上させる$i$NCFという2つの拡張を導入する。 これらの拡張は、様々なタスクに関する包括的な実験を通じて実証される。
• 参考スコア（独自算出の注目度）: 0.7373617024876724
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contextual Self-Modulation (CSM) is a potent regularization mechanism for the Neural Context Flow (NCF) framework which demonstrates powerful meta-learning of physical systems. However, CSM has limitations in its applicability across different modalities and in high-data regimes. In this work, we introduce two extensions: $i$CSM, which expands CSM to infinite-dimensional tasks, and StochasticNCF, which improves scalability. These extensions are demonstrated through comprehensive experimentation on a range of tasks, including dynamical systems with parameter variations, computer vision challenges, and curve fitting problems. $i$CSM embeds the contexts into an infinite-dimensional function space, as opposed to CSM which uses finite-dimensional context vectors. StochasticNCF enables the application of both CSM and $i$CSM to high-data scenarios by providing an unbiased approximation of meta-gradient updates through a sampled set of nearest environments. Additionally, we incorporate higher-order Taylor expansions via Taylor-Mode automatic differentiation, revealing that higher-order approximations do not necessarily enhance generalization. Finally, we demonstrate how CSM can be integrated into other meta-learning frameworks with FlashCAVIA, a computationally efficient extension of the CAVIA meta-learning framework (Zintgraf et al. 2019). FlashCAVIA outperforms its predecessor across various benchmarks and reinforces the utility of bi-level optimization techniques. Together, these contributions establish a robust framework for tackling an expanded spectrum of meta-learning tasks, offering practical insights for out-of-distribution generalization. Our open-sourced library, designed for flexible integration of self-modulation into contextual meta-learning workflows, is available at \url{github.com/ddrous/self-mod}.
• Abstract（参考訳）: コンテキスト自己変調(CSM)は、物理システムの強力なメタ学習を示すニューラルネットワークフロー(NCF)フレームワークの強力な正規化メカニズムである。 しかし、CSMは様々なモダリティや高データレシエーションに適用性に制限がある。 本稿では,CSMを無限次元タスクに拡張する$i$CSMと,スケーラビリティを向上させるStochasticNCFの2つの拡張を紹介する。 これらの拡張は、パラメータの変動を伴う力学系、コンピュータビジョンの問題、曲線フィッティング問題など、様々なタスクに関する包括的な実験を通じて実証される。 $i$CSM は、有限次元の文脈ベクトルを使用する CSM とは対照的に、コンテキストを無限次元の関数空間に埋め込む。 StochasticNCFはCSMと$i$CSMの両方を、最も近い環境のサンプルセットを通じて、非バイアスのないメタ段階更新の近似を提供することで、高データシナリオに適用することができる。 さらに、Taylor-Mode自動微分による高階テイラー展開を組み込んで、高階近似が必ずしも一般化を促進しないことを示した。 最後に、CSMを他のメタ学習フレームワークと統合して、CAVIAメタ学習フレームワークの計算効率の良い拡張であるFlashCAVIA(Zintgraf et al 2019)を実演する。 FlashCAVIAは前バージョンを様々なベンチマークで上回り、二段階最適化技術の有用性を強化している。 これらの貢献は、多様なメタ学習タスクに取り組むための堅牢なフレームワークを確立し、アウト・オブ・ディストリビューションの一般化のための実践的な洞察を提供する。 我々のオープンソースライブラリは、自己変調を文脈的メタ学習ワークフローに柔軟に統合するために設計されており、 \url{github.com/ddrous/self-mod}で利用可能です。

関連論文リスト

• Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning [113.89327264634984]
  FSCIL(Few-shot class-incremental Learning)は、最小限のトレーニングサンプルを持つモデルに新しいクラスを統合するという課題に直面している。 従来の手法では、固定パラメータ空間に依存する静的適応を広く採用し、逐次到着するデータから学習する。 本稿では、動的適応のための中間特徴に基づいてプロジェクションパラメータを動的に調整する2つの選択型SSMプロジェクタを提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:09:39Z)
• Unleashing Network Potentials for Semantic Scene Completion [50.95486458217653]
  本稿では,新しいSSCフレームワーク - Adrial Modality Modulation Network (AMMNet)を提案する。 AMMNetは、モダリティ間の勾配流の相互依存性を可能にするクロスモーダル変調と、動的勾配競争を利用するカスタマイズされた逆トレーニングスキームの2つのコアモジュールを導入している。 AMMNetは最先端のSSC法よりも大きなマージンで優れていた。
  論文  参考訳（メタデータ） (2024-03-12T11:48:49Z)
• USER: Unified Semantic Enhancement with Momentum Contrast for Image-Text Retrieval [115.28586222748478]
  Image-Text Retrieval (ITR) は、与えられたクエリに意味のあるターゲットインスタンスを、他のモダリティから検索することを目的としている。 既存のアプローチは通常、2つの大きな制限に悩まされる。
  論文  参考訳（メタデータ） (2023-01-17T12:42:58Z)
• Leveraging Memory Effects and Gradient Information in Consensus-Based Optimization: On Global Convergence in Mean-Field Law [0.0]
  高次元のグローバルおよび非スムース最適化に適した多目的で柔軟でカスタマイズ可能なコンセンサスベース最適化(CBO)法を提案する。 我々は、力学が平均場法則における目的関数の大域的最小化に収束することを証明した。 我々は,機械学習や圧縮センシング剤などの応用において,このCBO変種が優れているという証拠を提示し,CBOの適用範囲を広げる。
  論文  参考訳（メタデータ） (2022-11-22T11:22:11Z)
• Continual Variational Autoencoder Learning via Online Cooperative Memorization [11.540150938141034]
  変分オートエンコーダ(VAE)は連続的な学習分類タスクでうまく使われている。 しかし、連続学習で学んだクラスやデータベースに対応する仕様で画像を生成する能力はよく理解されていない。 我々は、CLを動的最適輸送問題として定式化する新しい理論フレームワークを開発する。 次に,新しいメモリバッファリング手法,すなわちオンライン協調記憶(OCM)フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-20T18:19:27Z)
• Learning towards Synchronous Network Memorizability and Generalizability for Continual Segmentation across Multiple Sites [52.84959869494459]
  臨床実践では、複数のサイトから連続的なデータストリームを継続的に学習するために、セグメンテーションネットワークが必要であることが多い。 既存の方法は、通常、以前のサイトのネットワーク記憶可能性や、目に見えないサイトの一般化可能性に制限される。 本稿では,SMG学習フレームワークの提案により,同期記憶可能性と一般化可能性の問題に取り組むことを目的とする。
  論文  参考訳（メタデータ） (2022-06-14T13:04:36Z)
• Meta-Learning with Neural Tangent Kernels [58.06951624702086]
  メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。 このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。 本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
  論文  参考訳（メタデータ） (2021-02-07T20:53:23Z)
• Optimization-Inspired Learning with Architecture Augmentations and Control Mechanisms for Low-Level Vision [74.9260745577362]
  本稿では,GDC(Generative, Discriminative, and Corrective)の原則を集約する,最適化に着想を得た統合学習フレームワークを提案する。 フレキシブルな組み合わせで最適化モデルを効果的に解くために,3つのプロパゲーティブモジュールを構築した。 低レベル視覚タスクにおける実験は、GDCの有効性と適応性を検証する。
  論文  参考訳（メタデータ） (2020-12-10T03:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。