論文の概要: Reevaluating Meta-Learning Optimization Algorithms Through Contextual Self-Modulation

• arxiv url: http://arxiv.org/abs/2410.01655v2
• Date: Wed, 11 Jun 2025 13:33:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 06:35:01.558822
• Title: Reevaluating Meta-Learning Optimization Algorithms Through Contextual Self-Modulation
• Title（参考訳）: 文脈自己変調によるメタラーニング最適化アルゴリズムの再評価
• Authors: Roussel Desmond Nzoyem, David A. W. Barton, Tom Deakin,
• Abstract要約: 文脈自己変調(CSM)はニューラルコンテキストフロー(NCF)の強力な正規化機構である 我々は,CSMを関数空間に埋め込むことで無限変量に拡張する$i$CSMと,サンプリングされた最も近い環境の集合を通して,低コストなメタ段階更新の近似を提供することでスケーラビリティを向上させる$NCFという2つの拡張を導入する。 これらの拡張は、力学系、コンピュータビジョン問題、曲線フィッティング問題など、様々なタスクに関する包括的な実験を通じて実証される。
• 参考スコア（独自算出の注目度）: 0.7373617024876724
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contextual Self-Modulation (CSM) (Nzoyem et al., 2025) is a potent regularization mechanism for Neural Context Flows (NCFs) which demonstrates powerful meta-learning on physical systems. However, CSM has limitations in its applicability across different modalities and in high-data regimes. In this work, we introduce two extensions: $i$CSM which expands CSM to infinite-dimensional variations by embedding the contexts into a function space, and StochasticNCF which improves scalability by providing a low-cost approximation of meta-gradient updates through a sampled set of nearest environments. These extensions are demonstrated through comprehensive experimentation on a range of tasks, including dynamical systems, computer vision challenges, and curve fitting problems. Additionally, we incorporate higher-order Taylor expansions via Taylor-Mode automatic differentiation, revealing that higher-order approximations do not necessarily enhance generalization. Finally, we demonstrate how CSM can be integrated into other meta-learning frameworks with FlashCAVIA, a computationally efficient extension of the CAVIA meta-learning framework (Zintgraf et al., 2019). Together, these contributions highlight the significant benefits of CSM and indicate that its strengths in meta-learning and out-of-distribution tasks are particularly well-suited to physical systems. Our open-source library, designed for modular integration of self-modulation into contextual meta-learning workflows, is available at https://github.com/ddrous/self-mod.
• Abstract（参考訳）: 文脈自己変調 (CSM) (Nzoyem et al , 2025) は、物理的システムにおける強力なメタ学習を示すニューラルネットワークフロー(NCF)の強力な正規化機構である。 しかし、CSMは様々なモダリティや高データレシエーションに適用性に制限がある。 本稿では,CSMを関数空間に埋め込むことで無限次元の変動に拡張する$i$CSMと,より近い環境のサンプルセットを通じて,低コストなメタ段階更新の近似を提供することでスケーラビリティを向上させるStochasticNCFという2つの拡張を導入する。 これらの拡張は、力学系、コンピュータビジョン問題、曲線フィッティング問題など、様々なタスクに関する包括的な実験を通じて実証される。 さらに、Taylor-Mode自動微分による高階テイラー展開を組み込んで、高階近似が必ずしも一般化を促進しないことを示した。 最後に、CSMを他のメタ学習フレームワークに組み込む方法を示す。これは、CAVIAメタ学習フレームワーク(Zintgraf et al , 2019)の計算的に効率的な拡張である。 これらの貢献は、CSMの重要な利点を強調し、メタラーニングとアウト・オブ・ディストリビューションタスクにおけるその強みが、物理システムに特に適していることを示している。 私たちのオープンソースライブラリは、自己変調をコンテキストのメタ学習ワークフローにモジュール化するために設計されており、https://github.com/ddrous/self-mod.comで利用可能です。

関連論文リスト

• Feature Calibration enhanced Parameter Synthesis for CLIP-based Class-incremental Learning [10.253058594622017]
  クラスインクリメンタルラーニング(Class-Incremental Learning, CIL)は、モデルが従来のクラスを維持しながら、新しいクラスの知識を継続的に学習することを可能にする。 従来のCILメソッドは主に視覚的特徴に依存しており、複雑なマルチモーダルシナリオでの有効性を制限している。 モデル固有の一般化能力を保ちながら破滅的な一般化を緩和する特徴強化合成(FCPS)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-24T13:44:12Z)
• Semi-supervised Semantic Segmentation with Multi-Constraint Consistency Learning [81.02648336552421]
  本稿では,エンコーダとデコーダの段階的拡張を容易にするためのマルチ制約一貫性学習手法を提案する。 自己適応型特徴マスキングとノイズ注入は、デコーダの堅牢な学習のための特徴を摂動させるために、インスタンス固有の方法で設計されている。 Pascal VOC2012およびCityscapesデータセットの実験結果から,提案したMCCLが新たな最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2025-03-23T03:21:33Z)
• Will Pre-Training Ever End? A First Step Toward Next-Generation Foundation MLLMs via Self-Improving Systematic Cognition [86.21199607040147]
  自己改善認知(Self-Improving cognition、SIcog)は、次世代基礎言語モデルを構築するための自己学習フレームワークである。 ステップバイステップの視覚的理解手法であるChain-of-Descriptionを導入し、構造化連鎖推論(CoT)を統合し、深いマルチモーダル推論をサポートする。 広範囲にわたる実験により、SIcogはマルチモーダル認知を著しく改善した次世代基盤MLLMを生産することが示された。
  論文  参考訳（メタデータ） (2025-03-16T00:25:13Z)
• ConfigX: Modular Configuration for Evolutionary Algorithms via Multitask Reinforcement Learning [24.66031883340297]
  本稿では,多様なEAを促進する汎用構成エージェント(モデル)を学習可能な,MetaBBOフレームワークの新しいパラダイムであるConfigXを紹介する。 我々のConfigXは、大規模な事前学習の後、目に見えないタスクに対して堅牢なゼロショットの一般化を実現し、最先端のベースラインを上回っます。
  論文  参考訳（メタデータ） (2024-12-10T13:43:51Z)
• Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning [113.89327264634984]
  FSCIL(Few-shot class-incremental Learning)は、最小限のトレーニングサンプルを持つモデルに新しいクラスを統合するという課題に直面している。 従来の手法では、固定パラメータ空間に依存する静的適応を広く採用し、逐次到着するデータから学習する。 本稿では、動的適応のための中間特徴に基づいてプロジェクションパラメータを動的に調整する2つの選択型SSMプロジェクタを提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:09:39Z)
• Unleashing Network Potentials for Semantic Scene Completion [50.95486458217653]
  本稿では,新しいSSCフレームワーク - Adrial Modality Modulation Network (AMMNet)を提案する。 AMMNetは、モダリティ間の勾配流の相互依存性を可能にするクロスモーダル変調と、動的勾配競争を利用するカスタマイズされた逆トレーニングスキームの2つのコアモジュールを導入している。 AMMNetは最先端のSSC法よりも大きなマージンで優れていた。
  論文  参考訳（メタデータ） (2024-03-12T11:48:49Z)
• USER: Unified Semantic Enhancement with Momentum Contrast for Image-Text Retrieval [115.28586222748478]
  Image-Text Retrieval (ITR) は、与えられたクエリに意味のあるターゲットインスタンスを、他のモダリティから検索することを目的としている。 既存のアプローチは通常、2つの大きな制限に悩まされる。
  論文  参考訳（メタデータ） (2023-01-17T12:42:58Z)
• Leveraging Memory Effects and Gradient Information in Consensus-Based Optimization: On Global Convergence in Mean-Field Law [0.0]
  高次元のグローバルおよび非スムース最適化に適した多目的で柔軟でカスタマイズ可能なコンセンサスベース最適化(CBO)法を提案する。 我々は、力学が平均場法則における目的関数の大域的最小化に収束することを証明した。 我々は,機械学習や圧縮センシング剤などの応用において,このCBO変種が優れているという証拠を提示し,CBOの適用範囲を広げる。
  論文  参考訳（メタデータ） (2022-11-22T11:22:11Z)
• Continual Variational Autoencoder Learning via Online Cooperative Memorization [11.540150938141034]
  変分オートエンコーダ(VAE)は連続的な学習分類タスクでうまく使われている。 しかし、連続学習で学んだクラスやデータベースに対応する仕様で画像を生成する能力はよく理解されていない。 我々は、CLを動的最適輸送問題として定式化する新しい理論フレームワークを開発する。 次に,新しいメモリバッファリング手法,すなわちオンライン協調記憶(OCM)フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-20T18:19:27Z)
• Learning towards Synchronous Network Memorizability and Generalizability for Continual Segmentation across Multiple Sites [52.84959869494459]
  臨床実践では、複数のサイトから連続的なデータストリームを継続的に学習するために、セグメンテーションネットワークが必要であることが多い。 既存の方法は、通常、以前のサイトのネットワーク記憶可能性や、目に見えないサイトの一般化可能性に制限される。 本稿では,SMG学習フレームワークの提案により,同期記憶可能性と一般化可能性の問題に取り組むことを目的とする。
  論文  参考訳（メタデータ） (2022-06-14T13:04:36Z)
• Meta-Learning with Neural Tangent Kernels [58.06951624702086]
  メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。 このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。 本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
  論文  参考訳（メタデータ） (2021-02-07T20:53:23Z)
• Optimization-Inspired Learning with Architecture Augmentations and Control Mechanisms for Low-Level Vision [74.9260745577362]
  本稿では,GDC(Generative, Discriminative, and Corrective)の原則を集約する,最適化に着想を得た統合学習フレームワークを提案する。 フレキシブルな組み合わせで最適化モデルを効果的に解くために,3つのプロパゲーティブモジュールを構築した。 低レベル視覚タスクにおける実験は、GDCの有効性と適応性を検証する。
  論文  参考訳（メタデータ） (2020-12-10T03:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。