論文の概要: Fly-CL: A Fly-Inspired Framework for Enhancing Efficient Decorrelation and Reduced Training Time in Pre-trained Model-based Continual Representation Learning

• arxiv url: http://arxiv.org/abs/2510.16877v1
• Date: Sun, 19 Oct 2025 15:21:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:39.191468
• Title: Fly-CL: A Fly-Inspired Framework for Enhancing Efficient Decorrelation and Reduced Training Time in Pre-trained Model-based Continual Representation Learning
• Title（参考訳）: Fly-CL: 事前学習モデルに基づく連続表現学習における効率なデコレーションとトレーニング時間の短縮を目的としたフライインスパイアされたフレームワーク
• Authors: Heming Zou, Yunliang Zang, Wutong Xu, Xiangyang Ji,
• Abstract要約: Fly-CLはバイオインスパイアされたフレームワークで、幅広い事前訓練されたバックボーンと互換性がある。 本研究では,Fly-CL が並列性を徐々に解決し,より効率的な類似性を実現する方法を示す。
• 参考スコア（独自算出の注目度）: 42.58175645355976
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Using a nearly-frozen pretrained model, the continual representation learning paradigm reframes parameter updates as a similarity-matching problem to mitigate catastrophic forgetting. However, directly leveraging pretrained features for downstream tasks often suffers from multicollinearity in the similarity-matching stage, and more advanced methods can be computationally prohibitive for real-time, low-latency applications. Inspired by the fly olfactory circuit, we propose Fly-CL, a bio-inspired framework compatible with a wide range of pretrained backbones. Fly-CL substantially reduces training time while achieving performance comparable to or exceeding that of current state-of-the-art methods. We theoretically show how Fly-CL progressively resolves multicollinearity, enabling more effective similarity matching with low time complexity. Extensive simulation experiments across diverse network architectures and data regimes validate Fly-CL's effectiveness in addressing this challenge through a biologically inspired design. Code is available at https://github.com/gfyddha/Fly-CL.
• Abstract（参考訳）: ほぼ凍結した事前学習モデルを用いて、連続表現学習パラダイムはパラメータ更新を類似性マッチング問題として再フレームし、破滅的な忘れを緩和する。 しかし、下流タスクに事前訓練された特徴を直接活用することは、類似性マッチングの段階では多重線型性に悩まされることが多く、より高度な手法はリアルタイムで低レイテンシなアプリケーションでは計算が禁じられる。 フライ嗅覚回路にインスパイアされたFly-CLは、幅広い事前学習されたバックボーンに適合するバイオインスパイアされたフレームワークである。 Fly-CLは、現在の最先端メソッドと同等以上のパフォーマンスを達成しながら、トレーニング時間を大幅に短縮する。 理論的には、Fly-CLが徐々に多重線型性を解消し、より効率的な類似性を低時間複雑性に適合させることができることを示す。 多様なネットワークアーキテクチャやデータ構造にわたる大規模なシミュレーション実験は、Fly-CLが生物学的にインスパイアされた設計によってこの問題に対処する上での有効性を検証する。 コードはhttps://github.com/gfyddha/Fly-CLで入手できる。

関連論文リスト

• Causal Disentanglement and Cross-Modal Alignment for Enhanced Few-Shot Learning [11.752632557524969]
  Causal CLIP Adapter(CCA)は、CLIPから抽出された視覚的特徴を明示的に分離する新しいフレームワークである。 本手法は, 分散シフトに対する数ショット性能とロバスト性の観点から, 常に最先端の手法より優れる。
  論文  参考訳（メタデータ） (2025-08-05T05:30:42Z)
• AmorLIP: Efficient Language-Image Pretraining via Amortization [52.533088120633785]
  Contrastive Language-Image Pretraining (CLIP) は、様々な下流のテキストイメージタスクにまたがる強力なゼロショット性能を示している。 軽量ニューラルネットワークによるコントラスト学習に関わる高価な計算を記憶する,効率的なCLIP事前学習フレームワークであるAmorLIPを提案する。
  論文  参考訳（メタデータ） (2025-05-25T05:30:37Z)
• CODE-CL: Conceptor-Based Gradient Projection for Deep Continual Learning [6.738409533239947]
  深層ニューラルネットワークは、タスクを逐次学習する際に破滅的な忘れに苦しむ。 最近のアプローチでは、勾配投影を用いた部分空間の更新が制限されている。 本稿では,Deep Continual Learning (CODE-CL) のための概念ベース勾配予測法を提案する。
  論文  参考訳（メタデータ） (2024-11-21T22:31:06Z)
• TS-ACL: Closed-Form Solution for Time Series-oriented Continual Learning [16.270548433574465]
  時系列のクラス増分学習は、破滅的な忘れ物とクラス内のバリエーションの2つの大きな課題に直面している。 そこで, TS-ACLを提案する。これは, 傾きのない閉形式解を利用して, 悲惨な忘れ問題を回避する。 プライバシー保護と効率性も備えている。
  論文  参考訳（メタデータ） (2024-10-21T12:34:02Z)
• LoRanPAC: Low-rank Random Features and Pre-trained Models for Bridging Theory and Practice in Continual Learning [103.45785408116146]
  連続学習(CL)は、連続的に提示される複数のタスクを解決できるモデルを訓練することを目的としている。 最近のCLアプローチは、ダウンストリームタスクをうまく一般化する大規模な事前学習モデルを活用することで、強力なパフォーマンスを実現している。 しかし、これらの手法には理論的保証がなく、予期せぬ失敗をしがちである。 理論的に健全で高性能な単純なCL法を設計することで,このギャップを埋めることを目指している。
  論文  参考訳（メタデータ） (2024-10-01T12:58:37Z)
• Adaptive Multi-Scale Decomposition Framework for Time Series Forecasting [26.141054975797868]
  本稿では,時系列予測のための新しい適応型マルチスケール分解(AMD)フレームワークを提案する。 我々のフレームワークは時系列を複数のスケールで異なる時間パターンに分解し、MDM(Multi-Scale Decomposable Mixing)ブロックを活用する。 提案手法は,時間依存性とチャネル依存性の両方を効果的にモデル化し,マルチスケールデータ統合を改良するために自己相関を利用する。
  論文  参考訳（メタデータ） (2024-06-06T05:27:33Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。