論文の概要: Feature-based Graph Attention Networks Improve Online Continual Learning

• arxiv url: http://arxiv.org/abs/2502.09143v1
• Date: Thu, 13 Feb 2025 10:18:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:49:38.093236
• Title: Feature-based Graph Attention Networks Improve Online Continual Learning
• Title（参考訳）: 機能ベースのグラフアテンションネットワークはオンライン連続学習を改善する
• Authors: Adjovi Sim, Zhengkui Wang, Aik Beng Ng, Shalini De Mello, Simon See, Wonmin Byeon,
• Abstract要約: グラフ注意ネットワーク(GAT)に基づく新しいオンライン連続学習フレームワークを提案する。 GATは文脈的関係を効果的に捉え、学習された注意重みを通してタスク固有の表現を動的に更新する。 また,メモリ予算を維持しつつ,以前のタスクの表現を改善するリハーサルメモリ複製手法を提案する。
• 参考スコア（独自算出の注目度）: 19.557518080476566
• License:
• Abstract: Online continual learning for image classification is crucial for models to adapt to new data while retaining knowledge of previously learned tasks. This capability is essential to address real-world challenges involving dynamic environments and evolving data distributions. Traditional approaches predominantly employ Convolutional Neural Networks, which are limited to processing images as grids and primarily capture local patterns rather than relational information. Although the emergence of transformer architectures has improved the ability to capture relationships, these models often require significantly larger resources. In this paper, we present a novel online continual learning framework based on Graph Attention Networks (GATs), which effectively capture contextual relationships and dynamically update the task-specific representation via learned attention weights. Our approach utilizes a pre-trained feature extractor to convert images into graphs using hierarchical feature maps, representing information at varying levels of granularity. These graphs are then processed by a GAT and incorporate an enhanced global pooling strategy to improve classification performance for continual learning. In addition, we propose the rehearsal memory duplication technique that improves the representation of the previous tasks while maintaining the memory budget. Comprehensive evaluations on benchmark datasets, including SVHN, CIFAR10, CIFAR100, and MiniImageNet, demonstrate the superiority of our method compared to the state-of-the-art methods.
• Abstract（参考訳）: 画像分類のためのオンライン連続学習は、以前に学習したタスクの知識を維持しながら、モデルが新しいデータに適応するために不可欠である。 この能力は、動的環境やデータ分散の進化に関わる現実的な課題に対処するために不可欠である。 従来のアプローチでは、主に畳み込みニューラルネットワークを採用しており、画像のグリッドとしての処理に限られており、主にリレーショナル情報ではなく、局所的なパターンをキャプチャする。 トランスフォーマーアーキテクチャの出現により、関係をキャプチャする能力が向上したが、これらのモデルは大きなリソースを必要とすることが多い。 本稿では,グラフ注意ネットワーク(GAT)に基づく新しいオンライン連続学習フレームワークを提案する。 提案手法では,事前学習した特徴抽出器を用いて,階層的特徴写像を用いて画像からグラフへ変換し,様々な粒度の情報を表現している。 これらのグラフは、GATによって処理され、連続学習のための分類性能を改善するために拡張されたグローバルプール戦略が組み込まれている。 また,メモリ予算を維持しつつ,以前のタスクの表現を改善するリハーサルメモリ複製手法を提案する。 SVHN, CIFAR10, CIFAR100, MiniImageNetなどのベンチマークデータセットの総合評価は, 最先端の手法と比較して, 提案手法の優位性を実証している。

関連論文リスト

• Graph Memory Learning: Imitating Lifelong Remembering and Forgetting of Brain Networks [31.554027786868815]
  本稿では,BGML(Brain-inspired Graph Memory Learning)というグラフメモリ学習の新たな概念を紹介する。 BGMLは、記憶と忘れの潜在的な衝突を軽減するために、特徴グラフの粒度学習に根ざした多階層的階層的漸進学習機構を組み込んでいる。 さらに,新たに追加されるインクリメンタル情報における信頼できない構造の問題に対処するために,情報自己評価のオーナシップ機構を提案する。
  論文  参考訳（メタデータ） (2024-07-27T05:50:54Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• TeachAugment: Data Augmentation Optimization Using Teacher Knowledge [11.696069523681178]
  本稿では,TeachAugment と呼ばれる逆戦略に基づくデータ拡張最適化手法を提案する。 画像分類,セマンティックセグメンテーション,教師なし表現学習において,TeachAugmentは既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-25T06:22:51Z)
• Graph Few-shot Class-incremental Learning [25.94168397283495]
  新しいクラスを段階的に学習する能力は、すべての現実世界の人工知能システムにとって不可欠である。 本稿では,グラフFCL(Graph Few-shot Class-incremental)問題について検討する。 基本クラスから繰り返しタスクをサンプリングすることでグラフ擬似インクリメンタルラーニングパラダイムを提案する。 本稿では,タスクレベルの注意とノードクラスのプロトタイプから計算したタスク依存型正規化器について述べる。
  論文  参考訳（メタデータ） (2021-12-23T19:46:07Z)
• Graph-Based Neural Network Models with Multiple Self-Supervised Auxiliary Tasks [79.28094304325116]
  グラフ畳み込みネットワークは、構造化されたデータポイント間の関係をキャプチャするための最も有望なアプローチである。 マルチタスク方式でグラフベースニューラルネットワークモデルを学習するための3つの新しい自己教師付き補助タスクを提案する。
  論文  参考訳（メタデータ） (2020-11-14T11:09:51Z)
• Multi-Level Graph Convolutional Network with Automatic Graph Learning for Hyperspectral Image Classification [63.56018768401328]
  HSI分類のための自動グラフ学習法(MGCN-AGL)を用いたマルチレベルグラフ畳み込みネットワーク(GCN)を提案する。 空間的に隣接する領域における重要度を特徴付けるために注意機構を利用することで、最も関連性の高い情報を適応的に組み込んで意思決定を行うことができる。 MGCN-AGLは局所的に生成した表現表現に基づいて画像領域間の長距離依存性を符号化する。
  論文  参考訳（メタデータ） (2020-09-19T09:26:20Z)
• Adversarially-Trained Deep Nets Transfer Better: Illustration on Image Classification [53.735029033681435]
  トランスファーラーニングは、訓練済みのディープニューラルネットワークを画像認識タスクに新しいドメインに適用するための強力な方法論である。 本研究では,非逆学習モデルよりも逆学習モデルの方が優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-11T22:48:42Z)
• GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
  グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。 自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-06-17T16:18:35Z)
• Tensor Graph Convolutional Networks for Multi-relational and Robust Learning [74.05478502080658]
  本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。 提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
  論文  参考訳（メタデータ） (2020-03-15T02:33:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。