論文の概要: CPT: Competence-progressive Training Strategy for Few-shot Node Classification

• arxiv url: http://arxiv.org/abs/2402.00450v3
• Date: Fri, 18 Oct 2024 02:45:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:22:19.538673
• Title: CPT: Competence-progressive Training Strategy for Few-shot Node Classification
• Title（参考訳）: CPT:Few-shot Node分類のためのコンピテンス・プログレッシブトレーニング戦略
• Authors: Qilong Yan, Yufeng Zhang, Jinghao Zhang, Jingpu Duan, Jian Yin,
• Abstract要約: グラフニューラルネットワーク(GNN)はノード分類に大きな進歩を遂げているが、その成功はトレーニングデータ内のクラス毎の十分なラベル付きノードに依存している。 伝統的なエピソディックなメタラーニングアプローチはこの領域で有望であるが、固有の制限に直面している。 メタラーナーのプログレッシブ・コンピテンスにタスクの難易度を合わせる2段階のカリキュラム学習手法であるCPTを紹介する。
• 参考スコア（独自算出の注目度）: 11.17199104891692
• License:
• Abstract: Graph Neural Networks (GNNs) have made significant advancements in node classification, but their success relies on sufficient labeled nodes per class in the training data. Real-world graph data often exhibits a long-tail distribution with sparse labels, emphasizing the importance of GNNs' ability in few-shot node classification, which entails categorizing nodes with limited data. Traditional episodic meta-learning approaches have shown promise in this domain, but they face an inherent limitation: it might lead the model to converge to suboptimal solutions because of random and uniform task assignment, ignoring task difficulty levels. This could lead the meta-learner to face complex tasks too soon, hindering proper learning. Ideally, the meta-learner should start with simple concepts and advance to more complex ones, like human learning. So, we introduce CPT, a novel two-stage curriculum learning method that aligns task difficulty with the meta-learner's progressive competence, enhancing overall performance. Specifically, in CPT's initial stage, the focus is on simpler tasks, fostering foundational skills for engaging with complex tasks later. Importantly, the second stage dynamically adjusts task difficulty based on the meta-learner's growing competence, aiming for optimal knowledge acquisition. Extensive experiments on popular node classification datasets demonstrate significant improvements of our strategy over existing methods.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)はノード分類に大きな進歩を遂げているが、その成功はトレーニングデータ内のクラス毎の十分なラベル付きノードに依存している。 実世界のグラフデータはしばしばスパースラベルを持つ長いテール分布を示し、限られたデータで分類するノードの分類においてGNNの能力の重要性を強調している。 伝統的なエピソディックなメタラーニングアプローチは、この領域における有望性を示しているが、それらは固有の制限に直面している。 これによりメタラーナーはすぐに複雑なタスクに直面することになり、適切な学習を妨げる可能性がある。 理想的には、メタラーナーは単純な概念から始まり、人間の学習のようなより複雑な概念へと進むべきである。 そこで我々は,メタラーナーのプログレッシブ・コンピテンスにタスクの難易度を合わせる2段階のカリキュラム学習手法であるCPTを導入する。 特に、CPTの初期段階では、より単純なタスクに焦点が当てられ、後に複雑なタスクに取り組むための基礎的なスキルが育まれている。 重要なことに、第2段階はメタラーナーの能力向上に基づいてタスクの難易度を動的に調整し、最適な知識獲得を目指す。 一般的なノード分類データセットに対する大規模な実験は、既存の手法に対する我々の戦略を大幅に改善したことを示している。

関連論文リスト

• Curriculum Learning for Graph Neural Networks: Which Edges Should We Learn First [13.37867275976255]
  本研究は, 難易度から難易度, 難易度に応じて, より多くのエッジをトレーニングに組み込む新しい戦略を提案する。 提案手法の強みは,学習した表現の一般化能力とロバスト性の向上である。
  論文  参考訳（メタデータ） (2023-10-28T15:35:34Z)
• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [75.44877675117749]
  本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。 実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• Task-Equivariant Graph Few-shot Learning [7.78018583713337]
  グラフニューラルネットワーク(GNN)は、少数ショットノード分類として知られる、限られた数のラベル付きノードでノードを分類できることが重要である。 本稿では,新しいアプローチであるタスク・平等グラフ数ショット学習(TEG)フレームワークを提案する。 我々のTEGフレームワークは、限られた数のトレーニングメタタスクを使用して、移行可能なタスク適応戦略を学習することを可能にする。
  論文  参考訳（メタデータ） (2023-05-30T05:47:28Z)
• Learning to Learn with Indispensable Connections [6.040904021861969]
  本稿では,メタ-LTHと呼ばれるメタ-LTHと呼ばれるメタ-ラーニング手法を提案する。 本手法は,オムニグロットデータセットの分類精度を約2%向上させる。
  論文  参考訳（メタデータ） (2023-04-06T04:53:13Z)
• Unsupervised Meta-Learning via Few-shot Pseudo-supervised Contrastive Learning [72.3506897990639]
  本稿では,Pseudo-supervised Contrast (PsCo) という,シンプルだが効果的なメタ学習フレームワークを提案する。 PsCoは、さまざまなドメイン内およびクロスドメインのいくつかのショット分類ベンチマークの下で、既存の教師なしメタラーニングメソッドより優れています。
  論文  参考訳（メタデータ） (2023-03-02T06:10:13Z)
• Task-Adaptive Few-shot Node Classification [49.79924004684395]
  数ショットの学習環境下でのタスク適応型ノード分類フレームワークを提案する。 具体的には,ラベル付きノードが豊富なクラスにメタ知識を蓄積する。 次に、提案したタスク適応モジュールを介して、ラベル付きノードが限定されたクラスにそのような知識を転送する。
  論文  参考訳（メタデータ） (2022-06-23T20:48:27Z)
• Generating meta-learning tasks to evolve parametric loss for classification learning [1.1355370218310157]
  既存のメタ学習アプローチでは、メタモデルをトレーニングするための学習タスクは通常、公開データセットから収集される。 本稿では,ランダムに生成したメタ学習タスクに基づくメタ学習手法を提案し,ビッグデータに基づく分類学習におけるパラメトリックな損失を求める。
  論文  参考訳（メタデータ） (2021-11-20T13:07:55Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)
• Expert Training: Task Hardness Aware Meta-Learning for Few-Shot Classification [62.10696018098057]
  そこで本研究では,訓練課題を適切に整理するためのメタトレーニング戦略を提案する。 タスクの難易度を推定する訓練手順にタスク難易度認識モジュールを設計して統合する。 miniImageNet と tieredImageNetSketch のデータセットによる実験結果から,メタラーナーは専門家のトレーニング戦略によりより良い結果が得られることが示された。
  論文  参考訳（メタデータ） (2020-07-13T08:49:00Z)
• iTAML: An Incremental Task-Agnostic Meta-learning Approach [123.10294801296926]
  人間は経験が成長するにつれて、新しい知識を継続的に学ぶことができる。 ディープニューラルネットワークにおける以前の学習は、新しいタスクでトレーニングされたときにすぐに消えてしまう可能性がある。 遭遇した全てのタスク間の平衡を維持するために,新しいメタラーニング手法を導入する。
  論文  参考訳（メタデータ） (2020-03-25T21:42:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。