論文の概要: Mastering Long-Tail Complexity on Graphs: Characterization, Learning, and Generalization
- arxiv url: http://arxiv.org/abs/2305.09938v4
- Date: Fri, 31 May 2024 17:02:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-03 20:51:10.937522
- Title: Mastering Long-Tail Complexity on Graphs: Characterization, Learning, and Generalization
- Title（参考訳）: グラフ上の長期的複雑性をマスターする:特徴付け、学習、一般化
- Authors: Haohui Wang, Baoyu Jing, Kaize Ding, Yada Zhu, Wei Cheng, Si Zhang, Yonghui Fan, Liqing Zhang, Dawei Zhou,
- Abstract要約: マルチタスク学習方式で問題を定式化することにより,グラフ上の長い尾の分類のための一般化を提案する。
理論的には, 長期分類の一般化性能は, 全体の損失範囲とタスクの複雑さに支配されている。
理論的な知見に基づいて,グラフ上の長い尾の分類のための新しい汎用フレームワークHierTailを提案する。
- 参考スコア（独自算出の注目度）: 33.89914557812127
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the context of long-tail classification on graphs, the vast majority of existing work primarily revolves around the development of model debiasing strategies, intending to mitigate class imbalances and enhance the overall performance. Despite the notable success, there is very limited literature that provides a theoretical tool for characterizing the behaviors of long-tail classes in graphs and gaining insight into generalization performance in real-world scenarios. To bridge this gap, we propose a generalization bound for long-tail classification on graphs by formulating the problem in the fashion of multi-task learning, i.e., each task corresponds to the prediction of one particular class. Our theoretical results show that the generalization performance of long-tail classification is dominated by the overall loss range and the task complexity. Building upon the theoretical findings, we propose a novel generic framework HierTail for long-tail classification on graphs. In particular, we start with a hierarchical task grouping module that allows us to assign related tasks into hypertasks and thus control the complexity of the task space; then, we further design a balanced contrastive learning module to adaptively balance the gradients of both head and tail classes to control the loss range across all tasks in a unified fashion. Extensive experiments demonstrate the effectiveness of HierTail in characterizing long-tail classes on real graphs, which achieves up to 12.9% improvement over the leading baseline method in accuracy.
- Abstract（参考訳）: グラフ上の長い尾の分類の文脈では、既存の作業の大部分は、主にモデルの偏りを緩和し、全体的なパフォーマンスを高めることを目的として、モデルデバイアスング戦略の開発を中心に展開している。
顕著な成功にもかかわらず、グラフ内の長い尾クラスの振る舞いを特徴づけ、実世界のシナリオにおける一般化性能に関する洞察を得るための理論的ツールを提供する、非常に限られた文献がある。
このギャップを埋めるために,マルチタスク学習の方法で問題を定式化することにより,グラフ上の長い尾の分類のための一般化を提案し,各タスクは1つの特定のクラスの予測に対応する。
理論的には, 長期分類の一般化性能は, 全体の損失範囲とタスクの複雑さに支配されている。
理論的な知見に基づいて,グラフ上の長い尾の分類のための新しい汎用フレームワークHierTailを提案する。
特に,タスクをハイパータスクに割り当て,タスク空間の複雑さを制御する階層的なタスクグループ化モジュールから始める。さらに,頭と尾の両方の勾配を適応的にバランスさせて,すべてのタスクの損失範囲を統一的に制御する,バランスの取れたコントラスト学習モジュールを設計する。
大規模な実験により、HierTailが実グラフ上の長い尾のクラスを特徴づける効果が示され、その精度は最上位のベースライン法よりも最大12.9%向上した。
関連論文リスト
- Core Knowledge Learning Framework for Graph Adaptation and Scalability Learning [7.239264041183283]
グラフ分類は、多様な予測タスクへの適応、複数のターゲットドメインでのトレーニング、小さなサンプル予測シナリオの処理など、いくつかのハードルに直面している。
本手法は,様々なタスクからの洞察を取り入れることで,グラフ分類における適応性,拡張性,一般化性を向上させることを目的とする。
実験の結果, 最先端手法と比較して, 提案手法による性能向上が顕著であった。
論文 参考訳（メタデータ） (2024-07-02T02:16:43Z) - What Improves the Generalization of Graph Transformers? A Theoretical Dive into the Self-attention and Positional Encoding [67.59552859593985]
自己アテンションと位置エンコーディングを組み込んだグラフトランスフォーマーは、さまざまなグラフ学習タスクのための強力なアーキテクチャとして登場した。
本稿では,半教師付き分類のための浅いグラフ変換器の理論的検討について紹介する。
論文 参考訳（メタデータ） (2024-06-04T05:30:16Z) - Graph Learning under Distribution Shifts: A Comprehensive Survey on
Domain Adaptation, Out-of-distribution, and Continual Learning [53.81365215811222]
グラフ学習の文脈における分布変化に対処する最新のアプローチ、戦略、洞察のレビューと要約を提供する。
既存のグラフ学習手法を,グラフ領域適応学習,グラフ配布学習,グラフ連続学習など,いくつかの重要なシナリオに分類する。
本稿では,この領域における現状を体系的に分析し,分散シフト下でのグラフ学習の可能性と今後の方向性について論じる。
論文 参考訳（メタデータ） (2024-02-26T07:52:40Z) - Towards Long-Tailed Recognition for Graph Classification via
Collaborative Experts [10.99232053983369]
我々は,CoMe(Collaborative Multi-expert Learning)を用いたグラフレベル分類フレームワークを提案する。
頭と尾の授業のコントリビューションを均衡させるために,まず表現学習の観点から,バランスの取れたコントラスト学習を開発する。
マルチエキスパートフレームワークにおける協調を促進するために,複数の専門家の間でゲート融合・アンタングルド知識蒸留を実施している。
論文 参考訳（メタデータ） (2023-08-31T10:12:32Z) - RAHNet: Retrieval Augmented Hybrid Network for Long-tailed Graph
Classification [10.806893809269074]
本稿では,ロバストな特徴抽出器と非バイアスな分類器を共同で学習するRAHNet(Retrieval Augmented Hybrid Network)を提案する。
特徴抽出学習の段階において,各クラスにおけるクラス内多様性を直接強化する関係グラフを探索するグラフ検索モジュールを開発する。
また、分類表現を得るために、カテゴリー中心の教師付きコントラスト損失を革新的に最適化する。
論文 参考訳（メタデータ） (2023-08-04T14:06:44Z) - Unsupervised Task Graph Generation from Instructional Video Transcripts [53.54435048879365]
本研究では,実世界の活動を行う指導ビデオのテキスト書き起こしを提供する環境について考察する。
目標は、これらの重要なステップ間の依存関係関係と同様に、タスクに関連する重要なステップを特定することです。
本稿では,命令調整言語モデルの推論能力とクラスタリングとランキングコンポーネントを組み合わせたタスクグラフ生成手法を提案する。
論文 参考訳（メタデータ） (2023-02-17T22:50:08Z) - CrossCodeBench: Benchmarking Cross-Task Generalization of Source Code
Models [33.78307982736911]
クロスタスクの一般化は強力な研究と応用価値である。
既存の216のコード関連タスクを含む大規模ベンチマークを提案する。
論文 参考訳（メタデータ） (2023-02-08T13:04:52Z) - Association Graph Learning for Multi-Task Classification with Category
Shifts [68.58829338426712]
関連する分類タスクが同じラベル空間を共有し、同時に学習されるマルチタスク分類に焦点を当てる。
我々は、不足クラスのためのタスク間で知識を伝達する関連グラフを学習する。
我々の手法は代表的基準よりも一貫して性能が良い。
論文 参考訳（メタデータ） (2022-10-10T12:37:41Z) - FAITH: Few-Shot Graph Classification with Hierarchical Task Graphs [39.576675425158754]
少数ショットグラフ分類はグラフのクラスを予測することを目的としており、各クラスに限定されたラベル付きグラフが与えられる。
本稿では,階層的なタスクグラフを構築することにより,タスク相関をキャプチャする新しい数ショット学習フレームワークFAITHを提案する。
4つの一般的な数ショットグラフ分類データセットの実験は、他の最先端のベースラインよりもFAITHの方が優れていることを示した。
論文 参考訳（メタデータ） (2022-05-05T04:28:32Z) - Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。
具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
論文 参考訳（メタデータ） (2022-01-17T11:57:29Z) - Model-Agnostic Graph Regularization for Few-Shot Learning [60.64531995451357]
グラフ組み込み数ショット学習に関する包括的な研究を紹介します。
本稿では,ラベル間のグラフ情報の組み込みによる影響をより深く理解できるグラフ正規化手法を提案する。
提案手法は,Mini-ImageNetで最大2%,ImageNet-FSで6.7%の性能向上を実現する。
論文 参考訳（メタデータ） (2021-02-14T05:28:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。