論文の概要: OAG-Bench: A Human-Curated Benchmark for Academic Graph Mining
- arxiv url: http://arxiv.org/abs/2402.15810v2
- Date: Thu, 20 Jun 2024 04:15:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-22 05:09:24.220865
- Title: OAG-Bench: A Human-Curated Benchmark for Academic Graph Mining
- Title(参考訳): OAG-Bench: 学術グラフマイニングのための人為的なベンチマーク
- Authors: Fanjin Zhang, Shijie Shi, Yifan Zhu, Bo Chen, Yukuo Cen, Jifan Yu, Yelin Chen, Lulu Wang, Qingfei Zhao, Yuqing Cheng, Tianyi Han, Yuwei An, Dan Zhang, Weng Lam Tam, Kun Cao, Yunhe Pang, Xinyu Guan, Huihui Yuan, Jian Song, Xiaoyan Li, Yuxiao Dong, Jie Tang,
- Abstract要約: OAG-BenchはOpen Academic Graph (OAG)をベースにした、包括的で、多面的で、きめ細かい人為的なベンチマークである。
OAG-Benchは10のタスク、20のデータセット、70以上のベースライン、120以上の実験結果をカバーする。
- 参考スコア(独自算出の注目度): 46.27513006781531
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the rapid proliferation of scientific literature, versatile academic knowledge services increasingly rely on comprehensive academic graph mining. Despite the availability of public academic graphs, benchmarks, and datasets, these resources often fall short in multi-aspect and fine-grained annotations, are constrained to specific task types and domains, or lack underlying real academic graphs. In this paper, we present OAG-Bench, a comprehensive, multi-aspect, and fine-grained human-curated benchmark based on the Open Academic Graph (OAG). OAG-Bench covers 10 tasks, 20 datasets, 70+ baselines, and 120+ experimental results to date. We propose new data annotation strategies for certain tasks and offer a suite of data pre-processing codes, algorithm implementations, and standardized evaluation protocols to facilitate academic graph mining. Extensive experiments reveal that even advanced algorithms like large language models (LLMs) encounter difficulties in addressing key challenges in certain tasks, such as paper source tracing and scholar profiling. We also introduce the Open Academic Graph Challenge (OAG-Challenge) to encourage community input and sharing. We envisage that OAG-Bench can serve as a common ground for the community to evaluate and compare algorithms in academic graph mining, thereby accelerating algorithm development and advancement in this field. OAG-Bench is accessible at https://www.aminer.cn/data/.
- Abstract(参考訳): 科学文献の急速な普及に伴い、多目的な学術知識サービスは、より包括的な学術グラフマイニングに依存している。
パブリックな学術グラフ、ベンチマーク、データセットが利用可能であるにもかかわらず、これらのリソースは、多アスペクトできめ細かいアノテーションに不足することが多く、特定のタスクタイプやドメインに制約されている。
本稿では,Open Academic Graph(OAG)に基づく包括的,多面的,きめ細かな人為的なベンチマークであるOAG-Benchを提案する。
OAG-Benchは10のタスク、20のデータセット、70以上のベースライン、120以上の実験結果をカバーする。
我々は,特定のタスクに対する新しいデータアノテーション戦略を提案し,学術的なグラフマイニングを容易にするためのデータ前処理コード,アルゴリズムの実装,標準化された評価プロトコルを提供する。
大規模な実験により、大きな言語モデル(LLM)のような高度なアルゴリズムでさえ、論文のソーストレースや学者のプロファイリングといった特定のタスクにおいて重要な課題に取り組むのに困難に直面することが明らかになった。
また、コミュニティのインプットと共有を促進するためにOpen Academic Graph Challenge (OAG-Challenge)を導入しています。
我々は,OAG-Benchが,学術的なグラフマイニングにおけるアルゴリズムの評価と比較を行うコミュニティの共通基盤として機能し,アルゴリズム開発とこの分野の進歩を促進できると考えている。
OAG-Benchはhttps://www.aminer.cn/data/でアクセスできる。
関連論文リスト
- Instance-Aware Graph Prompt Learning [71.26108600288308]
本稿では,インスタンス対応グラフプロンプト学習(IA-GPL)について紹介する。
このプロセスでは、軽量アーキテクチャを使用して各インスタンスの中間プロンプトを生成する。
複数のデータセットと設定で実施された実験は、最先端のベースラインと比較して、IA-GPLの優れたパフォーマンスを示している。
論文 参考訳(メタデータ) (2024-11-26T18:38:38Z) - Graph Domain Adaptation: Challenges, Progress and Prospects [61.9048172631524]
本稿では,グラフ間の効果的な知識伝達パラダイムとしてグラフ領域適応を提案する。
GDAは、ソースグラフとしてタスク関連のグラフを多数導入し、ソースグラフから学習した知識をターゲットグラフに適応させる。
研究状況と課題について概説し、分類学を提案し、代表作の詳細を紹介し、今後の展望について論じる。
論文 参考訳(メタデータ) (2024-02-01T02:44:32Z) - SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。
まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。
次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
論文 参考訳(メタデータ) (2023-08-03T07:00:04Z) - Counterfactual Learning on Graphs: A Survey [34.47646823407408]
グラフニューラルネットワーク(GNN)は,グラフ上での表現学習において大きな成功を収めている。
グラフ上のカウンターファクトラーニングは、これらの欠点を緩和する有望な結果を示している。
グラフ上の反ファクトフェアネス、説明可能性、リンク予測など、様々な手法が提案されている。
論文 参考訳(メタデータ) (2023-04-03T21:42:42Z) - PubGraph: A Large-Scale Scientific Knowledge Graph [11.240833731512609]
PubGraphは、大規模な知識グラフの形式を取り入れた、科学的進歩を研究するための新しいリソースである。
PubGraphはWikidata、OpenAlex、Semantic Scholarなど、さまざまなソースからのデータを包括的に統合している。
知識グラフ補完のコアタスクとしてPubGraphから抽出した大規模ベンチマークを複数作成する。
論文 参考訳(メタデータ) (2023-02-04T20:03:55Z) - GRAPE for Fast and Scalable Graph Processing and random walk-based
Embedding [0.5035217505850539]
本稿では,グラフ処理と埋め込みのためのソフトウェアリソースであるGRAPEを紹介する。
専門的でスマートなデータ構造、アルゴリズム、ランダムウォークベースのメソッドの高速な並列実装を使用することで、大きなグラフでスケールすることができる。
論文 参考訳(メタデータ) (2021-10-12T17:49:46Z) - DIG: A Turnkey Library for Diving into Graph Deep Learning Research [39.58666190541479]
DIG: Dive into Graphsは研究指向のライブラリで、いくつかの高度なタスクで共通のグラフ深層学習アルゴリズムを統合および統合しています。
それぞれの方向に対して、データインターフェース、共通アルゴリズム、評価メトリクスの統合実装を提供します。
論文 参考訳(メタデータ) (2021-03-23T15:05:10Z) - CogDL: A Comprehensive Library for Graph Deep Learning [55.694091294633054]
研究者や実践者が実験を行い、メソッドを比較し、簡単かつ効率的にアプリケーションを構築することができるグラフ深層学習ライブラリであるCogDLを紹介します。
CogDLでは,様々なグラフタスクに対するGNNモデルのトレーニングと評価のための統一設計を提案し,既存のグラフ学習ライブラリに固有のものである。
我々はCogDLのための効率的なスパース演算子を開発し、効率性のための最も競争力のあるグラフライブラリとなる。
論文 参考訳(メタデータ) (2021-03-01T12:35:16Z) - Inverse Graph Identification: Can We Identify Node Labels Given Graph
Labels? [89.13567439679709]
グラフ識別(GI)は、グラフ学習において長い間研究されており、特定の応用において不可欠である。
本稿では,逆グラフ識別(Inverse Graph Identification, IGI)と呼ばれる新しい問題を定義する。
本稿では,グラフアテンションネットワーク(GAT)を用いたノードレベルのメッセージパッシング処理を,GIのプロトコルの下でシンプルかつ効果的に行う方法を提案する。
論文 参考訳(メタデータ) (2020-07-12T12:06:17Z) - SIGN: Scalable Inception Graph Neural Networks [4.5158585619109495]
本稿では,グラフサンプリングの必要性を助長する,効率的でスケーラブルなグラフ深層学習アーキテクチャを提案する。
私たちのアーキテクチャでは、異なるローカルグラフ演算子を使用して、そのタスクに最も適しています。
我々は,1億1000万のノードと15億のエッジを持つ,最大の公開グラフデータセットであるogbn-papers100Mについて,最先端の結果を得た。
論文 参考訳(メタデータ) (2020-04-23T14:46:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。