論文の概要: GLEMOS: Benchmark for Instantaneous Graph Learning Model Selection

• arxiv url: http://arxiv.org/abs/2404.01578v1
• Date: Tue, 2 Apr 2024 02:13:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 18:18:02.783124
• Title: GLEMOS: Benchmark for Instantaneous Graph Learning Model Selection
• Title（参考訳）: GLEMOS: 瞬時グラフ学習モデル選択のためのベンチマーク
• Authors: Namyong Park, Ryan Rossi, Xing Wang, Antoine Simoulin, Nesreen Ahmed, Christos Faloutsos,
• Abstract要約: GLEMOSは、即時グラフ学習(GL)モデル選択のためのベンチマークである。 リンク予測やノード分類を含む基本的なGLタスクのベンチマークデータを提供する。 新しいモデル、新しいグラフ、新しいパフォーマンスレコードで簡単に拡張できるように設計されている。
• 参考スコア（独自算出の注目度）: 21.59275856238877
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The choice of a graph learning (GL) model (i.e., a GL algorithm and its hyperparameter settings) has a significant impact on the performance of downstream tasks. However, selecting the right GL model becomes increasingly difficult and time consuming as more and more GL models are developed. Accordingly, it is of great significance and practical value to equip users of GL with the ability to perform a near-instantaneous selection of an effective GL model without manual intervention. Despite the recent attempts to tackle this important problem, there has been no comprehensive benchmark environment to evaluate the performance of GL model selection methods. To bridge this gap, we present GLEMOS in this work, a comprehensive benchmark for instantaneous GL model selection that makes the following contributions. (i) GLEMOS provides extensive benchmark data for fundamental GL tasks, i.e., link prediction and node classification, including the performances of 366 models on 457 graphs on these tasks. (ii) GLEMOS designs multiple evaluation settings, and assesses how effectively representative model selection techniques perform in these different settings. (iii) GLEMOS is designed to be easily extended with new models, new graphs, and new performance records. (iv) Based on the experimental results, we discuss the limitations of existing approaches and highlight future research directions. To promote research on this significant problem, we make the benchmark data and code publicly available at https://github.com/facebookresearch/glemos.
• Abstract（参考訳）: グラフ学習(GL)モデル(すなわち、GLアルゴリズムとそのハイパーパラメータ設定)の選択は、下流タスクのパフォーマンスに大きな影響を与える。 しかし、適切なGLモデルを選択することはますます難しくなり、より多くのGLモデルが開発されるにつれて時間がかかります。 そのため,手動による介入を伴わずに,実効的なGLモデルのほぼ瞬時に選択を行う能力を備えたGLのユーザを装備することは,非常に重要かつ実用的価値である。 この重要な問題に対処しようとする最近の試みにもかかわらず、GLモデル選択手法の性能を評価するための包括的なベンチマーク環境は存在していない。 このギャップを埋めるために、我々は、以下に示すように、即時GLモデル選択のための包括的なベンチマークであるGLEMOSを本研究に提示する。 (i)GLEMOSは、基本的なGLタスク、すなわちリンク予測とノード分類のための広範なベンチマークデータを提供する。 (II)GLEMOSは複数の評価設定を設計し、これらの異なる設定においてモデル選択手法がいかに効果的に機能するかを評価する。 (iii)GLEMOSは、新しいモデル、新しいグラフ、新しいパフォーマンスレコードで容易に拡張できるように設計されている。 (4)実験結果に基づき,既存のアプローチの限界について考察し,今後の研究の方向性を明らかにする。 この重要な問題の研究を促進するため、ベンチマークデータとコードをhttps://github.com/facebookresearch/glemos.comで公開しています。

関連論文リスト

• How Do Large Language Models Understand Graph Patterns? A Benchmark for Graph Pattern Comprehension [53.6373473053431]
  この研究は、グラフパターンタスクにおける大規模言語モデルの能力を評価するためのベンチマークを導入する。 我々は,LLMが用語的記述と位相的記述の両方に基づいて,グラフパターンを理解できるかどうかを評価するベンチマークを開発した。 私たちのベンチマークでは、合成データセットと実際のデータセットの両方と、11のタスクと7のモデルで構成されています。
  論文  参考訳（メタデータ） (2024-10-04T04:48:33Z)
• Can Large Language Models Analyze Graphs like Professionals? A Benchmark, Datasets and Models [90.98855064914379]
  グラフを処理するために,大規模言語モデル(LLM)のベンチマークであるProGraphを導入する。 その結果,現在のLCMの性能は不満足であり,最高のモデルでは36%の精度しか達成できないことがわかった。 本研究では,6つの広く使用されているグラフライブラリに基づいて,クローリングされたドキュメントと自動生成コードを含むLLM4Graphデータセットを提案する。
  論文  参考訳（メタデータ） (2024-09-29T11:38:45Z)
• Enabling Small Models for Zero-Shot Classification through Model Label Learning [50.68074833512999]
  モデルと機能の間のギャップを埋める新しいパラダイムであるモデルラベル学習(MLL)を導入する。 7つの実世界のデータセットの実験により、MLLの有効性と効率が検証された。
  論文  参考訳（メタデータ） (2024-08-21T09:08:26Z)
• GLBench: A Comprehensive Benchmark for Graph with Large Language Models [41.89444363336435]
  GLBenchは、教師付きシナリオとゼロショットシナリオの両方でGraphLLMメソッドを評価するための最初の包括的なベンチマークである。 GLBenchはグラフニューラルネットワークのような従来のベースラインとともに、GraphLLMメソッドのさまざまなカテゴリを公平かつ徹底的に評価する。
  論文  参考訳（メタデータ） (2024-07-10T08:20:47Z)
• GLiNER multi-task: Generalist Lightweight Model for Various Information Extraction Tasks [0.0]
  我々は,小さなエンコーダモデルであると同時に,様々な情報抽出タスクに使用できる新しい種類のGLiNERモデルを導入する。 我々のモデルは,ゼロショットNERベンチマークにおけるSoTA性能を達成し,質問応答,要約,関係抽出タスクにおける主要な性能を実現した。
  論文  参考訳（メタデータ） (2024-06-14T13:54:29Z)
• GraphFM: A Comprehensive Benchmark for Graph Foundation Model [33.157367455390144]
  ファンデーション・モデル(FM)は、人工知能システムの開発のための一般的なクラスである。 FMの基礎として自己教師型学習の研究が盛んに行われたが、いくつかの顕著な問題が続いている。 下流タスクにおける一般化能力の程度は未だ不明である。 これらのモデルが大規模なデータセットにどの程度効果的にスケールできるかは不明だ。
  論文  参考訳（メタデータ） (2024-06-12T15:10:44Z)
• Challenging the Myth of Graph Collaborative Filtering: a Reasoned and Reproducibility-driven Analysis [50.972595036856035]
  本稿では,6つの人気グラフと最近のグラフ推薦モデルの結果を再現するコードを提案する。 これらのグラフモデルと従来の協調フィルタリングモデルを比較する。 ユーザの近所からの情報フローを調べることにより,データセット構造における内在的特徴にどのようなモデルが影響するかを同定することを目的とする。
  論文  参考訳（メタデータ） (2023-08-01T09:31:44Z)
• Adaptive Fine-Grained Predicates Learning for Scene Graph Generation [122.4588401267544]
  一般的なシーングラフ生成(SGG)モデルは、頭部の述語を予測する傾向があり、再バランス戦略は尾のカテゴリを好む。 本稿では,SGGの難解な述語を識別することを目的とした適応的微粒述語学習(FGPL-A)を提案する。 提案したモデル非依存戦略は,VG-SGGおよびGQA-SGGデータセットのベンチマークモデルの性能を最大175%,Mean Recall@100では76%向上させ,新たな最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-07-11T03:37:57Z)
• Interpretable Learning-to-Rank with Generalized Additive Models [78.42800966500374]
  ラーニング・ツー・ランクのモデルの解釈可能性は、非常に重要でありながら、比較的過小評価されている研究分野である。 解釈可能なランキングモデルの最近の進歩は、主に既存のブラックボックスランキングモデルに対するポストホックな説明の生成に焦点を当てている。 一般化加法モデル(GAM)をランキングタスクに導入することにより,本質的に解釈可能な学習 to ランクの基盤を築いた。
  論文  参考訳（メタデータ） (2020-05-06T01:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。