論文の概要: No Metric to Rule Them All: Toward Principled Evaluations of Graph-Learning Datasets

• arxiv url: http://arxiv.org/abs/2502.02379v1
• Date: Tue, 04 Feb 2025 14:59:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:01:54.962224
• Title: No Metric to Rule Them All: Toward Principled Evaluations of Graph-Learning Datasets
• Title（参考訳）: グラフ学習データセットの原則的評価に向けて
• Authors: Corinna Coupette, Jeremy Wayland, Emily Simons, Bastian Rieck,
• Abstract要約: グラフ学習データセットの品質を評価するためのフレキシブルでモード摂動フレームワークであるRINGSを紹介した。 本フレームワークでは,評価ツールとして性能分離性とモード補完性という2つの尺度を提案する。 グラフ学習手法の評価を改善するための実用的な勧告を導出する。
• 参考スコア（独自算出の注目度）: 16.040478092904632
• License:
• Abstract: Benchmark datasets have proved pivotal to the success of graph learning, and good benchmark datasets are crucial to guide the development of the field. Recent research has highlighted problems with graph-learning datasets and benchmarking practices -- revealing, for example, that methods which ignore the graph structure can outperform graph-based approaches on popular benchmark datasets. Such findings raise two questions: (1) What makes a good graph-learning dataset, and (2) how can we evaluate dataset quality in graph learning? Our work addresses these questions. As the classic evaluation setup uses datasets to evaluate models, it does not apply to dataset evaluation. Hence, we start from first principles. Observing that graph-learning datasets uniquely combine two modes -- the graph structure and the node features -- , we introduce RINGS, a flexible and extensible mode-perturbation framework to assess the quality of graph-learning datasets based on dataset ablations -- i.e., by quantifying differences between the original dataset and its perturbed representations. Within this framework, we propose two measures -- performance separability and mode complementarity -- as evaluation tools, each assessing, from a distinct angle, the capacity of a graph dataset to benchmark the power and efficacy of graph-learning methods. We demonstrate the utility of our framework for graph-learning dataset evaluation in an extensive set of experiments and derive actionable recommendations for improving the evaluation of graph-learning methods. Our work opens new research directions in data-centric graph learning, and it constitutes a first step toward the systematic evaluation of evaluations.
• Abstract（参考訳）: ベンチマークデータセットは、グラフ学習の成功にとって重要なものであり、優れたベンチマークデータセットは、フィールドの開発を導くのに不可欠である。 最近の研究は、グラフ学習データセットとベンチマークのプラクティスに関する問題を強調している。例えば、グラフ構造を無視するメソッドは、一般的なベンチマークデータセットにおけるグラフベースのアプローチよりも優れています。 これらの結果は,(1)優れたグラフ学習データセットを作るものは何なのか,(2)グラフ学習におけるデータセットの品質を評価するにはどうすればよいのか,という2つの疑問を提起する。 私たちの仕事はこれらの疑問に対処する。 従来の評価設定では、データセットを使用してモデルを評価するため、データセット評価には適用されない。 したがって、私たちは第一原理から始まります。 グラフ学習データセットがグラフ構造とノード機能という2つのモードを一意に組み合わせているのを見て、データセットの短縮に基づくグラフ学習データセットの品質を評価するための、フレキシブルで拡張可能なモード摂動フレームワークであるRINGSを紹介します。このフレームワークでは、グラフ学習手法のパワーと有効性を評価するためのグラフデータセットの評価ツールとして、オリジナルのデータセットと摂動表現の違いを定量化することによって、2つの測定手段(パフォーマンス分離性とモード補完性)を提案します。 我々は,グラフ学習データセット評価のためのフレームワークの有用性を広範な実験で実証し,グラフ学習手法の評価を改善するための実用的な勧告を導出する。 本研究は,データ中心グラフ学習における新たな研究方向を開拓し,評価の体系的評価に向けた第一歩となる。

関連論文リスト

• Rethinking the Effectiveness of Graph Classification Datasets in Benchmarks for Assessing GNNs [7.407592553310068]
  本稿では,単純な手法とGNN間の性能差を調べるための,公正なベンチマークフレームワークに基づく経験的プロトコルを提案する。 また,データセットの複雑性とモデル性能を両立させることにより,データセットの有効性を定量化する新しい指標を提案する。 我々の発見は、ベンチマークデータセットの現在の理解に光を当て、新しいプラットフォームは、グラフ分類ベンチマークの将来的な進化を後押しする可能性がある。
  論文  参考訳（メタデータ） (2024-07-06T08:33:23Z)
• ChartThinker: A Contextual Chain-of-Thought Approach to Optimized Chart Summarization [32.19963543411396]
  本研究は,各チャートに包括的チャートキャプチャペアと微調整命令の大規模データセットを構築した。 本稿では,思考の連鎖に基づいて深い分析を合成する,革新的なチャート要約手法であるChartThinkerを提案する。 キュレートされたデータセットに基づいて、トレーニングされたモデルは、チャートの要約タスクにおいて、常に優れたパフォーマンスを示します。
  論文  参考訳（メタデータ） (2024-03-17T14:49:09Z)
• Addressing Shortcomings in Fair Graph Learning Datasets: Towards a New Benchmark [26.233696733521757]
  我々は,幅広い要件を満たす合成,半合成,実世界のデータセット群を開発し,導入する。 これらのデータセットは、関連するグラフ構造や、モデルの公正な評価に不可欠なバイアス情報を含むように設計されている。 データセット全体にわたるグラフ学習手法による広範な実験結果から,これらの手法の性能をベンチマークする上での有効性が示された。
  論文  参考訳（メタデータ） (2024-03-09T21:33:26Z)
• Towards Data-centric Graph Machine Learning: Review and Outlook [120.64417630324378]
  データ中心グラフ機械学習(DC-GML)という,グラフデータライフサイクルのすべての段階を包含する体系的なフレームワークを導入する。 各段階の完全な分類法が示され、3つの重要なグラフ中心の質問に答える。 我々は、DC-GMLドメインの将来展望を指摘し、その進歩と応用をナビゲートするための洞察を提供する。
  論文  参考訳（メタデータ） (2023-09-20T00:40:13Z)
• Bures-Wasserstein Means of Graphs [60.42414991820453]
  本研究では,スムーズなグラフ信号分布の空間への埋め込みを通じて,グラフ平均を定義する新しいフレームワークを提案する。 この埋め込み空間において平均を求めることにより、構造情報を保存する平均グラフを復元することができる。 我々は,新しいグラフの意味の存在と特異性を確立し,それを計算するための反復アルゴリズムを提供する。
  論文  参考訳（メタデータ） (2023-05-31T11:04:53Z)
• InfoGCL: Information-Aware Graph Contrastive Learning [26.683911257080304]
  コントラスト学習過程において,グラフ情報がどのように変換され,伝達されるかを検討する。 本稿では,InfoGCL と呼ばれる情報認識型グラフコントラスト学習フレームワークを提案する。 我々は,最近のグラフコントラスト学習手法をフレームワークによって統一できることを初めて示す。
  論文  参考訳（メタデータ） (2021-10-28T21:10:39Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)
• Effective and Efficient Graph Learning for Multi-view Clustering [173.8313827799077]
  マルチビュークラスタリングのための効率的かつ効率的なグラフ学習モデルを提案する。 本手法はテンソルシャッテンp-ノルムの最小化により異なるビューのグラフ間のビュー類似性を利用する。 提案アルゴリズムは時間経済であり,安定した結果を得るとともに,データサイズによく対応している。
  論文  参考訳（メタデータ） (2021-08-15T13:14:28Z)
• Group Contrastive Self-Supervised Learning on Graphs [101.45974132613293]
  グラフ上での自己教師型学習をコントラッシブ手法を用いて研究する。 複数の部分空間におけるグラフの対比により、グラフエンコーダはより豊富な特徴を捉えることができる。
  論文  参考訳（メタデータ） (2021-07-20T22:09:21Z)
• Model-Agnostic Graph Regularization for Few-Shot Learning [60.64531995451357]
  グラフ組み込み数ショット学習に関する包括的な研究を紹介します。 本稿では,ラベル間のグラフ情報の組み込みによる影響をより深く理解できるグラフ正規化手法を提案する。 提案手法は,Mini-ImageNetで最大2%,ImageNet-FSで6.7%の性能向上を実現する。
  論文  参考訳（メタデータ） (2021-02-14T05:28:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。