論文の概要: Evaluation Metrics for Graph Generative Models: Problems, Pitfalls, and Practical Solutions

• arxiv url: http://arxiv.org/abs/2106.01098v1
• Date: Wed, 2 Jun 2021 12:04:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-03 14:40:00.039933
• Title: Evaluation Metrics for Graph Generative Models: Problems, Pitfalls, and Practical Solutions
• Title（参考訳）: グラフ生成モデルのための評価指標:問題、落とし穴、実践的解決策
• Authors: Leslie O'Bray, Max Horn, Bastian Rieck, Karsten Borgwardt
• Abstract要約: グラフ生成モデルは、機械学習の非常に活発な分野である。 それらを評価し、比較するための原則的な方法を提供することが必要です。 比較指標の望ましい基準を列挙し、これらの指標の開発について議論し、それぞれの表現力の比較を行う。
• 参考スコア（独自算出の注目度）: 11.287095986598336
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph generative models are a highly active branch of machine learning. Given the steady development of new models of ever-increasing complexity, it is necessary to provide a principled way to evaluate and compare them. In this paper, we enumerate the desirable criteria for comparison metrics, discuss the development of such metrics, and provide a comparison of their respective expressive power. We perform a systematic evaluation of the main metrics in use today, highlighting some of the challenges and pitfalls researchers inadvertently can run into. We then describe a collection of suitable metrics, give recommendations as to their practical suitability, and analyse their behaviour on synthetically generated perturbed graphs as well as on recently proposed graph generative models.
• Abstract（参考訳）: グラフ生成モデルは機械学習の非常に活発な分野である。 複雑さが増し続ける新しいモデルが着実に発展していることを考えると、それらを評価し比較するための原則に基づいた方法を提供する必要がある。 本稿では,比較指標の望ましい基準を列挙し,これらの指標の開発について議論し,それぞれの表現力の比較を行う。 現在使用されている主要なメトリクスを体系的に評価し、研究者が必然的に経験できる課題と落とし穴を強調します。 次に、適切な指標の集合を記述し、それらの実用的適合性について推奨し、合成生成した摂動グラフおよび最近提案されたグラフ生成モデル上での挙動を分析する。

関連論文リスト

• Analyzing Generative Models by Manifold Entropic Metrics [8.477943884416023]
  抽出可能な情報理論評価指標を新たに導入する。 EMNISTデータセット上の各種正規化フローアーキテクチャと$beta$-VAEを比較した。 私たちの実験で最も興味深い発見は、トレーニング中に整列および非整合表現に収束する誘導バイアスの観点から、モデルアーキテクチャとトレーニング手順のランク付けです。
  論文  参考訳（メタデータ） (2024-10-25T09:35:00Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• Anomaly Detection in Networks via Score-Based Generative Models [14.95826212004679]
  属性付きグラフにおけるノードの異常検出は、異なるデータセット間でうまく機能するメソッドがないという難しい問題である。 グラフ生成モデルにおけるスコアベースモデルの現状に触発され、上記の問題に組み込むことを提案する。 提案手法は,小規模グラフ上での競合結果を実現する。
  論文  参考訳（メタデータ） (2023-06-27T09:28:29Z)
• Comparing Foundation Models using Data Kernels [13.099029073152257]
  基礎モデルの埋め込み空間幾何学を直接比較するための方法論を提案する。 提案手法はランダムグラフ理論に基づいており, 埋め込み類似性の有効な仮説検証を可能にする。 本稿では, 距離関数を付加したモデルの多様体が, 下流の指標と強く相関することを示す。
  論文  参考訳（メタデータ） (2023-05-09T02:01:07Z)
• Understanding Factual Errors in Summarization: Errors, Summarizers, Datasets, Error Detectors [105.12462629663757]
  本研究では、既存の9つのデータセットから事実性エラーアノテーションを集約し、基礎となる要約モデルに従ってそれらを階層化する。 本稿では,この階層化ベンチマークにおいて,最近のChatGPTベースの指標を含む最先端の事実性指標の性能を比較し,その性能が様々な種類の要約モデルで大きく異なることを示す。
  論文  参考訳（メタデータ） (2022-05-25T15:26:48Z)
• EXPERT: Public Benchmarks for Dynamic Heterogeneous Academic Graphs [5.4744970832051445]
  グラフ予測タスクのために開発されたモデルの有効性を検証するために,大規模で動的に異種な学術グラフを提案する。 我々の新しいデータセットは、人工知能(AI)と核拡散(NN)の2つのコミュニティにわたる科学出版物から抽出された文脈情報と内容情報の両方をカバーしている。
  論文  参考訳（メタデータ） (2022-04-14T19:43:34Z)
• Data-heterogeneity-aware Mixing for Decentralized Learning [63.83913592085953]
  グラフの混合重みとノード間のデータ不均一性の関係に収束の依存性を特徴付ける。 グラフが現在の勾配を混合する能力を定量化する計量法を提案する。 そこで本研究では,パラメータを周期的かつ効率的に最適化する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-13T15:54:35Z)
• Bayesian Graph Contrastive Learning [55.36652660268726]
  本稿では,ランダムな拡張がエンコーダにつながることを示すグラフコントラスト学習手法の新たな視点を提案する。 提案手法は,各ノードを決定論的ベクトルに埋め込む既存の手法とは対照的に,各ノードを潜在空間の分布で表現する。 いくつかのベンチマークデータセットにおける既存の最先端手法と比較して,性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2021-12-15T01:45:32Z)
• Goal-directed Generation of Discrete Structures with Conditional Generative Models [85.51463588099556]
  本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。 提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
  論文  参考訳（メタデータ） (2020-10-05T20:03:13Z)
• Evaluation Metrics for Conditional Image Generation [100.69766435176557]
  クラス条件画像生成設定において生成モデルを評価するための2つの新しい指標を提案する。 理論的分析は、提案されたメトリクスの背景にあるモチベーションを示し、新しいメトリクスと条件のないメトリクスを結びつける。 我々は,実験的な評価を行い,その指標を条件のない変種や他の指標と比較し,既存の生成モデルの解析に利用した。
  論文  参考訳（メタデータ） (2020-04-26T12:15:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。