論文の概要: Evaluating Loss Functions for Graph Neural Networks: Towards Pretraining and Generalization

• arxiv url: http://arxiv.org/abs/2506.14114v1
• Date: Tue, 17 Jun 2025 02:12:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-18 17:34:59.292341
• Title: Evaluating Loss Functions for Graph Neural Networks: Towards Pretraining and Generalization
• Title（参考訳）: グラフニューラルネットワークにおける損失関数の評価--事前学習と一般化に向けて
• Authors: Khushnood Abbas, Ruizhe Hou, Zhou Wengang, Dong Shi, Niu Ling, Satyaki Nan, Alireza Abbasi,
• Abstract要約: 研究はインダクティブとトランスダクティブの両方について検討した。 平均ランクに基づいて,各指標の上位10のモデル-ロスの組み合わせを慎重に分析した。 GINアーキテクチャは常に最高レベルの平均性能を示しており、特にクロスエントロピー損失がある。
• 参考スコア（独自算出の注目度）: 1.2522462543913029
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) became useful for learning on non-Euclidean data. However, their best performance depends on choosing the right model architecture and the training objective, also called the loss function. Researchers have studied these parts separately, but a large-scale evaluation has not looked at how GNN models and many loss functions work together across different tasks. To fix this, we ran a thorough study - it included seven well-known GNN architectures. We also used a large group of 30 single plus mixed loss functions. The study looked at both inductive and transductive settings. Our evaluation spanned three distinct real-world datasets, assessing performance in both inductive and transductive settings using 21 comprehensive evaluation metrics. From these extensive results (detailed in supplementary information 1 \& 2), we meticulously analyzed the top ten model-loss combinations for each metric based on their average rank. Our findings reveal that, especially for the inductive case: 1) Hybrid loss functions generally yield superior and more robust performance compared to single loss functions, indicating the benefit of multi-objective optimization. 2) The GIN architecture always showed the highest-level average performance, especially with Cross-Entropy loss. 3) Although some combinations had overall lower average ranks, models such as GAT, particularly with certain hybrid losses, demonstrated incredible specialized strengths, maximizing the most top-1 results among the individual metrics, emphasizing subtle strengths for particular task demands. 4) On the other hand, the MPNN architecture typically lagged behind the scenarios it was tested against.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、非ユークリッドデータの学習に有用になった。 しかしながら、それらの最高のパフォーマンスは、適切なモデルアーキテクチャと、損失関数とも呼ばれるトレーニング目標を選択することに依存します。 研究者はこれらの部分について別々に研究しているが、大規模な評価では、GNNモデルと多くの損失関数が異なるタスク間でどのように連携するかは検討されていない。 この問題を解決するために、私たちは徹底した研究を行いました - よく知られている7つのGNNアーキテクチャが含まれていました。 また、30個のシングルプラス混合損失関数の大規模なグループも使用した。 研究はインダクティブとトランスダクティブの両方について検討した。 評価は実世界の3つの異なるデータセットにまたがって行われ、21の総合的な評価指標を用いて帰納的および帰納的の両方のパフォーマンスを評価した。 これらの広範な結果(補足情報1 \&2)から,各指標の上位10つのモデル-ロスの組み合わせを,平均ランクに基づいて慎重に分析した。 以上の結果から,特に誘導性症例では,以下のことが判明した。 1) ハイブリッド損失関数は, 単一損失関数よりも優れ, より頑健な性能を示し, 多目的最適化の利点を示している。 2) GINアーキテクチャは,特にクロスエントロピー損失において,常に最高レベルの平均性能を示した。 3) 総合的な平均ランクが低い組み合わせもあるが,GATなどのモデルでは,特にハイブリッド損失が顕著に見られ,各指標の上位1位が最大化され,特定のタスク要求に対する微妙な強みが強調された。 4) 一方、MPNNアーキテクチャは一般的に、テスト対象のシナリオに遅れを取っています。

関連論文リスト

• Next Generation Loss Function for Image Classification [0.0]
  我々は、遺伝的プログラミング(GP)アプローチを利用して、クロスエントロピー(CE)損失を含むよく知られた損失関数に挑戦する。 NGL(Next Generation Loss)と呼ばれる1つの関数は、テストされたすべてのデータセットで、同じか、より優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-04-19T15:26:36Z)
• Global Minima, Recoverability Thresholds, and Higher-Order Structure in GNNS [0.0]
  ランダムグラフ理論の観点から,グラフニューラルネットワーク(GNN)アーキテクチャの性能を解析する。 合成データにおける特定の高次構造と実データにおける経験的構造の混合が、GNNの性能に劇的な影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2023-10-11T17:16:33Z)
• Quantifying the Optimization and Generalization Advantages of Graph Neural Networks Over Multilayer Perceptrons [50.33260238739837]
  グラフネットワーク(GNN)は、グラフ構造化データから学習する際、顕著な能力を示した。 最適化と一般化の観点から、GNNと一般化を比較した分析の欠如がまだ残っている。
  論文  参考訳（メタデータ） (2023-06-24T10:21:11Z)
• Class Anchor Margin Loss for Content-Based Image Retrieval [97.81742911657497]
  距離学習パラダイムに該当する新しいレペラ・トラクタ損失を提案するが、ペアを生成する必要がなく、直接L2メトリックに最適化する。 CBIRタスクにおいて,畳み込みアーキテクチャと変圧器アーキテクチャの両方を用いて,少数ショットおよびフルセットトレーニングの文脈で提案した目的を評価する。
  論文  参考訳（メタデータ） (2023-06-01T12:53:10Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• Benchmarking Deep AUROC Optimization: Loss Functions and Algorithmic Choices [37.559461866831754]
  我々は、深いAUROC最適化問題に対するアルゴリズム選択の異なる様々な損失関数をベンチマークする。 正のサンプリング率、正規化、正規化/アクティベーション、重みなどの重要な選択を強調した。 以上の結果から,Adam-type法はトレーニングの面では競争力が高いが,テストの面では他よりも優れていないことが示唆された。
  論文  参考訳（メタデータ） (2022-03-27T00:47:00Z)
• Tackling Oversmoothing of GNNs with Contrastive Learning [35.88575306925201]
  グラフニューラルネットワーク(GNN)は、グラフデータと表現学習能力の包括的な関係を統合する。 オーバースムーシングはノードの最終的な表現を識別不能にし、ノード分類とリンク予測性能を劣化させる。 本稿では,TGCL(Topology-Guided Graph Contrastive Layer)を提案する。
  論文  参考訳（メタデータ） (2021-10-26T15:56:16Z)
• Distance Encoding: Design Provably More Powerful Neural Networks for Graph Representation Learning [63.97983530843762]
  グラフニューラルネットワーク(GNN)はグラフ表現学習において大きな成功を収めている。 GNNは、実際には非常に異なるグラフ部分構造に対して同一の表現を生成する。 より強力なGNNは、最近高階試験を模倣して提案され、基礎となるグラフ構造を疎結合にできないため、非効率である。 本稿では,グラフ表現学習の新たなクラスとして距離分解(DE)を提案する。
  論文  参考訳（メタデータ） (2020-08-31T23:15:40Z)
• Understanding and Resolving Performance Degradation in Graph Convolutional Networks [105.14867349802898]
  グラフ畳み込みネットワーク(GCN)は複数のレイヤを積み重ね、グラフ構造化データ上でノード表現を学習するためのPROPとTRANを実行する。 GCNはモデルが深くなるとパフォーマンスが低下する傾向がある。 本稿では,TRANやPROPのみを積み重ねることによるGCNの性能劣化について実験的に検討する。
  論文  参考訳（メタデータ） (2020-06-12T12:12:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。