論文の概要: What makes a good feedforward computational graph?

• arxiv url: http://arxiv.org/abs/2502.06751v1
• Date: Mon, 10 Feb 2025 18:26:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:36:15.600209
• Title: What makes a good feedforward computational graph?
• Title（参考訳）: 良いフィードフォワード計算グラフを作るのは何だろう?
• Authors: Alex Vitvitskyi, João G. M. Araújo, Marc Lackenby, Petar Veličković,
• Abstract要約: フィードフォワード計算グラフの望ましい性質について検討し、忠実度と混合時間という2つの重要な相補的尺度を探索する。 我々の研究は、様々なグラフに対するメトリクスの振る舞いに関する理論的分析と、これらのメトリクスをトレーニングされたニューラルネットワークモデルの性能に関連付けることの両方から裏付けられている。
• 参考スコア（独自算出の注目度）: 0.8370225749625163
• License:
• Abstract: As implied by the plethora of literature on graph rewiring, the choice of computational graph employed by a neural network can make a significant impact on its downstream performance. Certain effects related to the computational graph, such as under-reaching and over-squashing, may even render the model incapable of learning certain functions. Most of these effects have only been thoroughly studied in the domain of undirected graphs; however, recent years have seen a significant rise in interest in feedforward computational graphs: directed graphs without any back edges. In this paper, we study the desirable properties of a feedforward computational graph, discovering two important complementary measures: fidelity and mixing time, and evaluating a few popular choices of graphs through the lens of these measures. Our study is backed by both theoretical analyses of the metrics' asymptotic behaviour for various graphs, as well as correlating these metrics to the performance of trained neural network models using the corresponding graphs.
• Abstract（参考訳）: グラフ再配線に関する多くの文献から示唆されているように、ニューラルネットワークが採用する計算グラフの選択は、下流のパフォーマンスに大きな影響を与える可能性がある。 アンダーリーチングやオーバースキャッシングのような計算グラフに関連する特定の効果は、ある関数を学習できないモデルを作るかもしれない。 これらの効果の大部分は、無向グラフの領域で完全に研究されているだけであるが、近年はフィードフォワード計算グラフへの関心が著しく高まっている。 本稿では、フィードフォワード計算グラフの望ましい性質について検討し、忠実度と混合時間という2つの重要な相補的尺度を発見し、これらの尺度のレンズを通してグラフのいくつかの一般的な選択を評価する。 我々の研究は、様々なグラフに対するメトリクスの漸近挙動の理論解析と、これらのメトリクスを対応するグラフを用いてトレーニングされたニューラルネットワークモデルの性能に関連付けることの両方から裏付けられている。

関連論文リスト

• Parametric Graph Representations in the Era of Foundation Models: A Survey and Position [69.48708136448694]
  グラフは、包括的なリレーショナルデータをモデル化するために、過去数十年間、ビッグデータとAIで広く使われてきた。 有意義なグラフ法則の同定は、様々な応用の有効性を著しく向上させることができる。
  論文  参考訳（メタデータ） (2024-10-16T00:01:31Z)
• Does Graph Prompt Work? A Data Operation Perspective with Theoretical Analysis [7.309233340654514]
  本稿では,データ操作の観点からグラフのプロンプトを厳密に解析する理論的枠組みを提案する。 グラフ変換演算子に近似する能力を示す形式的保証定理を提供する。 グラフプロンプトによってこれらのデータ操作の誤差の上限を導出し、この議論をグラフのバッチに拡張する。
  論文  参考訳（メタデータ） (2024-10-02T15:07:13Z)
• State of the Art and Potentialities of Graph-level Learning [54.68482109186052]
  グラフレベルの学習は、比較、回帰、分類など、多くのタスクに適用されている。 グラフの集合を学習する伝統的なアプローチは、サブストラクチャのような手作りの特徴に依存している。 ディープラーニングは、機能を自動的に抽出し、グラフを低次元表現に符号化することで、グラフレベルの学習をグラフの規模に適応させるのに役立っている。
  論文  参考訳（メタデータ） (2023-01-14T09:15:49Z)
• Robust Causal Graph Representation Learning against Confounding Effects [21.380907101361643]
  本稿では,ロバスト因果グラフ表現学習(RCGRL)を提案する。 RCGRLは、無条件のモーメント制約の下でインストゥルメンタル変数を生成するアクティブなアプローチを導入し、グラフ表現学習モデルにより、共同設立者を排除している。
  論文  参考訳（メタデータ） (2022-08-18T01:31:25Z)
• Graph-in-Graph (GiG): Learning interpretable latent graphs in non-Euclidean domain for biological and healthcare applications [52.65389473899139]
  グラフは、医療領域において、非ユークリッドな非ユークリッドデータをユビキタスに表現し、分析するための強力なツールである。 近年の研究では、入力データサンプル間の関係を考慮すると、下流タスクに正の正の正則化効果があることが示されている。 タンパク質分類と脳イメージングのためのニューラルネットワークアーキテクチャであるGraph-in-Graph(GiG)を提案する。
  論文  参考訳（メタデータ） (2022-04-01T10:01:37Z)
• Graph Self-supervised Learning with Accurate Discrepancy Learning [64.69095775258164]
  離散性に基づく自己監督型LeArning(D-SLA)と呼ばれる原図と摂動グラフの正確な相違を学習することを目的としたフレームワークを提案する。 本稿では,分子特性予測,タンパク質機能予測,リンク予測タスクなど,グラフ関連下流タスクにおける本手法の有効性を検証する。
  論文  参考訳（メタデータ） (2022-02-07T08:04:59Z)
• Graph-wise Common Latent Factor Extraction for Unsupervised Graph Representation Learning [40.70562886682939]
  我々は、教師なしグラフ表現学習のための新しい原則を提案する:グラフワイド共通潜在因子抽出(GCFX) GCFXは入力グラフから一般的な潜伏因子を明示的に抽出し、現在の最先端のタスクで改善された結果を達成する。 広範囲な実験と分析により,GCFXは個々のノードや周辺地域の局所的な変動による障害を軽減するため,グラフレベルのタスクに有用であることを示す。
  論文  参考訳（メタデータ） (2021-12-16T12:22:49Z)
• Graph Coarsening with Neural Networks [8.407217618651536]
  本稿では、粗いアルゴリズムの品質を測定するためのフレームワークを提案し、目標に応じて、粗いグラフ上のLaplace演算子を慎重に選択する必要があることを示す。 粗いグラフに対する現在のエッジウェイト選択が準最適である可能性が示唆され、グラフニューラルネットワークを用いて重み付けマップをパラメータ化し、教師なし方法で粗い品質を改善するよう訓練する。
  論文  参考訳（メタデータ） (2021-02-02T06:50:07Z)
• Understanding Coarsening for Embedding Large-Scale Graphs [3.6739949215165164]
  機械学習(ML)アルゴリズムによるグラフの適切な解析は、研究や産業の多くの分野において、より深い洞察をもたらす可能性がある。 グラフデータの不規則構造は、グラフ上でMLタスクを実行するための障害を構成する。 本研究では, 粗大化品質が埋込み性能に及ぼす影響を, 速度と精度の両方で解析する。
  論文  参考訳（メタデータ） (2020-09-10T15:06:33Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)
• Deep Learning for Learning Graph Representations [58.649784596090385]
  グラフデータのマイニングはコンピュータ科学においてポピュラーな研究トピックとなっている。 ネットワークデータの膨大な量は、効率的な分析に大きな課題をもたらしている。 これはグラフ表現の出現を動機付け、グラフを低次元ベクトル空間にマッピングする。
  論文  参考訳（メタデータ） (2020-01-02T02:13:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。