論文の概要: Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks

• arxiv url: http://arxiv.org/abs/2211.00692v1
• Date: Tue, 1 Nov 2022 18:33:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-03 13:46:47.242281
• Title: Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks
• Title（参考訳）: ニューラルアルゴリズム推論タスクの分散的一般化
• Authors: Sadegh Mahdavi, Kevin Swersky, Thomas Kipf, Milad Hashemi, Christos Thrampoulidis, Renjie Liao
• Abstract要約: ニューラルネットワーク推論タスクのOOD一般化について検討する。 目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
• 参考スコア（独自算出の注目度）: 51.8723187709964
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we study the OOD generalization of neural algorithmic reasoning tasks, where the goal is to learn an algorithm (e.g., sorting, breadth-first search, and depth-first search) from input-output pairs using deep neural networks. First, we argue that OOD generalization in this setting is significantly different than common OOD settings. For example, some phenomena in OOD generalization of image classifications such as \emph{accuracy on the line} are not observed here, and techniques such as data augmentation methods do not help as assumptions underlying many augmentation techniques are often violated. Second, we analyze the main challenges (e.g., input distribution shift, non-representative data generation, and uninformative validation metrics) of the current leading benchmark, i.e., CLRS \citep{deepmind2021clrs}, which contains 30 algorithmic reasoning tasks. We propose several solutions, including a simple-yet-effective fix to the input distribution shift and improved data generation. Finally, we propose an attention-based 2WL-graph neural network (GNN) processor which complements message-passing GNNs so their combination outperforms the state-of-the-art model by a 3% margin averaged over all algorithms. Our code is available at: \url{https://github.com/smahdavi4/clrs}.
• Abstract（参考訳）: 本稿では,ニューラルネットワークを用いた入出力対からアルゴリズム(ソート,幅優先探索,深度優先探索など)を学習することを目的とした,ニューラルネットワーク推論タスクのOOD一般化について検討する。 まず、この設定におけるOODの一般化は、一般的なOOD設定とは大きく異なると論じる。 例えば、ライン上の「emph{accuracy on the line」のような画像分類のOOD一般化のいくつかの現象はここでは見られず、データ拡張法のような手法は、多くの拡張技法の基礎となる仮定がしばしば違反されるため、役に立たない。 第2に,現在有望なベンチマークであるclrs \citep{deepmind2021clrs}の,30のアルゴリズム推論タスクを含む主な課題(入力分布シフト,非表出的データ生成,非表出的検証指標)を分析した。 本稿では,入力分布シフトの簡単な修正やデータ生成の改善など,いくつかのソリューションを提案する。 最後に,注目に基づく2WLグラフニューラルネットワーク(GNN)プロセッサを提案する。 私たちのコードは、 \url{https://github.com/smahdavi4/clrs} で利用可能です。

関連論文リスト

• Invertible Neural Networks for Graph Prediction [22.140275054568985]
  本研究では,ディープ・インバーチブル・ニューラルネットワークを用いた条件生成について述べる。 私たちの目標は,前処理と後処理の予測と生成を同時に行うことにあるので,エンドツーエンドのトレーニングアプローチを採用しています。
  論文  参考訳（メタデータ） (2022-06-02T17:28:33Z)
• GNNRank: Learning Global Rankings from Pairwise Comparisons via Directed Graph Neural Networks [68.61934077627085]
  本稿では,グラフ埋め込みを学習可能なGNNと互換性のあるモデリングフレームワークであるGNNRankを紹介する。 既存の手法と比較して,我々の手法が競争力があり,しばしば優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2022-02-01T04:19:50Z)
• Robustification of Online Graph Exploration Methods [59.50307752165016]
  我々は、古典的で有名なオンライングラフ探索問題の学習強化版について研究する。 本稿では,予測をよく知られたNearest Neighbor(NN)アルゴリズムに自然に統合するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-12-10T10:02:31Z)
• Tackling Oversmoothing of GNNs with Contrastive Learning [35.88575306925201]
  グラフニューラルネットワーク(GNN)は、グラフデータと表現学習能力の包括的な関係を統合する。 オーバースムーシングはノードの最終的な表現を識別不能にし、ノード分類とリンク予測性能を劣化させる。 本稿では,TGCL(Topology-Guided Graph Contrastive Layer)を提案する。
  論文  参考訳（メタデータ） (2021-10-26T15:56:16Z)
• Hashing-Accelerated Graph Neural Networks for Link Prediction [14.806621296069649]
  リンク予測のために、#GNNはハミング空間のノード表現を効率的に取得できる。 リンク予測のために、#GNNはハミング空間のノード表現を効率的に取得できる。
  論文  参考訳（メタデータ） (2021-05-29T12:04:27Z)
• Neural Architecture Search in Graph Neural Networks [1.2881413375147996]
  本稿では,グラフニューラルネットワーク(GNN)の最適化のための2つのNAS手法を比較する。 その結果、2つの探索空間上の7つのデータセットについて検討し、どちらの手法もランダムな探索に類似した精度が得られることを示した。
  論文  参考訳（メタデータ） (2020-07-31T21:04:24Z)
• Fast Learning of Graph Neural Networks with Guaranteed Generalizability: One-hidden-layer Case [93.37576644429578]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。 回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
  論文  参考訳（メタデータ） (2020-06-25T00:45:52Z)
• Neural Bipartite Matching [0.0]
  本稿では,ニューラルネットワークが複雑なアルゴリズムに適用される方法について述べる。 単一のGNNから生成された機能のみに基づいて、ニューラル実行によって実現される。 評価の結果,ネットワークがほぼ100%の時間で最適なマッチングを達成できることが示唆された。
  論文  参考訳（メタデータ） (2020-05-22T17:50:38Z)
• Improved Code Summarization via a Graph Neural Network [96.03715569092523]
  一般に、ソースコード要約技術はソースコードを入力として使用し、自然言語記述を出力する。 これらの要約を生成するために、ASTのデフォルト構造によくマッチするグラフベースのニューラルアーキテクチャを使用するアプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-06T17:36:42Z)
• Learning to Hash with Graph Neural Networks for Recommender Systems [103.82479899868191]
  グラフ表現学習は、大規模に高品質な候補探索をサポートすることに多くの注目を集めている。 ユーザ・イテム相互作用ネットワークにおけるオブジェクトの埋め込みベクトルの学習の有効性にもかかわらず、連続的な埋め込み空間におけるユーザの好みを推測する計算コストは膨大である。 連続的かつ離散的なコードとを協調的に学習するための,単純かつ効果的な離散表現学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-04T06:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。