論文の概要: Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks

• arxiv url: http://arxiv.org/abs/2211.00692v2
• Date: Sat, 18 Mar 2023 08:23:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-24 02:25:41.166393
• Title: Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks
• Title（参考訳）: ニューラルアルゴリズム推論タスクの分散的一般化
• Authors: Sadegh Mahdavi, Kevin Swersky, Thomas Kipf, Milad Hashemi, Christos Thrampoulidis, Renjie Liao
• Abstract要約: ニューラルネットワーク推論タスクのOOD一般化について検討する。 目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
• 参考スコア（独自算出の注目度）: 51.8723187709964
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we study the OOD generalization of neural algorithmic reasoning tasks, where the goal is to learn an algorithm (e.g., sorting, breadth-first search, and depth-first search) from input-output pairs using deep neural networks. First, we argue that OOD generalization in this setting is significantly different than common OOD settings. For example, some phenomena in OOD generalization of image classifications such as \emph{accuracy on the line} are not observed here, and techniques such as data augmentation methods do not help as assumptions underlying many augmentation techniques are often violated. Second, we analyze the main challenges (e.g., input distribution shift, non-representative data generation, and uninformative validation metrics) of the current leading benchmark, i.e., CLRS \citep{deepmind2021clrs}, which contains 30 algorithmic reasoning tasks. We propose several solutions, including a simple-yet-effective fix to the input distribution shift and improved data generation. Finally, we propose an attention-based 2WL-graph neural network (GNN) processor which complements message-passing GNNs so their combination outperforms the state-of-the-art model by a 3% margin averaged over all algorithms. Our code is available at: \url{https://github.com/smahdavi4/clrs}.
• Abstract（参考訳）: 本稿では,ニューラルネットワークを用いた入出力対からアルゴリズム(ソート,幅優先探索,深度優先探索など)を学習することを目的とした,ニューラルネットワーク推論タスクのOOD一般化について検討する。 まず、この設定におけるOODの一般化は、一般的なOOD設定とは大きく異なると論じる。 例えば、ライン上の「emph{accuracy on the line」のような画像分類のOOD一般化のいくつかの現象はここでは見られず、データ拡張法のような手法は、多くの拡張技法の基礎となる仮定がしばしば違反されるため、役に立たない。 第2に,現在有望なベンチマークであるclrs \citep{deepmind2021clrs}の,30のアルゴリズム推論タスクを含む主な課題(入力分布シフト,非表出的データ生成,非表出的検証指標)を分析した。 本稿では,入力分布シフトの簡単な修正やデータ生成の改善など,いくつかのソリューションを提案する。 最後に,注目に基づく2WLグラフニューラルネットワーク(GNN)プロセッサを提案する。 私たちのコードは、 \url{https://github.com/smahdavi4/clrs} で利用可能です。

関連論文リスト

• Algorithm-Informed Graph Neural Networks for Leakage Detection and Localization in Water Distribution Networks [6.675805308519987]
  漏水は配水ネットワークの効率的かつ持続可能な管理にとって重要な課題である。 近年のアプローチでは、グラフベースのデータ駆動方式が採用されている。 本稿では,アルゴリズムインフォームドグラフニューラルネットワーク(AIGNN)を提案する。
  論文  参考訳（メタデータ） (2024-08-05T19:25:05Z)
• Ensemble Quadratic Assignment Network for Graph Matching [52.20001802006391]
  グラフマッチングはコンピュータビジョンやパターン認識において一般的に用いられる技法である。 最近のデータ駆動型アプローチは、グラフマッチングの精度を著しく改善した。 データ駆動手法と従来の手法の利点を組み合わせたグラフニューラルネットワーク(GNN)に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2024-03-11T06:34:05Z)
• Triplet Edge Attention for Algorithmic Reasoning [16.130097693973845]
  我々は、エッジ対応グラフアテンション層であるTriplet Edge Attention (TEA)と呼ばれる新しいグラフニューラルネットワーク層を導入する。 我々のアルゴリズムは、エッジベースの注意力を用いて、エッジ潜在を正確に計算し、複数のトリプルトメッセージを集約する。
  論文  参考訳（メタデータ） (2023-12-09T16:46:28Z)
• Latent Space Representations of Neural Algorithmic Reasoners [15.920449080528536]
  アルゴリズムの実行時にGNNによって誘導される潜伏空間の構造を詳細に解析する。 i) 分解能の喪失、(i) 類似した値の識別が困難、(ii) トレーニング中に観察された範囲外の値を扱うことができない、という2つの可能な障害モードを特定します。 これらの変更は、最先端のTriplet-GMPNNプロセッサを使用する場合、CLRS-30ベンチマークのアルゴリズムの大部分の改善につながることを示す。
  論文  参考訳（メタデータ） (2023-07-17T22:09:12Z)
• Neural Algorithmic Reasoning with Causal Regularisation [18.299363749150093]
  我々は重要な観察を行う: アルゴリズムが特定の中間計算を同一に実行する多くの異なる入力が存在する。 この洞察により、アルゴリズムの中間軌道が与えられた場合、ターゲットアルゴリズムが全く同じ次の軌道ステップを持つような入力を生成するデータ拡張手順を開発することができる。 我々は、Hint-Relicと呼ばれる結果の手法が、推論器のOOD一般化能力を改善することを証明した。
  論文  参考訳（メタデータ） (2023-02-20T19:41:15Z)
• Unsupervised Learning of Initialization in Deep Neural Networks via Maximum Mean Discrepancy [74.34895342081407]
  本稿では,入力データに対する優れた初期化を求めるための教師なしアルゴリズムを提案する。 まず、パラメータ空間における各パラメータ構成が、d-way分類の特定の下流タスクに対応することに気付く。 次に、学習の成功は、初期パラメータの近傍で下流タスクがいかに多様であるかに直接関連していると推測する。
  論文  参考訳（メタデータ） (2023-02-08T23:23:28Z)
• Invertible Neural Networks for Graph Prediction [22.140275054568985]
  本研究では,ディープ・インバーチブル・ニューラルネットワークを用いた条件生成について述べる。 私たちの目標は,前処理と後処理の予測と生成を同時に行うことにあるので,エンドツーエンドのトレーニングアプローチを採用しています。
  論文  参考訳（メタデータ） (2022-06-02T17:28:33Z)
• Robustification of Online Graph Exploration Methods [59.50307752165016]
  我々は、古典的で有名なオンライングラフ探索問題の学習強化版について研究する。 本稿では,予測をよく知られたNearest Neighbor(NN)アルゴリズムに自然に統合するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-12-10T10:02:31Z)
• Fast Learning of Graph Neural Networks with Guaranteed Generalizability: One-hidden-layer Case [93.37576644429578]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。 回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
  論文  参考訳（メタデータ） (2020-06-25T00:45:52Z)
• Learning to Hash with Graph Neural Networks for Recommender Systems [103.82479899868191]
  グラフ表現学習は、大規模に高品質な候補探索をサポートすることに多くの注目を集めている。 ユーザ・イテム相互作用ネットワークにおけるオブジェクトの埋め込みベクトルの学習の有効性にもかかわらず、連続的な埋め込み空間におけるユーザの好みを推測する計算コストは膨大である。 連続的かつ離散的なコードとを協調的に学習するための,単純かつ効果的な離散表現学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-04T06:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。