論文の概要: Neural Algorithmic Reasoning with Causal Regularisation

• arxiv url: http://arxiv.org/abs/2302.10258v1
• Date: Mon, 20 Feb 2023 19:41:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-22 17:20:00.226932
• Title: Neural Algorithmic Reasoning with Causal Regularisation
• Title（参考訳）: 因果規則化を伴うニューラルアルゴリズム推論
• Authors: Beatrice Bevilacqua, Kyriacos Nikiforou, Borja Ibarz, Ioana Bica, Michela Paganini, Charles Blundell, Jovana Mitrovic, Petar Veli\v{c}kovi\'c
• Abstract要約: ニューラルネットワークは、列車分布から来る見えないデータに対して古典的なアルゴリズムを実行することができることを示す。 そこで本研究では,アルゴリズムが特定の中間計算を指数関数的に実行するような,遠近的な入力が多数存在することを重要視する。 我々は,それに対応する自己監督的目標を設計するための因果的枠組みを採用し,それが推論器のOOD一般化能力を向上させることを証明した。
• 参考スコア（独自算出の注目度）: 18.299363749150093
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work on neural algorithmic reasoning has investigated the reasoning capabilities of neural networks, effectively demonstrating they can learn to execute classical algorithms on unseen data coming from the train distribution. However, the performance of existing neural reasoners significantly degrades on out-of-distribution (OOD) test data, where inputs have larger sizes. In this work, we make an important observation: there are many \emph{different} inputs for which an algorithm will perform certain intermediate computations \emph{identically}. This insight allows us to develop data augmentation procedures that, given an algorithm's intermediate trajectory, produce inputs for which the target algorithm would have \emph{exactly} the same next trajectory step. Then, we employ a causal framework to design a corresponding self-supervised objective, and we prove that it improves the OOD generalisation capabilities of the reasoner. We evaluate our method on the CLRS algorithmic reasoning benchmark, where we show up to 3$\times$ improvements on the OOD test data.
• Abstract（参考訳）: ニューラルアルゴリズム推論に関する最近の研究は、ニューラルネットワークの推論能力を調査し、列車の分布から得られる見えないデータの古典的アルゴリズムを効果的に実行できることを実証している。 しかし、既存のニューラル推論の性能は、入力がより大きなサイズを持つout-of-distribution(ood)テストデータで著しく低下する。 この研究では、アルゴリズムが特定の中間計算を行う多くの \emph{different} 入力が存在するという重要な観察を行う。 この洞察によって、アルゴリズムの中間軌道が与えられると、ターゲットアルゴリズムが次の軌道ステップで \emph{exactly} を持つ入力を生成するデータ拡張手順を開発することができます。 次に, 自己教師付き目標の設計に因果的枠組みを用い, 推論者のood一般化能力を向上させることを証明した。 提案手法をclrsアルゴリズム推論ベンチマークで評価し,oodテストデータに対して最大3$\times$改善を行った。

関連論文リスト

• Deep Equilibrium Algorithmic Reasoning [18.651333116786084]
  我々は異なる観点からニューラルネットワークの解法を研究する。 アルゴリズムの解はしばしば平衡であるため、平衡方程式を解くことによって直接解を見つけることができる。 我々のアプローチでは、列車とテスト時間の両方において、アルゴリズムの実際のステップ数に関する情報を必要としない。
  論文  参考訳（メタデータ） (2024-10-19T10:40:55Z)
• Algorithm-Informed Graph Neural Networks for Leakage Detection and Localization in Water Distribution Networks [6.675805308519987]
  漏水は配水ネットワークの効率的かつ持続可能な管理にとって重要な課題である。 近年のアプローチでは、グラフベースのデータ駆動方式が採用されている。 本稿では,アルゴリズムインフォームドグラフニューラルネットワーク(AIGNN)を提案する。
  論文  参考訳（メタデータ） (2024-08-05T19:25:05Z)
• On the Markov Property of Neural Algorithmic Reasoning: Analyses and Methods [94.72563337153268]
  ForgetNetは歴史的埋め込みを使わないので、タスクのマルコフの性質と一致している。 また、G-ForgetNetを導入し、G-ForgetNetは歴史的埋め込みの選択的統合を可能にするゲーティング機構を使用している。 我々の実験はCLRS-30アルゴリズム推論ベンチマークに基づいて、ForgetNetとG-ForgetNetの両方が既存の手法よりも優れた一般化を実現することを示した。
  論文  参考訳（メタデータ） (2024-03-07T22:35:22Z)
• Discrete Neural Algorithmic Reasoning [18.497863598167257]
  本稿では,有限状態の組合せとして,ニューラル推論器に実行軌跡の維持を強制することを提案する。 アルゴリズムの状態遷移の監督で訓練されたモデルでは、元のアルゴリズムと完全に整合することができる。
  論文  参考訳（メタデータ） (2024-02-18T16:03:04Z)
• Predictive Coding beyond Correlations [59.47245250412873]
  このようなアルゴリズムのうちの1つは、予測符号化と呼ばれ、因果推論タスクを実行することができるかを示す。 まず、予測符号化の推論過程における簡単な変化が、因果グラフを再利用したり再定義したりすることなく、介入を計算できることを示す。
  論文  参考訳（メタデータ） (2023-06-27T13:57:16Z)
• Neural Algorithmic Reasoning Without Intermediate Supervision [21.852775399735005]
  我々は、中間的監督に訴えることなく、入出力ペアからのみニューラルネットワーク推論を学ぶことに集中する。 我々は、アルゴリズムの軌跡にアクセスできることなく、モデルの中間計算を正規化できる自己教師対象を構築する。 CLRSic Algorithmic Reasoning Benchmarkのタスクにおいて,提案手法はトラジェクトリを教師する手法と競合することを示す。
  論文  参考訳（メタデータ） (2023-06-23T09:57:44Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks [51.8723187709964]
  ニューラルネットワーク推論タスクのOOD一般化について検討する。 目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
  論文  参考訳（メタデータ） (2022-11-01T18:33:20Z)
• Benchmarking Node Outlier Detection on Graphs [90.29966986023403]
  グラフの外れ値検出は、多くのアプリケーションにおいて、新しいが重要な機械学習タスクである。 UNODと呼ばれるグラフに対して、最初の包括的教師なしノード外乱検出ベンチマークを示す。
  論文  参考訳（メタデータ） (2022-06-21T01:46:38Z)
• Robustification of Online Graph Exploration Methods [59.50307752165016]
  我々は、古典的で有名なオンライングラフ探索問題の学習強化版について研究する。 本稿では,予測をよく知られたNearest Neighbor(NN)アルゴリズムに自然に統合するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-12-10T10:02:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。