論文の概要: Mind The Gap: Deep Learning Doesn't Learn Deeply

• arxiv url: http://arxiv.org/abs/2505.18623v1
• Date: Sat, 24 May 2025 10:11:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.551098
• Title: Mind The Gap: Deep Learning Doesn't Learn Deeply
• Title（参考訳）: Mind the Gap: ディープラーニングは深く学ばない
• Authors: Lucas Saldyt, Subbarao Kambhampati,
• Abstract要約: 本稿では,ニューラルネットワークが2つの疑問に対処してアルゴリズム推論をどのように学習するかを理解することを目的とする。 ニューラルネットワークが効果的なアルゴリズムを学習できないのはなぜなのか?
• 参考スコア（独自算出の注目度）: 16.284360949127723
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper aims to understand how neural networks learn algorithmic reasoning by addressing two questions: How faithful are learned algorithms when they are effective, and why do neural networks fail to learn effective algorithms otherwise? To answer these questions, we use neural compilation, a technique that directly encodes a source algorithm into neural network parameters, enabling the network to compute the algorithm exactly. This enables comparison between compiled and conventionally learned parameters, intermediate vectors, and behaviors. This investigation is crucial for developing neural networks that robustly learn complexalgorithms from data. Our analysis focuses on graph neural networks (GNNs), which are naturally aligned with algorithmic reasoning tasks, specifically our choices of BFS, DFS, and Bellman-Ford, which cover the spectrum of effective, faithful, and ineffective learned algorithms. Commonly, learning algorithmic reasoning is framed as induction over synthetic data, where a parameterized model is trained on inputs, traces, and outputs produced by an underlying ground truth algorithm. In contrast, we introduce a neural compilation method for GNNs, which sets network parameters analytically, bypassing training. Focusing on GNNs leverages their alignment with algorithmic reasoning, extensive algorithmic induction literature, and the novel application of neural compilation to GNNs. Overall, this paper aims to characterize expressability-trainability gaps - a fundamental shortcoming in learning algorithmic reasoning. We hypothesize that inductive learning is most effective for parallel algorithms contained within the computational class \texttt{NC}.
• Abstract（参考訳）: 本稿では、ニューラルネットワークがアルゴリズム推論をどのように学習するかを、2つの疑問に対処することによって理解することを目的とする。 これらの質問に答えるために、我々は、ニューラルネットワークパラメータにソースアルゴリズムを直接エンコードする技術であるニューラルコンパイルを使用し、ネットワークがアルゴリズムを正確に計算することを可能にする。 これにより、コンパイルされたパラメータと従来の学習されたパラメータ、中間ベクトル、振る舞いの比較が可能になる。 この調査は、データから複雑なアルゴリズムをしっかりと学習するニューラルネットワークの開発に不可欠である。 我々の分析はグラフニューラルネットワーク(GNN)に焦点を当てており、アルゴリズム推論タスク、特にBFS、DFS、Bellman-Fordの選択肢と自然に一致しており、効果的で忠実で非効率な学習アルゴリズムのスペクトルをカバーする。 一般的に、アルゴリズム推論の学習は合成データよりも帰納的であり、パラメータ化されたモデルは、基礎となる基底真理アルゴリズムによって生成された入力、トレース、出力に基づいて訓練される。 対照的に、ネットワークパラメータを解析的に設定し、トレーニングをバイパスするGNNのニューラルコンパイル手法を導入する。 GNNにフォーカスすることは、アルゴリズム推論、広範なアルゴリズム誘導文学、およびGNNへのニューラルコンパイルの新たな適用との整合性を活用する。 本稿では,アルゴリズム推論の学習における根本的な欠点である表現可能性-学習可能性ギャップを特徴付けることを目的としている。 帰納学習は計算クラス \texttt{NC} に含まれる並列アルゴリズムに対して最も効果的である。

関連論文リスト

• NAR-*ICP: Neural Execution of Classical ICP-based Pointcloud Registration Algorithms [7.542220697870245]
  本研究ではニューラルネットワークと古典ロボットアルゴリズムの交点をニューラルネットワーク推論フレームワークを用いて検討する。 我々は従来のICPベースのポイントクラウド登録アルゴリズムの中間アルゴリズムステップを学習するグラフニューラルネットワーク(GNN)ベースの学習フレームワークであるNAR-*ICPを提案する。 我々は、実世界から合成まで多様なデータセットにまたがってアプローチを評価し、複雑でノイズの多い入力を扱う際の柔軟性を実証した。
  論文  参考訳（メタデータ） (2024-10-14T19:33:46Z)
• The Clock and the Pizza: Two Stories in Mechanistic Explanation of Neural Networks [59.26515696183751]
  ニューラルネットワークにおけるアルゴリズム発見は、時としてより複雑であることを示す。 単純な学習問題でさえ、驚くほど多様なソリューションを許容できることが示されています。
  論文  参考訳（メタデータ） (2023-06-30T17:59:13Z)
• Neural Algorithmic Reasoning with Causal Regularisation [18.299363749150093]
  我々は重要な観察を行う: アルゴリズムが特定の中間計算を同一に実行する多くの異なる入力が存在する。 この洞察により、アルゴリズムの中間軌道が与えられた場合、ターゲットアルゴリズムが全く同じ次の軌道ステップを持つような入力を生成するデータ拡張手順を開発することができる。 我々は、Hint-Relicと呼ばれる結果の手法が、推論器のOOD一般化能力を改善することを証明した。
  論文  参考訳（メタデータ） (2023-02-20T19:41:15Z)
• Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks [51.8723187709964]
  ニューラルネットワーク推論タスクのOOD一般化について検討する。 目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
  論文  参考訳（メタデータ） (2022-11-01T18:33:20Z)
• Learning with Differentiable Algorithms [6.47243430672461]
  この論文は、古典的なアルゴリズムとニューラルネットワークのような機械学習システムを組み合わせることを探求している。 この論文はアルゴリズムの監督という概念を定式化し、ニューラルネットワークがアルゴリズムから、あるいは、アルゴリズムと連動して学ぶことを可能にする。 さらに、この論文では、微分可能なソートネットワーク、微分可能なソートゲート、微分可能な論理ゲートネットワークなど、微分可能なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-01T17:30:00Z)
• Graph Neural Networks are Dynamic Programmers [0.0]
  グラフニューラルネットワーク(GNN)は動的プログラミング(DP)と一致すると主張される ここでは、理論と抽象代数学の手法を用いて、GNNとDPの間に複雑な関係が存在することを示す。
  論文  参考訳（メタデータ） (2022-03-29T13:27:28Z)
• Neural network relief: a pruning algorithm based on neural activity [47.57448823030151]
  重要でない接続を非活性化する簡易な重要スコア計量を提案する。 MNIST上でのLeNetアーキテクチャの性能に匹敵する性能を実現する。 このアルゴリズムは、現在のハードウェアとソフトウェアの実装を考えるとき、FLOPを最小化するように設計されていない。
  論文  参考訳（メタデータ） (2021-09-22T15:33:49Z)
• Learning Structures for Deep Neural Networks [99.8331363309895]
  我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。 スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。 公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-27T12:27:24Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。