論文の概要: Discrete Neural Algorithmic Reasoning
- arxiv url: http://arxiv.org/abs/2402.11628v1
- Date: Sun, 18 Feb 2024 16:03:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 19:54:09.813985
- Title: Discrete Neural Algorithmic Reasoning
- Title(参考訳): 離散ニューラルアルゴリズムによる推論
- Authors: Gleb Rodionov, Liudmila Prokhorenkova
- Abstract要約: 本稿では,有限状態の組合せとして,ニューラル推論器に実行軌跡の維持を強制することを提案する。
SALSA-CLRSベンチマークで完璧なテストスコアが得られ、すべてのタスクに対して完璧なテストスコアが得られます。
- 参考スコア(独自算出の注目度): 21.852775399735005
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural algorithmic reasoning aims to capture computations with neural
networks via learning the models to imitate the execution of classical
algorithms. While common architectures are expressive enough to contain the
correct model in the weights space, current neural reasoners are struggling to
generalize well on out-of-distribution data. On the other hand, classical
computations are not affected by distribution shifts as they can be described
as transitions between discrete computational states. In this work, we propose
to force neural reasoners to maintain the execution trajectory as a combination
of finite predefined states. Trained with supervision on the algorithm's state
transitions, such models are able to perfectly align with the original
algorithm. To show this, we evaluate our approach on the SALSA-CLRS benchmark,
where we get perfect test scores for all tasks. Moreover, the proposed
architectural choice allows us to prove the correctness of the learned
algorithms for any test data.
- Abstract(参考訳): ニューラルアルゴリズム推論は、モデルを学習して古典的なアルゴリズムの実行を模倣することで、ニューラルネットワークによる計算をキャプチャすることを目的としている。
一般的なアーキテクチャは重み付け空間に正しいモデルを含むのに十分な表現力を持っているが、現在のニューラル推論は分散データの一般化に苦戦している。
一方、古典計算は、離散的な計算状態間の遷移として説明できるので、分布シフトに影響されない。
本研究は,有限状態の組合せとして,ニューラル推論器に実行軌道の維持を強制することを提案する。
アルゴリズムの状態遷移を監督して訓練されたそのようなモデルは、元のアルゴリズムと完全に整合することができる。
これを示すために、SALSA-CLRSベンチマークに対する我々のアプローチを評価し、全てのタスクに対して完璧なテストスコアを得る。
さらに,提案するアーキテクチャの選択により,任意のテストデータに対する学習アルゴリズムの正しさを証明できる。
関連論文リスト
- Latent Space Representations of Neural Algorithmic Reasoners [0.0]
アルゴリズムの実行時にGNNによって誘導される潜伏空間の構造を詳細に解析する。
本稿では,ソフトマックスアグリゲータに頼って最初の問題を解くことを提案するとともに,範囲外値を扱うために潜在空間を減衰させることを提案する。
これらの変更は、最先端のTriplet-GMPNNプロセッサを使用する場合、CLRS-30ベンチマークのアルゴリズムの大部分の改善につながることを示す。
論文 参考訳(メタデータ) (2023-07-17T22:09:12Z) - Neural Algorithmic Reasoning Without Intermediate Supervision [21.852775399735005]
我々は、中間的監督に訴えることなく、入出力ペアからのみニューラルネットワーク推論を学ぶことに集中する。
我々は、アルゴリズムの軌跡にアクセスできることなく、モデルの中間計算を正規化できる自己教師対象を構築する。
CLRSic Algorithmic Reasoning Benchmarkのタスクにおいて,提案手法はトラジェクトリを教師する手法と競合することを示す。
論文 参考訳(メタデータ) (2023-06-23T09:57:44Z) - Neural-prior stochastic block model [0.0]
我々は,コミュニティを,逆ではなくノード属性によって決定されるものとしてモデル化することを提案する。
本稿では,信念伝播と近似メッセージパッシングを組み合わせた統計物理に基づくアルゴリズムを提案する。
提案したモデルとアルゴリズムは理論とアルゴリズムのベンチマークとして利用できる。
論文 参考訳(メタデータ) (2023-03-17T14:14:54Z) - Neural Algorithmic Reasoning with Causal Regularisation [18.299363749150093]
我々は重要な観察を行う: アルゴリズムが特定の中間計算を同一に実行する多くの異なる入力が存在する。
この洞察により、アルゴリズムの中間軌道が与えられた場合、ターゲットアルゴリズムが全く同じ次の軌道ステップを持つような入力を生成するデータ拡張手順を開発することができる。
我々は、Hint-Relicと呼ばれる結果の手法が、推論器のOOD一般化能力を改善することを証明した。
論文 参考訳(メタデータ) (2023-02-20T19:41:15Z) - Towards Better Out-of-Distribution Generalization of Neural Algorithmic
Reasoning Tasks [51.8723187709964]
ニューラルネットワーク推論タスクのOOD一般化について検討する。
目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
論文 参考訳(メタデータ) (2022-11-01T18:33:20Z) - Scalable computation of prediction intervals for neural networks via
matrix sketching [79.44177623781043]
既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。
本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-05-06T13:18:31Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳(メタデータ) (2021-06-09T08:05:36Z) - Evolving Reinforcement Learning Algorithms [186.62294652057062]
メタラーニング強化学習アルゴリズムの手法を提案する。
学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。
従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
論文 参考訳(メタデータ) (2021-01-08T18:55:07Z) - Activation Relaxation: A Local Dynamical Approximation to
Backpropagation in the Brain [62.997667081978825]
活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。
我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
論文 参考訳(メタデータ) (2020-09-11T11:56:34Z) - FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity
to Non-IID Data [59.50904660420082]
フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。
クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
論文 参考訳(メタデータ) (2020-05-22T23:07:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。