論文の概要: Discrete Neural Algorithmic Reasoning
- arxiv url: http://arxiv.org/abs/2402.11628v2
- Date: Mon, 16 Sep 2024 16:22:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-18 02:55:35.065385
- Title: Discrete Neural Algorithmic Reasoning
- Title（参考訳）: 離散的ニューラルネットワーク推論
- Authors: Gleb Rodionov, Liudmila Prokhorenkova,
- Abstract要約: 本稿では,有限状態の組合せとして,ニューラル推論器に実行軌跡の維持を強制することを提案する。
アルゴリズムの状態遷移の監督で訓練されたモデルでは、元のアルゴリズムと完全に整合することができる。
- 参考スコア（独自算出の注目度）: 18.497863598167257
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural algorithmic reasoning aims to capture computations with neural networks via learning the models to imitate the execution of classic algorithms. While common architectures are expressive enough to contain the correct model in the weights space, current neural reasoners are struggling to generalize well on out-of-distribution data. On the other hand, classic computations are not affected by distributional shifts as they can be described as transitions between discrete computational states. In this work, we propose to force neural reasoners to maintain the execution trajectory as a combination of finite predefined states. To achieve that, we separate discrete and continuous data flows and describe the interaction between them. Trained with supervision on the algorithm's state transitions, such models are able to perfectly align with the original algorithm. To show this, we evaluate our approach on multiple algorithmic problems and get perfect test scores both in single-task and multitask setups. Moreover, the proposed architectural choice allows us to prove the correctness of the learned algorithms for any test~data.
- Abstract（参考訳）: ニューラルネットワーク推論は、古典的なアルゴリズムの実行を模倣するモデルを学ぶことによって、ニューラルネットワークで計算をキャプチャすることを目的としている。
一般的なアーキテクチャは、重み空間の正しいモデルを含むのに十分な表現力を持っているが、現在の神経推論者は、分布外データに対してうまく一般化するのに苦労している。
一方、古典計算は離散的な計算状態間の遷移として記述できるため、分布シフトの影響を受けない。
本研究は,有限状態の組合せとして,ニューラル推論器に実行軌跡の維持を強制することを提案する。
これを実現するために、離散データフローと連続データフローを分離し、それらの相互作用を記述する。
アルゴリズムの状態遷移を監督して訓練されたそのようなモデルは、元のアルゴリズムと完全に整合することができる。
これを示すために、我々は、複数のアルゴリズム問題に対するアプローチを評価し、シングルタスクとマルチタスクの両方で完璧なテストスコアを得る。
さらに、提案したアーキテクチャ選択により、任意のテスト～データに対して学習アルゴリズムの正確性を証明することができる。
関連論文リスト
- Deep Equilibrium Algorithmic Reasoning [18.651333116786084]
我々は異なる観点からニューラルネットワークの解法を研究する。
アルゴリズムの解はしばしば平衡であるため、平衡方程式を解くことによって直接解を見つけることができる。
我々のアプローチでは、列車とテスト時間の両方において、アルゴリズムの実際のステップ数に関する情報を必要としない。
論文 参考訳（メタデータ） (2024-10-19T10:40:55Z) - Neural Algorithmic Reasoning Without Intermediate Supervision [21.852775399735005]
我々は、中間的監督に訴えることなく、入出力ペアからのみニューラルネットワーク推論を学ぶことに集中する。
我々は、アルゴリズムの軌跡にアクセスできることなく、モデルの中間計算を正規化できる自己教師対象を構築する。
CLRSic Algorithmic Reasoning Benchmarkのタスクにおいて,提案手法はトラジェクトリを教師する手法と競合することを示す。
論文 参考訳（メタデータ） (2023-06-23T09:57:44Z) - Neural Algorithmic Reasoning with Causal Regularisation [18.299363749150093]
我々は重要な観察を行う: アルゴリズムが特定の中間計算を同一に実行する多くの異なる入力が存在する。
この洞察により、アルゴリズムの中間軌道が与えられた場合、ターゲットアルゴリズムが全く同じ次の軌道ステップを持つような入力を生成するデータ拡張手順を開発することができる。
我々は、Hint-Relicと呼ばれる結果の手法が、推論器のOOD一般化能力を改善することを証明した。
論文 参考訳（メタデータ） (2023-02-20T19:41:15Z) - Learning with Differentiable Algorithms [6.47243430672461]
この論文は、古典的なアルゴリズムとニューラルネットワークのような機械学習システムを組み合わせることを探求している。
この論文はアルゴリズムの監督という概念を定式化し、ニューラルネットワークがアルゴリズムから、あるいは、アルゴリズムと連動して学ぶことを可能にする。
さらに、この論文では、微分可能なソートネットワーク、微分可能なソートゲート、微分可能な論理ゲートネットワークなど、微分可能なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-09-01T17:30:00Z) - On the Convergence of Distributed Stochastic Bilevel Optimization
Algorithms over a Network [55.56019538079826]
バイレベル最適化は、幅広い機械学習モデルに適用されている。
既存のアルゴリズムの多くは、分散データを扱うことができないように、シングルマシンの設定を制限している。
そこで我々は,勾配追跡通信機構と2つの異なる勾配に基づく分散二段階最適化アルゴリズムを開発した。
論文 参考訳（メタデータ） (2022-06-30T05:29:52Z) - Scalable computation of prediction intervals for neural networks via
matrix sketching [79.44177623781043]
既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。
本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-05-06T13:18:31Z) - Benchmarking Simulation-Based Inference [5.3898004059026325]
確率的モデリングの最近の進歩は、確率の数値的評価を必要としないシミュレーションに基づく推論アルゴリズムを多数もたらした。
推論タスクと適切なパフォーマンス指標を備えたベンチマークを,アルゴリズムの初期選択とともに提供する。
性能指標の選択は重要であり、最先端のアルゴリズムでさえ改善の余地があり、逐次推定によりサンプリング効率が向上することがわかった。
論文 参考訳（メタデータ） (2021-01-12T18:31:22Z) - A Constraint-Based Algorithm for the Structural Learning of
Continuous-Time Bayesian Networks [70.88503833248159]
連続時間ベイズネットワークの構造を学習するための制約に基づく最初のアルゴリズムを提案する。
我々は,条件付き独立性を確立するために提案した,異なる統計的テストと基礎となる仮説について論じる。
論文 参考訳（メタデータ） (2020-07-07T07:34:09Z) - FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity
to Non-IID Data [59.50904660420082]
フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。
クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
論文 参考訳（メタデータ） (2020-05-22T23:07:42Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z) - Parallelization Techniques for Verifying Neural Networks [52.917845265248744]
検証問題に基づくアルゴリズムを反復的に導入し、2つの分割戦略を探索する。
また、ニューラルネットワークの検証問題を単純化するために、ニューロンアクティベーションフェーズを利用する、高度に並列化可能な前処理アルゴリズムも導入する。
論文 参考訳（メタデータ） (2020-04-17T20:21:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。