論文の概要: State-Space Constraints Improve the Generalization of the Differentiable Neural Computer in some Algorithmic Tasks

• arxiv url: http://arxiv.org/abs/2110.09138v1
• Date: Mon, 18 Oct 2021 09:44:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-19 20:55:15.431638
• Title: State-Space Constraints Improve the Generalization of the Differentiable Neural Computer in some Algorithmic Tasks
• Title（参考訳）: 状態空間制約はアルゴリズムタスクにおける微分可能なニューラルネットワークの一般化を改善する
• Authors: Patrick Ofner and Roman Kern
• Abstract要約: メモリ拡張ニューラルネットワーク(MANN)は、ソートのようなアルゴリズム的なタスクを解くことができる。 本稿では,ネットワークコントローラの状態空間を制約する2つの手法を提案する。
• 参考スコア（独自算出の注目度）: 0.7614628596146599
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Memory-augmented neural networks (MANNs) can solve algorithmic tasks like sorting. However, they often do not generalize to lengths of input sequences not seen in the training phase. Therefore, we introduce two approaches constraining the state-space of the network controller to improve the generalization to out-of-distribution-sized input sequences: state compression and state regularization. We show that both approaches can improve the generalization capability of a particular type of MANN, the differentiable neural computer (DNC), and compare our approaches to a stateful and a stateless controller on a set of algorithmic tasks. Furthermore, we show that especially the combination of both approaches can enable a pre-trained DNC to be extended post hoc with a larger memory. Thus, our introduced approaches allow to train a DNC using shorter input sequences and thus save computational resources. Moreover, we observed that the capability for generalization is often accompanied by loop structures in the state-space, which could correspond to looping constructs in algorithms.
• Abstract（参考訳）: メモリ型ニューラルネットワーク(mann)はソートのようなアルゴリズム的なタスクを解決できる。 しかし、訓練段階では見られない入力シーケンスの長さに一般化しないことが多い。 そこで本研究では,ネットワークコントローラの状態空間を制約し,状態圧縮と状態正規化という,分散サイズの入力シーケンスへの一般化を改善する2つの手法を提案する。 両手法は, 特定の種類のMANN, 微分可能ニューラルネットワーク(DNC)の一般化能力を向上し, アルゴリズム上のステートフルかつステートレスな制御器と比較できることを示す。 さらに,両手法を組み合わせることで,事前学習したdncをより大きなメモリでポストホックに拡張できることを示す。 提案手法では,より短い入力シーケンスを用いてDNCを訓練し,計算資源を節約できる。 さらに、一般化の能力は状態空間のループ構造を伴うことが多く、これはアルゴリズムのループ構造に対応する可能性がある。

関連論文リスト

• Discrete Neural Algorithmic Reasoning [18.497863598167257]
  本稿では,有限状態の組合せとして,ニューラル推論器に実行軌跡の維持を強制することを提案する。 アルゴリズムの状態遷移の監督で訓練されたモデルでは、元のアルゴリズムと完全に整合することができる。
  論文  参考訳（メタデータ） (2024-02-18T16:03:04Z)
• Tensor network renormalization: application to dynamic correlation functions and non-hermitian systems [0.0]
  本稿では,動的相関関数の計算を可能にするLoop-TNRアルゴリズムの実装について述べる。 また,非エルミート系の臨界特性を調べるためにLoop-TNRアルゴリズムが適用可能であることも強調した。
  論文  参考訳（メタデータ） (2023-11-30T18:34:32Z)
• Recursive Algorithmic Reasoning [5.877778007271621]
  本稿では,グラフニューラルネットワーク(GNN)をスタックで拡張する方法を提案する。 このスタックにより、ネットワークは特定のタイミングでネットワークの状態の一部を保存およびリコールすることを学ぶことができる。 私たちが提案した提案は、deep-first search (DFS) の先行研究よりも、より大きな入力グラフへの一般化を著しく改善していることを実証的に実証した。
  論文  参考訳（メタデータ） (2023-07-01T13:33:03Z)
• Generative Adversarial Learning of Sinkhorn Algorithm Initializations [0.0]
  我々は、エントロピーOT双対問題を通じてアルゴリズムの初期化を学ぶためにニューラルネットワークを巧みに訓練することで、収束を著しく加速できることを示した。 我々のネットワークは,正規化輸送距離を数パーセントの誤差に近似するために,スタンドアロンのOTソルバとしても使用できることを示す。
  論文  参考訳（メタデータ） (2022-11-30T21:56:09Z)
• A Recursively Recurrent Neural Network (R2N2) Architecture for Learning Iterative Algorithms [64.3064050603721]
  本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。 本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
  論文  参考訳（メタデータ） (2022-11-22T16:30:33Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks [51.8723187709964]
  ニューラルネットワーク推論タスクのOOD一般化について検討する。 目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
  論文  参考訳（メタデータ） (2022-11-01T18:33:20Z)
• Randomized Sharpness-Aware Training for Boosting Computational Efficiency in Deep Learning [13.937644559223548]
  我々はRandomized Sharpness-Aware Training (RST)と呼ばれるシンプルで効率的なトレーニング手法を提案する。RSTのRSTは、ベースアルゴリズム(SGD)とシャープネス・アウェアアルゴリズム(SAM)からランダムに選択するために、各イテレーションでベルヌーイ試行を行う。 その結果、G-RSTはSAMよりも50%のコストを節約できることがわかった。
  論文  参考訳（メタデータ） (2022-03-18T13:57:17Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Iterative Algorithm Induced Deep-Unfolding Neural Networks: Precoding Design for Multiuser MIMO Systems [59.804810122136345]
  本稿では,AIIDNN(ディープ・アンフォールディング・ニューラルネット)を一般化した,ディープ・アンフォールディングのためのフレームワークを提案する。 古典的重み付き最小二乗誤差(WMMSE)反復アルゴリズムの構造に基づく効率的なIAIDNNを提案する。 提案したIAIDNNは,計算複雑性を低減した反復WMMSEアルゴリズムの性能を効率よく向上することを示す。
  論文  参考訳（メタデータ） (2020-06-15T02:57:57Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。