論文の概要: Progress Extrapolating Algorithmic Learning to Arbitrary Sequence Lengths

• arxiv url: http://arxiv.org/abs/2003.08494v2
• Date: Mon, 23 Mar 2020 16:22:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-22 09:41:18.509379
• Title: Progress Extrapolating Algorithmic Learning to Arbitrary Sequence Lengths
• Title（参考訳）: 任意のシーケンス長に対するアルゴリズム学習の進歩
• Authors: Andreas Robinson
• Abstract要約: アルゴリズムタスクの最近のニューラルネットワークモデルでは、トレーニングよりもはるかに長いシーケンスへの外挿が大幅に改善されている。 パフォーマンスが依然として非常に長い、あるいは逆数列で低下していることは、依然として顕著な問題である。 これらの問題に対処するために、代替アーキテクチャと損失期間を提示する。
• 参考スコア（独自算出の注目度）: 2.143962960577381
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent neural network models for algorithmic tasks have led to significant improvements in extrapolation to sequences much longer than training, but it remains an outstanding problem that the performance still degrades for very long or adversarial sequences. We present alternative architectures and loss-terms to address these issues, and our testing of these approaches has not detected any remaining extrapolation errors within memory constraints. We focus on linear time algorithmic tasks including copy, parentheses parsing, and binary addition. First, activation binning was used to discretize the trained network in order to avoid computational drift from continuous operations, and a binning-based digital loss term was added to encourage discretizable representations. In addition, a localized differentiable memory (LDM) architecture, in contrast to distributed memory access, addressed remaining extrapolation errors and avoided unbounded growth of internal computational states. Previous work has found that algorithmic extrapolation issues can also be alleviated with approaches relying on program traces, but the current effort does not rely on such traces.
• Abstract（参考訳）: アルゴリズムタスクのための最近のニューラルネットワークモデルでは、トレーニングよりも長いシーケンスの補間が大幅に改善されているが、非常に長いシーケンスや逆行シーケンスでは、まだ性能が低下している。 我々はこれらの問題に対処するための代替アーキテクチャと損失期間を提案し、これらのアプローチのテストはメモリ制約の中で残されている外挿エラーを検知していない。 我々は、コピー、括弧解析、バイナリ追加を含む線形時間アルゴリズムタスクに焦点を当てる。 まず、連続操作からの計算ドリフトを避けるために、トレーニングネットワークの離散化にアクティベーションビンニングを用い、識別可能な表現を促進するために、ビニングベースのデジタル損失項を追加した。 さらに、分散メモリアクセスとは対照的に、ローカライズされた微分可能メモリ(LDM)アーキテクチャは、残りの外挿エラーに対処し、内部計算状態の非有界成長を避ける。 前回の研究では、アルゴリズムによる外挿問題はプログラムトレースに依存するアプローチでも緩和できるが、現在の取り組みはそのようなトレースに依存していない。

関連論文リスト

• A Mirror Descent-Based Algorithm for Corruption-Tolerant Distributed Gradient Descent [57.64826450787237]
  本研究では, 分散勾配降下アルゴリズムの挙動を, 敵対的腐敗の有無で解析する方法を示す。 汚職耐性の分散最適化アルゴリズムを設計するために、(怠慢な)ミラー降下からアイデアをどう使うかを示す。 MNISTデータセットの線形回帰、サポートベクトル分類、ソフトマックス分類に基づく実験は、我々の理論的知見を裏付けるものである。
  論文  参考訳（メタデータ） (2024-07-19T08:29:12Z)
• Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
  Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。 アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。 提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
  論文  参考訳（メタデータ） (2023-12-25T18:51:23Z)
• Continual Learning with Guarantees via Weight Interval Constraints [18.791232422083265]
  ニューラルネットパラメータ空間の間隔制約を適用して、忘れを抑える新しいトレーニングパラダイムを導入する。 本稿では,モデルの連続的学習をパラメータ空間の連続的縮約として再構成することで,忘れることに制限を加える方法を示す。
  論文  参考訳（メタデータ） (2022-06-16T08:28:37Z)
• Scalable computation of prediction intervals for neural networks via matrix sketching [79.44177623781043]
  既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。 本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-06T13:18:31Z)
• Improving Novelty Detection using the Reconstructions of Nearest Neighbours [0.0]
  自動エンコーダ (AE) の潜伏空間に近接する近傍での使用は, 半教師付きノベルティ検出の性能を著しく向上させることを示した。 提案手法は, 近接する近傍の復元と, 入力の潜時表現の潜時距離の組合せを利用する。
  論文  参考訳（メタデータ） (2021-11-11T11:09:44Z)
• Convolutional generative adversarial imputation networks for spatio-temporal missing data in storm surge simulations [86.5302150777089]
  GAN(Generative Adversarial Imputation Nets)とGANベースの技術は、教師なし機械学習手法として注目されている。 提案手法を Con Conval Generative Adversarial Imputation Nets (Conv-GAIN) と呼ぶ。
  論文  参考訳（メタデータ） (2021-11-03T03:50:48Z)
• Low-memory stochastic backpropagation with multi-channel randomized trace estimation [6.985273194899884]
  ニューラルネットワークにおける畳み込み層の勾配を多チャンネルランダム化トレース推定手法を用いて近似する。 他の手法と比較して、このアプローチは単純で分析に適しており、メモリフットプリントを大幅に削減する。 本稿では、バックプロパゲーションでトレーニングしたネットワークの性能と、メモリ使用量の最大化と計算オーバーヘッドの最小化を図りながら、エラーを制御する方法について論じる。
  論文  参考訳（メタデータ） (2021-06-13T13:54:02Z)
• Short-Term Memory Optimization in Recurrent Neural Networks by Autoencoder-based Initialization [79.42778415729475]
  線形オートエンコーダを用いた列列の明示的暗記に基づく代替解を提案する。 このような事前学習が、長いシーケンスで難しい分類タスクを解くのにどのように役立つかを示す。 提案手法は, 長周期の復元誤差をはるかに小さくし, 微調整時の勾配伝播を良くすることを示す。
  論文  参考訳（メタデータ） (2020-11-05T14:57:16Z)
• Event-Based Backpropagation can compute Exact Gradients for Spiking Neural Networks [0.0]
  スパイクニューラルネットワークは、離散スパイクを用いたアナログ計算とイベントベースの通信を組み合わせる。 この研究は、連続時間スパイクニューラルネットワークと一般損失関数のバックプロパゲーションアルゴリズムを初めて導いた。 EventProp経由で計算した勾配を用いて,スパイク時間あるいは電圧に基づく損失関数を用いて,Yin-YangおよびMNISTデータセット上のネットワークをトレーニングし,競合性能を報告する。
  論文  参考訳（メタデータ） (2020-09-17T15:45:00Z)
• Binary Neural Networks: A Survey [126.67799882857656]
  バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。 バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。 本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
  論文  参考訳（メタデータ） (2020-03-31T16:47:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。