論文の概要: Lempel-Ziv Networks

• arxiv url: http://arxiv.org/abs/2211.13250v1
• Date: Wed, 23 Nov 2022 19:01:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-28 15:08:52.868450
• Title: Lempel-Ziv Networks
• Title（参考訳）: lempel-zivネットワーク
• Authors: Rebecca Saul, Mohammad Mahmudul Alam, John Hurwitz, Edward Raff, Tim Oates, James Holt
• Abstract要約: 本稿では,LZJD(Lempel-Ziv Jaccard Distance)とk-Nearest Neighborアルゴリズムを組み合わせた手法を提案する。 本稿では,アルゴリズムの深層学習アナログであるLempel-Ziv Networkの有効性について検討する。 我々は概念実証に成功したが、標準LSTMの性能を有意義に改善することはできない。
• 参考スコア（独自算出の注目度）: 28.380004008740055
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sequence processing has long been a central area of machine learning research. Recurrent neural nets have been successful in processing sequences for a number of tasks; however, they are known to be both ineffective and computationally expensive when applied to very long sequences. Compression-based methods have demonstrated more robustness when processing such sequences -- in particular, an approach pairing the Lempel-Ziv Jaccard Distance (LZJD) with the k-Nearest Neighbor algorithm has shown promise on long sequence problems (up to $T=200,000,000$ steps) involving malware classification. Unfortunately, use of LZJD is limited to discrete domains. To extend the benefits of LZJD to a continuous domain, we investigate the effectiveness of a deep-learning analog of the algorithm, the Lempel-Ziv Network. While we achieve successful proof of concept, we are unable to improve meaningfully on the performance of a standard LSTM across a variety of datasets and sequence processing tasks. In addition to presenting this negative result, our work highlights the problem of sub-par baseline tuning in newer research areas.
• Abstract（参考訳）: シーケンス処理は長い間、機械学習研究の中心的な領域であった。 リカレントニューラルネットは、多くのタスクのシーケンス処理に成功しているが、非常に長いシーケンスに適用した場合、非効率かつ計算コストがかかることが知られている。 特に lempel-ziv jaccard distance (lzjd) と k-nearest neighbor アルゴリズムを組み合わせるアプローチでは、マルウェアの分類を含む長いシーケンス問題(最大$t=200,000,000$ ステップ)に期待が持たれている。 残念ながら、LZJDの使用は離散領域に限定されている。 LZJDの利点を連続的な領域に拡張するために,アルゴリズムのディープラーニングアナログであるLempel-Ziv Networkの有効性を検討する。 我々は概念実証に成功したが、様々なデータセットやシーケンス処理タスクで標準LSTMの性能を有意義に改善することはできない。 この否定的な結果の提示に加えて,新たな研究領域におけるサブパーベースラインチューニングの問題も強調した。

関連論文リスト

• Optimized Generation of Entanglement by Real-Time Ordering of Swapping Operations [4.152766500389854]
  量子ネットワークにおける長距離量子通信は、非閉鎖定理によって課される制約のために大きな課題に直面している。 既存のほとんどの量子通信プロトコルは、絡み合い対(EP)の事前分布に依存している。 本稿では,現行のネットワークに基づいて,各段階において最適な経路および/または絡み込みスワッピング動作を反復的に決定するグリーディアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-13T06:43:11Z)
• Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
  我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。 トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
  論文  参考訳（メタデータ） (2023-09-12T13:03:47Z)
• Optimization of Topology-Aware Job Allocation on a High-Performance Computing Cluster by Neural Simulated Annealing [4.215562786525106]
  トポロジ対応ジョブ割り当て問題(TJAP)は、特定のアプリケーションにノードを割り当てる方法を決定する問題である。 本稿では,通信ホップのコストを最小化することを目的とした,ファットツリーネットワーク上でのウィンドウベースTJAPについて検討する。 静的連続性割当て戦略(SCAS)と動的連続性割当て戦略(DCAS)の2つの特別な割当て戦略が検討されている。
  論文  参考訳（メタデータ） (2023-02-06T03:13:03Z)
• Entropic Neural Optimal Transport via Diffusion Processes [105.34822201378763]
  本稿では,連続確率分布間のエントロピー最適輸送(EOT)計画を計算するための新しいアルゴリズムを提案する。 提案アルゴリズムは,シュリンガーブリッジ問題(Schr"odinger Bridge problem)として知られるEOTの動的バージョンのサドル点再構成に基づく。 大規模EOTの従来の手法とは対照的に,我々のアルゴリズムはエンドツーエンドであり,単一の学習ステップで構成されている。
  論文  参考訳（メタデータ） (2022-11-02T14:35:13Z)
• Recursive Least Squares Policy Control with Echo State Network [17.555929738017344]
  本稿では,ESNRLS-QとESNRLS-Sarsaの2つの新しいポリシー制御アルゴリズムを提案する。 トレーニングサンプルの相関性を低減するために,リークインテグレータESNとミニバッチ学習モードを用いる。 ミニバッチモードにおけるESNのトレーニングに適したRSSを実現するために,RSS相関行列を更新するための平均近似法を提案する。
  論文  参考訳（メタデータ） (2022-01-13T03:41:07Z)
• Sublinear Least-Squares Value Iteration via Locality Sensitive Hashing [49.73889315176884]
  本稿では、実行時の複雑さをアクション数にサブリニアに持つ最初の証明可能なLeast-Squares Value Iteration(LSVI)アルゴリズムを提示する。 我々は, 近似最大内積探索理論と強化学習の後悔分析との関係を構築する。
  論文  参考訳（メタデータ） (2021-05-18T05:23:53Z)
• Fast and Complete: Enabling Complete Neural Network Verification with Rapid and Massively Parallel Incomplete Verifiers [112.23981192818721]
  BaB プロセス中に線形計画法 (LP) を置き換えるために, 逆モード線形緩和に基づく解析法 (LiRPA) を提案する。 LPとは異なり、LiRPAを適用すると、より弱い境界が得られ、分割時にサブドメインのコンフリクトをチェックすることもできない。 既存のLPベースのアプローチと比較して、桁違いのスピードアップを示す。
  論文  参考訳（メタデータ） (2020-11-27T16:42:12Z)
• Solving Sparse Linear Inverse Problems in Communication Systems: A Deep Learning Approach With Adaptive Depth [51.40441097625201]
  疎信号回復問題に対するエンドツーエンドの訓練可能なディープラーニングアーキテクチャを提案する。 提案手法は,出力するレイヤ数を学習し,各タスクのネットワーク深さを推論フェーズで動的に調整する。
  論文  参考訳（メタデータ） (2020-10-29T06:32:53Z)
• A Sequential Framework Towards an Exact SDP Verification of Neural Networks [14.191310794366075]
  ニューラルネットワークのロバスト性を研究するために,凸最適化に基づくいくつかの手法が文献で提案されている。 堅牢な認証アプローチの課題は、大きな緩和ギャップがあることです。 本研究では,このギャップをゼロに縮めるための逐次プログラミングフレームワークを開発することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-10-16T19:45:11Z)
• Continual Learning in Recurrent Neural Networks [67.05499844830231]
  リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。 RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重 そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
  論文  参考訳（メタデータ） (2020-06-22T10:05:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。