Fugu-MT 論文翻訳(概要): Fusion Encoder Networks

論文の概要: Fusion Encoder Networks

arxiv url: http://arxiv.org/abs/2402.15883v1
Date: Sat, 24 Feb 2024 19:06:41 GMT
ステータス: 翻訳完了
システム内更新日: 2024-02-27 16:31:13.204448
Title: Fusion Encoder Networks
Title（参考訳）: fusion エンコーダネットワーク
Authors: Stephen Pasteris, Chris Hicks, Vasilios Mavroudis
Abstract要約: 固定長シーケンスを出力にマッピングするニューラルネットワークを作成するアルゴリズムのクラスを提示する。結果として得られるニューラルネットワークは対数深さのみを持つ(ネットワークを介して伝播するデータの劣化を緩和する)。 FENの重要な特性は、一定の深さのニューラルネットワークの準線形数を並列にトレーニングすることで学習することである。
参考スコア（独自算出の注目度）: 4.9094025705644695
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper we present fusion encoder networks (FENs): a class of algorithms for creating neural networks that map fixed-length sequences to outputs. The resulting neural network has only logarithmic depth (alleviating the degradation of data as it propagates through the network) and can process sequences in linear time (or in logarithmic time with a linear number of processors). The crucial property of FENs is that they learn by training a quasi-linear number of constant-depth neural networks in parallel. The fact that these networks are constant depth means that backpropagation works well. We note that currently the performance of FENs is only conjectured as we are yet to implement them.
Abstract（参考訳）: 本稿では、固定長シーケンスを出力にマッピングするニューラルネットワークを作成するアルゴリズムのクラスであるフュージョンエンコーダネットワーク(FEN)を提案する。結果として得られるニューラルネットワークは対数深さ(ネットワークを介して伝播するデータの劣化を緩和する)のみを持ち、線形時間(または線形数のプロセッサで対数時間)でシーケンスを処理できる。 FENの重要な特性は、一定の深さのニューラルネットワークの準線形数を並列にトレーニングすることで学習することである。これらのネットワークが一定の深さであるという事実は、バックプロパゲーションがうまく機能することを意味する。現在、FENのパフォーマンスは、まだ実装されていないため、推測されているだけである。

関連論文リスト

Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文参考訳（メタデータ） (2024-03-18T18:01:01Z)
How to guess a gradient [68.98681202222664]
我々は、勾配が以前考えられていたよりもより構造化されていることを示す。この構造をエクスプロイトすると、勾配のない最適化スキームが大幅に改善される。厳密な勾配の最適化と勾配の推測の間に大きなギャップを克服する上での新たな課題を強調した。
論文参考訳（メタデータ） (2023-12-07T21:40:44Z)
Make Deep Networks Shallow Again [6.647569337929869]
余剰接続の概念によってブレークスルーが達成されている。残差接続層のスタックはテイラー展開に類似した項の拡張として表すことができる。言い換えれば、シーケンシャルなディープアーキテクチャは、平行な浅層アーキテクチャに置き換えられる。
論文参考訳（メタデータ） (2023-09-15T14:18:21Z)
A max-affine spline approximation of neural networks using the Legendre transform of a convex-concave representation [0.3007949058551534]
本研究では,ニューラルネットワークをスプライン表現に変換する新しいアルゴリズムを提案する。唯一の制約は、函数が有界で、よく定義された第二微分を持つことである。また、各レイヤ上で独立してではなく、ネットワーク全体にわたって実行することもできる。
論文参考訳（メタデータ） (2023-07-16T17:01:20Z)
Self-Expanding Neural Networks [24.812671965904727]
ニューラルネットワークの幅と深さの両方を直感的に拡張する自然な勾配に基づくアプローチを導入する。我々は、ニューロンが加算されるレート'の上限を証明し、拡張スコアに計算的に安価で低いバウンドを証明した。分類問題と回帰問題の両方において、完全な接続性と畳み込みを備えた自己拡張ニューラルネットワークの利点について説明する。
論文参考訳（メタデータ） (2023-07-10T12:49:59Z)
Centered Self-Attention Layers [89.21791761168032]
変圧器の自己保持機構とグラフニューラルネットワークのメッセージ通過機構を繰り返し適用する。我々は、このアプリケーションが必然的に、より深い層での同様の表現に過剰なスムーシングをもたらすことを示す。これらの機構の集約演算子に補正項を提示する。
論文参考訳（メタデータ） (2023-06-02T15:19:08Z)
Automatic Gradient Descent: Deep Learning without Hyperparameters [35.350274248478804]
ディープニューラルネットワークのアーキテクチャは、レイヤ数、各レイヤの幅、一般的なネットワークトポロジの観点から明確に定義される。グラデーション・アイデアは、神経アーキテクチャの非勾配構造を考慮するために、ブレグマンの発散を変換することである。
論文参考訳（メタデータ） (2023-04-11T12:45:52Z)
Convolutional Learning on Multigraphs [153.20329791008095]
我々は、多グラフ上の畳み込み情報処理を開発し、畳み込み多グラフニューラルネットワーク(MGNN)を導入する。情報拡散の複雑なダイナミクスを多グラフのエッジのクラス間で捉えるために、畳み込み信号処理モデルを定式化する。我々は,計算複雑性を低減するため,サンプリング手順を含むマルチグラフ学習アーキテクチャを開発した。導入されたアーキテクチャは、最適な無線リソース割り当てとヘイトスピーチローカライゼーションタスクに適用され、従来のグラフニューラルネットワークよりも優れたパフォーマンスを提供する。
論文参考訳（メタデータ） (2022-09-23T00:33:04Z)
Quiver neural networks [5.076419064097734]
ニューラルネットワーク接続アーキテクチャの解析に対する一様理論的アプローチを開発する。数学におけるquiver表現理論にインスパイアされたこのアプローチは、精巧なデータフローを捉えるためのコンパクトな方法を与える。
論文参考訳（メタデータ） (2022-07-26T09:42:45Z)
Learning on Arbitrary Graph Topologies via Predictive Coding [38.761663028090204]
任意のグラフトポロジで推論と学習を行うために,予測符号化がどのように使用できるかを示す。我々は、PCグラフと呼ばれるこの定式化が、同じネットワークで異なるタスクを柔軟に実行するためにどのように使用できるかを実験的に示す。
論文参考訳（メタデータ） (2022-01-31T12:43:22Z)
Projective Manifold Gradient Layer for Deep Rotation Regression [49.85464297105456]
ディープニューラルネットワークを用いたSO(3)多様体上の回帰回転は重要な問題であるが未解決である。ネットワーク重みに直接逆伝搬する多様体対応勾配を提案する。
論文参考訳（メタデータ） (2021-10-22T08:34:15Z)
On the Implicit Biases of Architecture & Gradient Descent [46.34988166338264]
本稿では、トレーニングデータに適合する典型的なネットワークは、既にかなり一般化されているが、勾配降下は、大きなマージンを持つネットワークを選択することにより、さらに一般化を向上させることができることを見出した。新しい技術ツールは、アーキテクチャの暗黙のバイアスと勾配降下の両方を含む一般化の微妙なポートレートを示唆している。
論文参考訳（メタデータ） (2021-10-08T17:36:37Z)
Predify: Augmenting deep neural networks with brain-inspired predictive coding dynamics [0.5284812806199193]
我々は神経科学の一般的な枠組みからインスピレーションを得た:「予測コーディング」本稿では、この戦略をVGG16とEfficientNetB0という2つの人気ネットワークに実装することで、様々な汚職に対する堅牢性を向上させることを示す。
論文参考訳（メタデータ） (2021-06-04T22:48:13Z)
GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
論文参考訳（メタデータ） (2021-02-16T11:45:35Z)
Have convolutions already made recurrence obsolete for unconstrained handwritten text recognition ? [3.0969191504482247]
制約のない手書きテキスト認識は、ディープニューラルネットワークにとって重要な課題です。リカレントネットワークとLong Short-Term Memory Networkはこの分野で最先端の性能を達成した。 RIMESデータセットを用いたオフライン手書き認識タスクにおける異なるアーキテクチャに関する実験的研究を提案する。
論文参考訳（メタデータ） (2020-12-09T10:15:24Z)
Spatio-Temporal Inception Graph Convolutional Networks for Skeleton-Based Action Recognition [126.51241919472356]
我々はスケルトンに基づく行動認識のためのシンプルで高度にモジュール化されたグラフ畳み込みネットワークアーキテクチャを設計する。ネットワークは,空間的および時間的経路から多粒度情報を集約するビルディングブロックを繰り返すことで構築される。
論文参考訳（メタデータ） (2020-11-26T14:43:04Z)
Using Graph Neural Networks to Reconstruct Ancient Documents [2.4366811507669124]
グラフニューラルネットワークをベースとした一対のパッチ情報を用いてラベルをエッジに割り当てる手法を提案する。このネットワークは、ソースとターゲットパッチの関係を、アップ、ダウン、左、右、ノーンの1つに分類する。このモデルでは,エッジレベルでの正確な分類だけでなく,パッチの集合から部分的あるいは完全な再構成グラフを生成することが可能である。
論文参考訳（メタデータ） (2020-11-13T18:36:36Z)
Permute, Quantize, and Fine-tune: Efficient Compression of Neural Networks [70.0243910593064]
ベクトル量子化の成功の鍵は、どのパラメータ群を一緒に圧縮するかを決定することである。本稿では,隣り合う2つの層の重みを同じ関数を表現しながら不変にすることができることを観察する。次に、レート歪み理論への接続を確立し、圧縮し易いネットワークとなる置換を探索する。
論文参考訳（メタデータ） (2020-10-29T15:47:26Z)
Learning compositional functions via multiplicative weight updates [97.9457834009578]
乗算重み更新は構成関数に合わせた降下補題を満たすことを示す。マダムは、学習率のチューニングなしに、最先端のニューラルネットワークアーキテクチャをトレーニングできることを示す。
論文参考訳（メタデータ） (2020-06-25T17:05:19Z)
Neural Sparse Representation for Image Restoration [116.72107034624344]
スパース符号化に基づく画像復元モデルの堅牢性と効率に触発され,深部ネットワークにおけるニューロンの空間性について検討した。本手法は,隠れたニューロンに対する空間的制約を構造的に強制する。実験により、複数の画像復元タスクのためのディープニューラルネットワークではスパース表現が不可欠であることが示されている。
論文参考訳（メタデータ） (2020-06-08T05:15:17Z)
Geometrically Principled Connections in Graph Neural Networks [66.51286736506658]
我々は、幾何学的深層学習の新興分野におけるイノベーションの原動力は、幾何が依然として主要な推進力であるべきだと論じている。グラフニューラルネットワークとコンピュータグラフィックスとデータ近似モデルとの関係:放射基底関数(RBF) 完全連結層とグラフ畳み込み演算子を組み合わせた新しいビルディングブロックであるアフィンスキップ接続を導入する。
論文参考訳（メタデータ） (2020-04-06T13:25:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。