論文の概要: On the Compressive Power of Boolean Threshold Autoencoders
- arxiv url: http://arxiv.org/abs/2004.09735v1
- Date: Tue, 21 Apr 2020 03:21:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-11 06:03:57.143815
- Title: On the Compressive Power of Boolean Threshold Autoencoders
- Title（参考訳）: ブール閾値オートエンコーダの圧縮力について
- Authors: Avraham A. Melkman, Sini Guo, Wai-Ki Ching, Pengyu Liu, Tatsuya Akutsu
- Abstract要約: オートエンコーダ(autoencoder)は、エンコーダとデコーダからなる構造とみなすことができる階層型ニューラルネットワークである。
任意の$n$異なるベクトルに対して、最小の中間層を持つ7層オートエンコーダが存在することを示す。
- 参考スコア（独自算出の注目度）: 11.47907490900914
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: An autoencoder is a layered neural network whose structure can be viewed as
consisting of an encoder, which compresses an input vector of dimension $D$ to
a vector of low dimension $d$, and a decoder which transforms the
low-dimensional vector back to the original input vector (or one that is very
similar). In this paper we explore the compressive power of autoencoders that
are Boolean threshold networks by studying the numbers of nodes and layers that
are required to ensure that the numbers of nodes and layers that are required
to ensure that each vector in a given set of distinct input binary vectors is
transformed back to its original. We show that for any set of $n$ distinct
vectors there exists a seven-layer autoencoder with the smallest possible
middle layer, (i.e., its size is logarithmic in $n$), but that there is a set
of $n$ vectors for which there is no three-layer autoencoder with a middle
layer of the same size. In addition we present a kind of trade-off: if a
considerably larger middle layer is permissible then a five-layer autoencoder
does exist. We also study encoding by itself. The results we obtain suggest
that it is the decoding that constitutes the bottleneck of autoencoding. For
example, there always is a three-layer Boolean threshold encoder that
compresses $n$ vectors into a dimension that is reduced to twice the logarithm
of $n$.
- Abstract（参考訳）: オートエンコーダ(autoencoder)は、エンコーダ(encoder)と、低次元のベクトルに$D$の入力ベクトルを圧縮するエンコーダ(encoder)と、低次元のベクトルを元の入力ベクトル(または非常によく似たもの)に変換するデコーダ(decoder)から構成される階層型ニューラルネットワークである。
本稿では,与えられた入力2進ベクトルの集合内の各ベクトルが元のベクトルに変換されることを保証するために必要となるノードとレイヤの数を調べることにより,ブールしきい値ネットワークであるオートエンコーダの圧縮力について検討する。
任意の$n$異なるベクトル集合に対して、最小の中間層を持つ7層オートエンコーダが存在する(すなわち、そのサイズは$n$で対数的である)が、同じ大きさの中間層を持つ3層オートエンコーダが存在しないような$n$ベクトルの集合が存在することを示す。
さらに、我々はある種のトレードオフを提示している:もしかなり大きな中間層が許容できるなら、5層オートエンコーダが存在する。
エンコーディング自体も研究しています。
その結果,自動エンコーディングのボトルネックとなるのはデコードであることが示唆された。
例えば、常に3層ブールしきい値エンコーダがあり、これは$n$ベクターを次元に圧縮し、それは$n$の対数を2倍に減らす。
関連論文リスト
- Restructuring Vector Quantization with the Rotation Trick [36.03697966463205]
ベクトル量子化変分オートエンコーダ(VQ-VAE)は、連続的な入力を離散潜在空間に圧縮し、最小限の歪みで再構成するように設計されている。
ベクトル量子化は微分不可能であるため、エンコーダへの勾配はベクトル量子化層を通り抜けるのではなく、直線的な近似で流れる。
本稿では,VQ-VAEのベクトル量子化層を通じて勾配を伝搬する方法を提案する。
論文 参考訳（メタデータ） (2024-10-08T23:39:34Z) - Superposed Decoding: Multiple Generations from a Single Autoregressive Inference Pass [72.07642648108849]
Superposed Decodingは、1つの自己回帰推論パスのコストで$k$のドラフトを生成する新しい復号アルゴリズムである。
Superposed Decodingは、他のデコード戦略と組み合わせることで、推論時間計算のスケーリング時に普遍的なカバレッジが向上する。
論文 参考訳（メタデータ） (2024-05-28T17:40:48Z) - Triple-Encoders: Representations That Fire Together, Wire Together [51.15206713482718]
コントラスト学習(Contrastive Learning)は、バイエンコーダを介して発話間の相対距離を埋め込み空間に符号化する表現学習法である。
本研究では,これら独立に符号化された発話から分散発話混合物を効率よく計算する三重エンコーダを提案する。
トリプルエンコーダはバイエンコーダよりも大幅に改善され、シングルベクトル表現モデルよりもゼロショットの一般化が向上することがわかった。
論文 参考訳（メタデータ） (2024-02-19T18:06:02Z) - Why should autoencoders work? [1.6317061277457001]
ディープニューラルネットワークオートエンコーダは、モデルリダクションに日常的に使用される。
このテクニックが"動作する"ことが分かり、この効果を説明する方法があるかどうかを問うことになる。
論文 参考訳（メタデータ） (2023-10-03T17:53:43Z) - On the Size and Width of the Decoder of a Boolean Threshold Autoencoder [5.482532589225552]
ブールしきい値関数からなるオートエンコーダのサイズと幅について検討する。
我々はデコーダ部分に注目し、$Omega(sqrtDn/d)$と$O(sqrtDn)$ノードが$d$次元のバイナリ空間を$D$次元のバイナリ空間に変換する必要があることを示す。
論文 参考訳（メタデータ） (2021-12-21T01:49:57Z) - Dynamic Neural Representational Decoders for High-Resolution Semantic
Segmentation [98.05643473345474]
動的ニューラル表現デコーダ(NRD)と呼ばれる新しいデコーダを提案する。
エンコーダの出力上の各位置がセマンティックラベルの局所的なパッチに対応するので、この研究では、これらの局所的なパッチをコンパクトなニューラルネットワークで表現する。
このニューラル表現により、意味ラベル空間に先行する滑らかさを活用することができ、デコーダをより効率的にすることができる。
論文 参考訳（メタデータ） (2021-07-30T04:50:56Z) - Cherry-Picking Gradients: Learning Low-Rank Embeddings of Visual Data
via Differentiable Cross-Approximation [53.95297550117153]
本稿では,大規模な視覚データテンソルの処理を行うエンドツーエンドのトレーニング可能なフレームワークを提案する。
提案手法は大規模多次元グリッドデータや,大規模受容領域上のコンテキストを必要とするタスクに特に有用である。
論文 参考訳（メタデータ） (2021-05-29T08:39:57Z) - General tensor network decoding of 2D Pauli codes [0.0]
パウリ雑音を受ける2次元安定化器とサブシステム符号の最大確率復号を近似した復号器を提案する。
3つのノイズモデルの下で4つの符号のクラスを研究することにより,このデコーダのパワーを数値的に実証する。
我々はデコーダによって得られる閾値が最先端であり、利用可能な最適しきい値と数値的に一致していることを示す。
論文 参考訳（メタデータ） (2021-01-11T19:00:03Z) - Parallel decoding of multiple logical qubits in tensor-network codes [0.0]
テンソル・ネットワーク安定化符号を考察し,そのテンソル・ネットワーク復号器が独立論理量子ビットを並列に復号化可能であることを示す。
応用として、最大レートのホログラフィックステイン(ヘプタゴン)符号に対してこれを検証する。
論文 参考訳（メタデータ） (2020-12-14T07:58:16Z) - Permute, Quantize, and Fine-tune: Efficient Compression of Neural
Networks [70.0243910593064]
ベクトル量子化の成功の鍵は、どのパラメータ群を一緒に圧縮するかを決定することである。
本稿では,隣り合う2つの層の重みを同じ関数を表現しながら不変にすることができることを観察する。
次に、レート歪み理論への接続を確立し、圧縮し易いネットワークとなる置換を探索する。
論文 参考訳（メタデータ） (2020-10-29T15:47:26Z) - Probing Word Translations in the Transformer and Trading Decoder for
Encoder Layers [69.40942736249397]
トランスフォーマー層における単語の翻訳方法はまだ研究されていない。
翻訳はすでにエンコーダ層や入力埋め込みでも徐々に行われています。
実験の結果,翻訳品質が低い2.3までの速度向上が可能であり,さらに18-4のディープエンコーダ構成では翻訳品質が1.42BLEU(En-De)の速度アップで+1.42BLEU(En-De)向上することがわかった。
論文 参考訳（メタデータ） (2020-03-21T06:12:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。