論文の概要: On the Size and Width of the Decoder of a Boolean Threshold Autoencoder

• arxiv url: http://arxiv.org/abs/2112.10933v1
• Date: Tue, 21 Dec 2021 01:49:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-03 22:54:31.886045
• Title: On the Size and Width of the Decoder of a Boolean Threshold Autoencoder
• Title（参考訳）: ブールしきい値オートエンコーダのデコーダの大きさと幅について
• Authors: Tatsuya Akutsu, Avraham A. Melkman
• Abstract要約: ブールしきい値関数からなるオートエンコーダのサイズと幅について検討する。 我々はデコーダ部分に注目し、$Omega(sqrtDn/d)$と$O(sqrtDn)$ノードが$d$次元のバイナリ空間を$D$次元のバイナリ空間に変換する必要があることを示す。
• 参考スコア（独自算出の注目度）: 5.482532589225552
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we study the size and width of autoencoders consisting of Boolean threshold functions, where an autoencoder is a layered neural network whose structure can be viewed as consisting of an encoder, which compresses an input vector to a lower dimensional vector, and a decoder which transforms the low-dimensional vector back to the original input vector exactly (or approximately). We focus on the decoder part, and show that $\Omega(\sqrt{Dn/d})$ and $O(\sqrt{Dn})$ nodes are required to transform $n$ vectors in $d$-dimensional binary space to $D$-dimensional binary space. We also show that the width can be reduced if we allow small errors, where the error is defined as the average of the Hamming distance between each vector input to the encoder part and the resulting vector output by the decoder.
• Abstract（参考訳）: 本稿では,ブールしきい値関数からなる自己エンコーダのサイズと幅について検討する。オートエンコーダは,入力ベクトルを下次元ベクトルに圧縮するエンコーダと,低次元ベクトルを元の入力ベクトルに正確に(あるいは略して)変換するデコーダからなる構造とみなすことができる階層型ニューラルネットワークである。 我々はデコーダ部分に注目し、$\Omega(\sqrt{Dn/d})$と$O(\sqrt{Dn})$ノードが$d$次元のバイナリ空間で$n$ベクトルを$D$次元のバイナリ空間に変換する必要があることを示す。 また,各ベクトルがエンコーダ部に入力したハミング距離とデコーダが出力したベクトルとの誤差を平均として,小さな誤差を許容すれば,幅を小さくすることができることを示す。

関連論文リスト

• Restructuring Vector Quantization with the Rotation Trick [36.03697966463205]
  ベクトル量子化変分オートエンコーダ(VQ-VAE)は、連続的な入力を離散潜在空間に圧縮し、最小限の歪みで再構成するように設計されている。 ベクトル量子化は微分不可能であるため、エンコーダへの勾配はベクトル量子化層を通り抜けるのではなく、直線的な近似で流れる。 本稿では,VQ-VAEのベクトル量子化層を通じて勾配を伝搬する方法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T23:39:34Z)
• A Scalable Graph Neural Network Decoder for Short Block Codes [49.25571364253986]
  エッジ重み付きグラフニューラルネットワーク(EW-GNN)に基づく短絡符号の復号化アルゴリズムを提案する。 EW-GNNデコーダは、繰り返しメッセージパッシング構造を持つタナーグラフで動作する。 EW-GNNデコーダは,復号誤り率の観点から,BP法および深層学習に基づくBP法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-11-13T17:13:12Z)
• Just Least Squares: Binary Compressive Sampling with Low Generative Intrinsic Dimension [12.67951378791069]
  雑音や符号フリップによって劣化した$m$のバイナリ測定から$n$の次元信号を復元することを検討する。 二乗測定モデルは非常に非線形であるが、最小二乗復号器を提案する。
  論文  参考訳（メタデータ） (2021-11-29T12:06:47Z)
• Small Lesion Segmentation in Brain MRIs with Subpixel Embedding [105.1223735549524]
  ヒト脳のMRIスキャンを虚血性脳梗塞と正常組織に分割する方法を提案する。 本稿では,空間展開埋め込みネットワークによって予測を導出する標準エンコーダデコーダの形式でニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-09-18T00:21:17Z)
• A manifold learning perspective on representation learning: Learning decoder and representations without an encoder [0.0]
  オートエンコーダは表現学習で一般的に使用される。 多様体学習にインスパイアされて、トレーニングサンプルの表現を学習することで、デコーダを単独で訓練できることが示される。 デコーダのみを訓練する我々のアプローチは、小さなデータセットでも表現学習を容易にする。
  論文  参考訳（メタデータ） (2021-08-31T15:08:50Z)
• Dynamic Neural Representational Decoders for High-Resolution Semantic Segmentation [98.05643473345474]
  動的ニューラル表現デコーダ(NRD)と呼ばれる新しいデコーダを提案する。 エンコーダの出力上の各位置がセマンティックラベルの局所的なパッチに対応するので、この研究では、これらの局所的なパッチをコンパクトなニューラルネットワークで表現する。 このニューラル表現により、意味ラベル空間に先行する滑らかさを活用することができ、デコーダをより効率的にすることができる。
  論文  参考訳（メタデータ） (2021-07-30T04:50:56Z)
• On the Sub-Layer Functionalities of Transformer Decoder [74.83087937309266]
  トランスフォーマーをベースとしたデコーダは,ソースおよびターゲット言語からの情報をいかに活用するかを検討する。 これらの知見に基づき,各トランスフォーマーデコーダ層内の残フィードフォワードモジュールは,性能の低下を最小限に抑えられることを示した。
  論文  参考訳（メタデータ） (2020-10-06T11:50:54Z)
• On Sparsifying Encoder Outputs in Sequence-to-Sequence Models [90.58793284654692]
  我々はTransformerをテストベッドとして、エンコーダとデコーダの間にあるゲートの層を導入します。 ゲートは、パリシティ誘導L0ペナルティの期待値を用いて正規化される。 このスペーサー化が2つの機械翻訳と2つの要約タスクに与える影響について検討する。
  論文  参考訳（メタデータ） (2020-04-24T16:57:52Z)
• On the Compressive Power of Boolean Threshold Autoencoders [11.47907490900914]
  オートエンコーダ(autoencoder)は、エンコーダとデコーダからなる構造とみなすことができる階層型ニューラルネットワークである。 任意の$n$異なるベクトルに対して、最小の中間層を持つ7層オートエンコーダが存在することを示す。
  論文  参考訳（メタデータ） (2020-04-21T03:21:43Z)
• Encoder blind combinatorial compressed sensing [5.177947445379688]
  線形測定のみからスパース符号の集合を復元するデコーダを設計する際の問題点を考察する。 本稿では,Decoder-Expander Based Factorisationという計算効率のよいデコードアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-04-10T16:26:11Z)
• Efficient color code decoders in $d\geq 2$ dimensions from toric code decoders [77.34726150561087]
  Restriction Decoderは、対応するトーリックコード復号が成功した場合に限り、カラーコードのエラーを修正する。 ビットフリップと位相フリップの雑音に対して、2次元、3次元のカラーコードに対する制限デコーダ閾値を数値的に推定する。
  論文  参考訳（メタデータ） (2019-05-17T17:41:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。