論文の概要: A Synthetic Pseudo-Autoencoder Invites Examination of Tacit Assumptions in Neural Network Design

• arxiv url: http://arxiv.org/abs/2506.12076v1
• Date: Fri, 06 Jun 2025 20:32:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-22 23:32:14.628978
• Title: A Synthetic Pseudo-Autoencoder Invites Examination of Tacit Assumptions in Neural Network Design
• Title（参考訳）: 合成擬似オートエンコーダによるニューラルネットワーク設計における暗黙推定の検討
• Authors: Assaf Marron,
• Abstract要約: 本稿では,任意の整数集合を1つの数値変数に符号化する問題を解く手作りニューラルネットワークを提案する。 標準的なニューラルネットワーク操作のみを使用しながら、この分野の一般的な概念に挑戦する設計選択を行います。 このニューラルネットは実用化を意図していない。
• 参考スコア（独自算出の注目度）: 0.9627066153699632
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a handcrafted neural network that, without training, solves the seemingly difficult problem of encoding an arbitrary set of integers into a single numerical variable, and then recovering the original elements. While using only standard neural network operations -- weighted sums with biases and identity activation -- we make design choices that challenge common notions in this area around representation, continuity of domains, computation, learnability and more. For example, our construction is designed, not learned; it represents multiple values using a single one by simply concatenating digits without compression, and it relies on hardware-level truncation of rightmost digits as a bit-manipulation mechanism. This neural net is not intended for practical application. Instead, we see its resemblance to -- and deviation from -- standard trained autoencoders as an invitation to examine assumptions that may unnecessarily constrain the development of systems and models based on autoencoding and machine learning. Motivated in part by our research on a theory of biological evolution centered around natural autoencoding of species characteristics, we conclude by refining the discussion with a biological perspective.
• Abstract（参考訳）: 任意の整数の集合を1つの数値変数に符号化し、元の要素を復元するという、一見難しい問題を解決する手作りニューラルネットワークを提案する。 標準のニューラルネットワーク操作(バイアスとアイデンティティアクティベーションの重み付き和)のみを使用することで、表現、ドメインの連続性、計算、学習可能性など、この分野の一般的な概念に挑戦する設計選択を行う。 例えば、この構造は、圧縮を伴わずに複数の桁を連結することで単一の値を用いて複数の値を表現し、ビット操作機構として最右桁のハードウェアレベルでの切り抜きに依存している。 このニューラルネットは実用化を意図していない。 その代わり、標準的な訓練されたオートエンコーダに似ていて、オートエンコーディングと機械学習に基づくシステムやモデルの開発を不必要に制限する可能性のある仮定を検証するための招待として、 -- と逸脱した -- と見られる。 種の特徴の自然的自己エンコーディングを中心とした生物進化論を考察した結果,生物学的な視点で議論を精査し,結論を導いた。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Toward Neuromic Computing: Neurons as Autoencoders [0.0]
  本稿では、神経バックプロパゲーションが樹状突起処理を用いて、個々のニューロンが自己エンコーディングを行うことを可能にするという考えを述べる。 非常に単純な接続重み探索と人工ニューラルネットワークモデルを用いて、フィードフォワードネットワークの隠蔽層における各ニューロンに対する自己エンコーディングのインターリーブ効果について検討した。
  論文  参考訳（メタデータ） (2024-03-04T18:58:09Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Robust Generalization of Quadratic Neural Networks via Function Identification [19.87036824512198]
  一般化は、テスト分布がトレーニング分布に近いと仮定することが多い。 2次ニューラルネットワークでは、パラメータを特定できないにもかかわらず、モデルで表される関数を識別できることが示される。
  論文  参考訳（メタデータ） (2021-09-22T18:02:00Z)
• A Sparse Coding Interpretation of Neural Networks and Theoretical Implications [0.0]
  深層畳み込みニューラルネットワークは、様々なコンピュータビジョンタスクにおいて前例のない性能を達成した。 本稿では、ReLUアクティベーションを持つニューラルネットワークのスパース符号化解釈を提案する。 正規化やプーリングなしに完全な畳み込みニューラルネットワークを導出する。
  論文  参考訳（メタデータ） (2021-08-14T21:54:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。