論文の概要: Half-Layered Neural Networks

• arxiv url: http://arxiv.org/abs/2506.04352v1
• Date: Wed, 04 Jun 2025 18:11:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.364395
• Title: Half-Layered Neural Networks
• Title（参考訳）: 半層ニューラルネットワーク
• Authors: Ethem Alpaydin,
• Abstract要約: 半単位は2つの段階から構成される: 第一に、入力の重み付けと固定されたランダムな重み付け、第二に、合計のアクティベーションが乗算され、2つの変更可能な重みで変換される。 このような半分のユニットが、ディープネットワークの第1層や第2層のどの層でも、おそらく畳み込み層に従えばよいかを示す。
• 参考スコア（独自算出の注目度）: 1.9580473532948401
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a ``half'' layer of hidden units that has some of its weights randomly set and some of them trained. A half unit is composed of two stages: First, it takes a weighted sum of its inputs with fixed random weights, and second, the total activation is multiplied and then translated using two modifiable weights, before the result is passed through a nonlinearity. The number of modifiable weights of each hidden unit is thus two and does not depend on the fan-in. We show how such half units can be used in the first or any later layer in a deep network, possibly following convolutional layers. Our experiments on MNIST and FashionMNIST data sets indicate the promise of half layers, where we can achieve reasonable accuracy with a reduced number of parameters due to the regularizing effect of the randomized connections.
• Abstract（参考訳）: 我々は、その重みのいくつかをランダムに設定し、そのうちのいくつかを訓練した隠れ単位の ``half'' 層を提案する。 半単位は2つの段階から構成される: 第一に、入力の重み付けと固定されたランダムな重み付け、第二に、合計のアクティベーションを乗算し、2つの変更可能な重みで変換し、結果が非線形性を通過する。 したがって、各隠れ単位の修正可能な重みの数は2つであり、ファンインに依存しない。 このような半分のユニットが、ディープネットワークの第1層や第2層のどの層でも、おそらく畳み込み層に従えばよいかを示す。 MNIST と FashionMNIST のデータセットを用いた実験は,ランダム化接続の正規化効果によりパラメータ数を削減した精度で,半層の有望性を示す。

関連論文リスト

• Optimal generalisation and learning transition in extensive-width shallow neural networks near interpolation [4.976898227858662]
  教師が指導する2層ニューラルネットワークを用いた教師型学習モデルについて考察する。 任意の活性化関数に対するネットワークのベイズ最適一般化誤差を近似する有効な理論を提供する。
  論文  参考訳（メタデータ） (2025-01-30T17:56:52Z)
• Generative Feature Training of Thin 2-Layer Networks [0.0]
  正方形損失と小さなデータセットに基づく隠れ重みの少ない2層ニューラルネットワークによる関数近似を考察する。 高度に隠蔽されたモデルとして、学習された分布提案からのサンプルを用いて隠れ重みを利用する。 潜時空間における勾配に基づく後処理により, 試料重量を改良する。
  論文  参考訳（メタデータ） (2024-11-11T10:32:33Z)
• Neural Metamorphosis [72.88137795439407]
  本稿では,ニューラル・メタモルファス(NeuMeta)と呼ばれる,自己変形可能なニューラルネットワークの構築を目的とした新たな学習パラダイムを提案する。 NeuMetaはニューラルネットワークの連続重み多様体を直接学習する。 75%の圧縮速度でもフルサイズの性能を維持する。
  論文  参考訳（メタデータ） (2024-10-10T14:49:58Z)
• Learning to Compose SuperWeights for Neural Parameter Allocation Search [61.078949532440724]
  提案手法は,同じ重み集合を用いて多くのネットワークに対してパラメータを生成することができることを示す。 これにより、効率的なアンサンブルや、いつでも予測できるようなタスクをサポートできます。
  論文  参考訳（メタデータ） (2023-12-03T04:20:02Z)
• Random Weights Networks Work as Loss Prior Constraint for Image Restoration [50.80507007507757]
  「画像復元の優先制約としてランダムウェイトネットワークを機能させることができる」という信念を提示する。」 我々の信念は、計算コストのトレーニングやテストなしに、既存のネットワークに直接挿入することができる。 強調しておきたいのは、損失関数の領域を刺激し、現在無視されている状態を保存することです。
  論文  参考訳（メタデータ） (2023-03-29T03:43:51Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• Gradient-based Weight Density Balancing for Robust Dynamic Sparse Training [59.48691524227352]
  スパースニューラルネットワークをゼロからトレーニングするには、接続自体と同時にコネクションを最適化する必要がある。 トレーニング中に各レイヤ間の接続は複数回最適化されるが、各レイヤの密度は通常一定である。 我々は、すべての層に重みを分散するテクニックであるGlobal Gradient-based Redistributionを提案する。
  論文  参考訳（メタデータ） (2022-10-25T13:32:09Z)
• BiTAT: Neural Network Binarization with Task-dependent Aggregated Transformation [116.26521375592759]
  量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。 コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。 本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
  論文  参考訳（メタデータ） (2022-07-04T13:25:49Z)
• Deep neural networks with dependent weights: Gaussian Process mixture limit, heavy tails, sparsity and compressibility [18.531464406721412]
  本稿では,重みに依存するディープフィードフォワードニューラルネットワークの無限幅限界について検討する。 ネットワークの各隠れノードは、そのノードの出力重みの分散を制御する非負のランダム変数が割り当てられる。
  論文  参考訳（メタデータ） (2022-05-17T09:14:32Z)
• Iterative Training: Finding Binary Weight Deep Neural Networks with Layer Binarization [0.0]
  低レイテンシやモバイルアプリケーションでは、計算量の削減、メモリフットプリントの削減、エネルギー効率の向上が望まれている。 重み二項化の最近の研究は、重み-入出力行列の乗法を加算に置き換えている。 完全二進法ではなく部分二進法の重み付けから、トレーニングがより優れた精度で完全二進法の重み付けネットワークに到達することを実証的に示す。
  論文  参考訳（メタデータ） (2021-11-13T05:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。