論文の概要: Correlational Training of Morphological Neural Networks

• arxiv url: http://arxiv.org/abs/2610.11740v1
• Date: Thu, 08 Oct 2026 11:33:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.981644
• Title: Correlational Training of Morphological Neural Networks
• Title（参考訳）: 形態素ニューラルネットワークの相関学習
• Abstract要約: 形態素ニューラルネットワークの新しい重み更新法を提案する。 我々は,各形態素パーセプトロンを,対数空間における専門家のアドバイス問題からの学習の例として用いている。 我々は、スタンドアローンモデルや大きなトランスネットワークの一部として、完全に接続された層をトレーニングすることで、我々のアプローチを実証的に評価する。
• 参考スコア（独自算出の注目度）: 16.985704173494074
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks are typically trained using first-order methods and back-propagation. It is unclear whether this approach is optimal for morphological layers whose weight Jacobians are sparse and whose resulting parameter gradients can be poor. In this work, we propose a novel weight update method for morphological neural networks inspired from the Multiplicative Weights Update (MWU) scheme. We view each morphological perceptron as an instance of the learning from experts' advice problem in logarithmic space, and use a correlation-based reward that favors inputs aligned with the desired output change, regardless of whether a strong gradient signal has reached their weight. We empirically evaluate our approach by training fully connected layers both as stand-alone models and as parts of larger transformer networks. Across nine benchmarks, correlational training yields improvements on eight, by up to 32.84 percentage points, while substantially reducing run-to-run variability.
• Abstract（参考訳）: ニューラルネットワークは通常、一階法とバックプロパゲーションを使って訓練される。 この手法が、ジャコビアン重みがスパースであり、パラメータ勾配が貧弱なモルフォロジー層に最適かどうかは不明である。 本稿では,Multiplicative Weights Update (MWU) スキームに触発されたモルフォロジーニューラルネットワークの新しい重み更新手法を提案する。 我々は,各形態素パーセプトロンを,対数空間における専門家のアドバイス問題からの学習の例として捉え,強い勾配信号が重みに達したかどうかに関わらず,所望の出力変化に沿う入力を優先する相関型報酬を用いる。 我々は、スタンドアローンモデルや大きなトランスネットワークの一部として、完全に接続された層をトレーニングすることで、我々のアプローチを実証的に評価する。 9つのベンチマークで、相関トレーニングにより最大32.84ポイントの改善が達成され、ラン・ツー・ランの変動は大幅に減少する。

関連論文リスト

• Neural Network Optimization Reimagined: Decoupled Techniques for Scratch and Fine-Tuning [49.751529745537546]
  我々はDualOptを提案する。DualOptは、スクラッチからトレーニングに適した最適化技術を分離する新しいアプローチである。 スクラッチからのトレーニングでは、収束と一般化の両面を強化するために設計されたリアルタイムな層ワイド・ウェイト・デポジットを導入する。 我々は、異なる下流タスクの様々な要求に適応して、レイヤ単位の重量減衰を拡張して、レイヤ間のロールバックレベルを動的に調整する。
  論文  参考訳（メタデータ） (2026-04-21T06:27:18Z)
• Towards the Training of Deeper Predictive Coding Neural Networks [44.14001498773255]
  予測符号化ネットワーク(英: Predictive coding network)は、反復エネルギー最小化プロセスを通じて推論を行うニューラルネットワークである。 浅いアーキテクチャでは有効だが、5層から7層に留まらず、パフォーマンスが著しく低下する。 この劣化は,重み付け更新時の層間エラーの指数的不均衡と,より深い層内の更新を導くのに有効でない前の層からの予測が原因であることを示す。
  論文  参考訳（メタデータ） (2025-06-30T12:44:47Z)
• A Numerical Gradient Inversion Attack in Variational Quantum Neural-Networks [4.086403209504347]
  変分量子ニューラルネットワーク(VQNN)のロスランドスケープは、量子ビットの増加とともに指数関数的に増大する局所的ミニマによって特徴づけられる。 本稿では,学習可能なVQNNの勾配から入力学習,実世界,実践的データを再構築する数値計算手法を提案する。
  論文  参考訳（メタデータ） (2025-04-17T10:12:38Z)
• Randomized Forward Mode Gradient for Spiking Neural Networks in Scientific Machine Learning [4.178826560825283]
  スパイキングニューラルネットワーク(SNN)は、ディープニューラルネットワークの階層的学習能力とスパイクベースの計算のエネルギー効率を組み合わせた、機械学習における有望なアプローチである。 SNNの伝統的なエンドツーエンドトレーニングは、しばしばバックプロパゲーションに基づいており、重み更新はチェーンルールによって計算された勾配から導かれる。 この手法は, 生体適合性に限界があり, ニューロモルフィックハードウェアの非効率性のため, 課題に遭遇する。 本研究では,SNNの代替トレーニング手法を導入する。後方伝搬の代わりに,前方モード内での重量摂動手法を活用する。
  論文  参考訳（メタデータ） (2024-11-11T15:20:54Z)
• Reparameterization through Spatial Gradient Scaling [69.27487006953852]
  リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。 本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2023-03-05T17:57:33Z)
• Gradient-trained Weights in Wide Neural Networks Align Layerwise to Error-scaled Input Correlations [11.176824373696324]
  我々は、勾配降下によって訓練された非線形活性化を伴う無限幅ニューラルネットワークの層方向の重みダイナミクスを導出する。 我々は、バックプロパゲーションと同じアライメントを理論的に達成するバックプロパゲーションフリー学習ルール、Align-zeroとAlign-adaを定式化した。
  論文  参考訳（メタデータ） (2021-06-15T21:56:38Z)
• Neural networks with late-phase weights [66.72777753269658]
  学習後期に重みのサブセットを組み込むことで,SGDの解をさらに改善できることを示す。 学習の終わりに、重み空間における空間平均を取ることにより、1つのモデルを取得する。
  論文  参考訳（メタデータ） (2020-07-25T13:23:37Z)
• Global inducing point variational posteriors for Bayesian neural networks and deep Gaussian processes [38.79834570417554]
  ベイズニューラルネットワークのすべての層における重みを近似的に近似的に後向きに展開する。 このアプローチを深いガウス過程に拡張し、2つのモデルクラスにおける推論を統一する。
  論文  参考訳（メタデータ） (2020-05-17T01:10:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。