論文の概要: Polarity is all you need to learn and transfer faster

• arxiv url: http://arxiv.org/abs/2303.17589v1
• Date: Wed, 29 Mar 2023 14:43:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-31 12:23:53.640582
• Title: Polarity is all you need to learn and transfer faster
• Title（参考訳）: 極性は学習と移動を速くするために必要なもの
• Authors: Qingyang Wang, Michael A.Powell, Ali Geisa, Eric Bridgeford, Joshua T. Vogelstein
• Abstract要約: 対照的に、人工知能(AI)は典型的には、違法な量のトレーニングサンプルと計算能力で学習する。 ここでは、重み極性からの角度として、有利な極性構成を持つ開発プロセスNIを提案する。 シミュレーションおよび画像分類タスクにより、重み分極が適切に設定された場合、ネットワークはより少ない時間とデータで学習することを示した。
• 参考スコア（独自算出の注目度）: 7.5482204756875735
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural intelligences (NIs) thrive in a dynamic world - they learn quickly, sometimes with only a few samples. In contrast, Artificial intelligences (AIs) typically learn with prohibitive amount of training samples and computational power. What design principle difference between NI and AI could contribute to such a discrepancy? Here, we propose an angle from weight polarity: development processes initialize NIs with advantageous polarity configurations; as NIs grow and learn, synapse magnitudes update yet polarities are largely kept unchanged. We demonstrate with simulation and image classification tasks that if weight polarities are adequately set $\textit{a priori}$, then networks learn with less time and data. We also explicitly illustrate situations in which $\textit{a priori}$ setting the weight polarities is disadvantageous for networks. Our work illustrates the value of weight polarities from the perspective of statistical and computational efficiency during learning.
• Abstract（参考訳）: ナチュラルインテリジェンス(NI)は、ダイナミックな世界で成長します。 対照的に、人工知能(AI)は典型的には、違法な量のトレーニングサンプルと計算能力で学習する。 NIとAIの間にどのような設計原則の違いがあるのか? 開発プロセスは、NIsを有利な極性配置で初期化する; NIsが成長して学習するにつれて、シナプスサイズが更新されるが、極性はほとんど変化しない。 シミュレーションおよび画像分類タスクにより、重み分極が適切に$\textit{a priori}$に設定された場合、ネットワークはより少ない時間とデータで学習する。 また、重みの極性の設定がネットワークにとって不利な状況についても明確に示す。 本研究は,学習中の統計的および計算効率の観点から,重み極性の価値を示す。

関連論文リスト

• Rethinking Deep Learning: Propagating Information in Neural Networks without Backpropagation and Statistical Optimization [0.0]
  本研究では,構造を模倣するニューラルネットワークとして,情報伝達機能とNNの応用の可能性について論じる。 本研究では,段差関数をアクティベーション関数として使用し,0～15層を隠蔽し,重み更新を行わない完全連結層からなるNNSアーキテクチャを提案する。 ラベル毎のトレーニングデータの平均出力ベクトルとテストデータの出力ベクトルをベクトル類似度に基づいて比較して精度を算出する。
  論文  参考訳（メタデータ） (2024-08-18T09:22:24Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• ST-PINN: A Self-Training Physics-Informed Neural Network for Partial Differential Equations [13.196871939441273]
  偏微分方程式 (Partial differential equations, PDE) は物理学や工学において重要な計算核である。 ディープラーニングの進歩により、物理インフォームドニューラルネットワーク(PINN)は、様々なアプリケーションで高速なPDE解決の可能性を示している。 本稿では,既存のPINNの低精度・収束問題に対処するため,自己学習型物理インフォームドニューラルネットワークST-PINNを提案する。
  論文  参考訳（メタデータ） (2023-06-15T15:49:13Z)
• Rotational Equilibrium: How Weight Decay Balances Learning Across Neural Networks [33.88586668321127]
  本研究は,ディープニューラルネットワークにおける個々のニューロンの更新挙動に重み劣化が及ぼす影響について検討する。 本研究では, 回転を明示的に制御することで, 重量減衰の利点が得られ, 学習率のウォームアップを著しく低減できることを示した。
  論文  参考訳（メタデータ） (2023-05-26T19:14:01Z)
• Learning Neural Constitutive Laws From Motion Observations for Generalizable PDE Dynamics [97.38308257547186]
  多くのNNアプローチは、支配的PDEと物質モデルの両方を暗黙的にモデル化するエンドツーエンドモデルを学ぶ。 PDEの管理はよく知られており、学習よりも明示的に実施されるべきである、と私たちは主張する。 そこで我々は,ネットワークアーキテクチャを利用したニューラル構成則(Neural Constitutive Laws,NCLaw)と呼ばれる新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-04-27T17:42:24Z)
• Improving Deep Neural Network Random Initialization Through Neuronal Rewiring [14.484787903053208]
  神経強度のばらつきは低下するが, 神経強度のばらつきは低下し, 神経強度のばらつきは改善する。 次に、その強度に基づいて、優先アタッチメント(PA)ルールに従って神経細胞接続をリワイヤする新しい方法を提案する。 この意味では、PAは重みの大きさと分布を保ちながら、接続を再編成するのみである。
  論文  参考訳（メタデータ） (2022-07-17T11:52:52Z)
• What training reveals about neural network complexity [80.87515604428346]
  この研究は、ディープニューラルネットワーク(NN)が学習している関数の複雑さは、トレーニング中にその重みがどれほど速く変化するかによって推定できるという仮説を探求する。 我々の結果は、優れた訓練行動が良い一般化への有用なバイアスとなるという仮説を支持している。
  論文  参考訳（メタデータ） (2021-06-08T08:58:00Z)
• Evading the Simplicity Bias: Training a Diverse Set of Models Discovers Solutions with Superior OOD Generalization [93.8373619657239]
  SGDで訓練されたニューラルネットワークは最近、線形予測的特徴に優先的に依存することが示された。 この単純さバイアスは、分布外堅牢性(OOD)の欠如を説明することができる。 単純さのバイアスを軽減し,ood一般化を改善できることを実証する。
  論文  参考訳（メタデータ） (2021-05-12T12:12:24Z)
• Conditional physics informed neural networks [85.48030573849712]
  固有値問題のクラス解を推定するための条件付きPINN(物理情報ニューラルネットワーク)を紹介します。 一つのディープニューラルネットワークが、問題全体に対する偏微分方程式の解を学習できることが示される。
  論文  参考訳（メタデータ） (2021-04-06T18:29:14Z)
• Neural Additive Models: Interpretable Machine Learning with Neural Nets [77.66871378302774]
  ディープニューラルネットワーク(DNN)は、さまざまなタスクにおいて優れたパフォーマンスを達成した強力なブラックボックス予測器である。 本稿では、DNNの表現性と一般化した加法モデルの固有知性を組み合わせたニューラル付加モデル(NAM)を提案する。 NAMは、ニューラルネットワークの線形結合を学び、それぞれが単一の入力機能に付随する。
  論文  参考訳（メタデータ） (2020-04-29T01:28:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。