論文の概要: Items or Relations -- what do Artificial Neural Networks learn?

• arxiv url: http://arxiv.org/abs/2404.12401v1
• Date: Mon, 15 Apr 2024 08:11:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-22 17:13:50.852564
• Title: Items or Relations -- what do Artificial Neural Networks learn?
• Title（参考訳）: 項目や関係 - ニューラルネットワークは何を学習するのか?
• Authors: Renate Krause, Stefan Reimann,
• Abstract要約: 低次元ネットワークと簡単なタスク,すなわちトレーニング項目の集合を同一に再現する必要があると考える。 解析的に解の族を構築し,数値解を得るために標準学習アルゴリズムを用いる。
• 参考スコア（独自算出の注目度）: 0.9208007322096533
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: What has an Artificial Neural Network (ANN) learned after being successfully trained to solve a task - the set of training items or the relations between them? This question is difficult to answer for modern applied ANNs because of their enormous size and complexity. Therefore, here we consider a low-dimensional network and a simple task, i.e., the network has to reproduce a set of training items identically. We construct the family of solutions analytically and use standard learning algorithms to obtain numerical solutions. These numerical solutions differ depending on the optimization algorithm and the weight initialization and are shown to be particular members of the family of analytical solutions. In this simple setting, we observe that the general structure of the network weights represents the training set's symmetry group, i.e., the relations between training items. As a consequence, linear networks generalize, i.e., reproduce items that were not part of the training set but are consistent with the symmetry of the training set. In contrast, non-linear networks tend to learn individual training items and show associative memory. At the same time, their ability to generalize is limited. A higher degree of generalization is obtained for networks whose activation function contains a linear regime, such as tanh. Our results suggest ANN's ability to generalize - instead of learning items - could be improved by generating a sufficiently big set of elementary operations to represent relations and strongly depends on the applied non-linearity.
• Abstract（参考訳）: ANN(Artificial Neural Network)は、タスク - トレーニング項目のセット、あるいはそれらの関係 - を正常にトレーニングした後、何を学んだか? この質問は、その巨大なサイズと複雑さのために、モダンな適用されたANNに答えるのは難しい。 そこで,本研究では,低次元ネットワークと簡単なタスク,すなわちトレーニング項目の集合を同一に再現する必要があると考える。 解析的に解の族を構築し,数値解を得るために標準学習アルゴリズムを用いる。 これらの数値解は最適化アルゴリズムと重み初期化によって異なり、解析解の族に属する特定のメンバーであることが示されている。 この簡単な設定では、ネットワーク重みの一般的な構造はトレーニングセットの対称性群、すなわちトレーニング項目間の関係を表す。 その結果、線形ネットワークは、すなわち、トレーニングセットの一部ではなく、トレーニングセットの対称性と一致したアイテムを再現する。 対照的に、非線形ネットワークは個々のトレーニング項目を学習し、連想記憶を示す傾向にある。 同時に、一般化する能力は限られている。 活性化関数がtanhのような線形構造を含むネットワークに対して、より高度な一般化が得られる。 以上の結果から,ANNが学習項目を一般化する能力は,関係を表現し,適用された非線形性に強く依存する基本操作セットを十分に大きく生成することで向上する可能性が示唆された。

関連論文リスト

• Generalization emerges from local optimization in a self-organized learning network [0.0]
  我々は,グローバルなエラー関数に頼ることなく,局所最適化ルールのみによって駆動される,教師付き学習ネットワーク構築のための新しいパラダイムを設計・分析する。 我々のネットワークは、ルックアップテーブルの形で、ノードに新しい知識を正確かつ瞬時に保存する。 本稿では,学習例数が十分に大きくなると,アルゴリズムによって生成されたネットワークが完全な一般化状態に体系的に到達する,分類タスクの多くの例を示す。 我々は状態変化のダイナミクスについて報告し、それが突然であり、従来の学習ネットワークですでに観察されている現象である1次相転移の特徴を持つことを示す。
  論文  参考訳（メタデータ） (2024-10-03T15:32:08Z)
• Network Fission Ensembles for Low-Cost Self-Ensembles [20.103367702014474]
  NFE(Network Fission Ensembles)と呼ばれる低コストのアンサンブル学習と推論を提案する。 まず、トレーニングの負担を軽減するために、いくつかの重みを取り除きます。 次に、残りの重みを複数の集合に分けて、各集合を用いて複数の補助経路を作成し、複数の集合を構成する。
  論文  参考訳（メタデータ） (2024-08-05T08:23:59Z)
• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• Fundamental limits of overparametrized shallow neural networks for supervised learning [11.136777922498355]
  本研究では,教師ネットワークが生成した入力-出力ペアから学習した2層ニューラルネットワークについて検討する。 この結果は,トレーニングデータとネットワーク重み間の相互情報,すなわちベイズ最適一般化誤差に関連する境界の形で得られる。
  論文  参考訳（メタデータ） (2023-07-11T08:30:50Z)
• Globally Gated Deep Linear Networks [3.04585143845864]
  我々はGGDLN(Globally Gated Deep Linear Networks)を導入する。 有限幅熱力学極限におけるこれらのネットワークの一般化特性の正確な方程式を導出する。 我々の研究は、有限幅の非線形ネットワークの族における学習に関する最初の正確な理論解である。
  論文  参考訳（メタデータ） (2022-10-31T16:21:56Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Graph-Based Neural Network Models with Multiple Self-Supervised Auxiliary Tasks [79.28094304325116]
  グラフ畳み込みネットワークは、構造化されたデータポイント間の関係をキャプチャするための最も有望なアプローチである。 マルチタスク方式でグラフベースニューラルネットワークモデルを学習するための3つの新しい自己教師付き補助タスクを提案する。
  論文  参考訳（メタデータ） (2020-11-14T11:09:51Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• iNALU: Improved Neural Arithmetic Logic Unit [2.331160520377439]
  最近提案されたNeural Arithmetic Logic Unit (NALU)は、ネットワークのユニットによって数学的関係を明確に表現し、和、減算、乗算などの操作を学ぶことができる新しいニューラルネットワークである。 本稿では,本モデルが安定性の問題を解き,算術精度と収束性により元のNALUモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-17T10:37:22Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)
• Side-Tuning: A Baseline for Network Adaptation via Additive Side Networks [95.51368472949308]
  適応は、トレーニングデータが少ない場合や、ネットワークのプリエンプションをエンコードしたい場合などに有効である。 本稿では,サイドチューニングという簡単な方法を提案する。
  論文  参考訳（メタデータ） (2019-12-31T18:52:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。