論文の概要: Meta Learning in Decentralized Neural Networks: Towards More General AI

• arxiv url: http://arxiv.org/abs/2302.01020v1
• Date: Thu, 2 Feb 2023 11:15:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-03 14:20:34.473126
• Title: Meta Learning in Decentralized Neural Networks: Towards More General AI
• Title（参考訳）: 分散ニューラルネットワークにおけるメタ学習:より一般的なaiに向けて
• Authors: Yuwei Sun
• Abstract要約: 我々は、分散ニューラルネットワーク(分散NN)の内容から学ぶための学習の基本的な理解を提供することを目的としている。 このような分散学習システムを構築するために,我々は3つの異なるアプローチを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Meta-learning usually refers to a learning algorithm that learns from other learning algorithms. The problem of uncertainty in the predictions of neural networks shows that the world is only partially predictable and a learned neural network cannot generalize to its ever-changing surrounding environments. Therefore, the question is how a predictive model can represent multiple predictions simultaneously. We aim to provide a fundamental understanding of learning to learn in the contents of Decentralized Neural Networks (Decentralized NNs) and we believe this is one of the most important questions and prerequisites to building an autonomous intelligence machine. To this end, we shall demonstrate several pieces of evidence for tackling the problems above with Meta Learning in Decentralized NNs. In particular, we will present three different approaches to building such a decentralized learning system: (1) learning from many replica neural networks, (2) building the hierarchy of neural networks for different functions, and (3) leveraging different modality experts to learn cross-modal representations.
• Abstract（参考訳）: メタ学習は通常、他の学習アルゴリズムから学習する学習アルゴリズムを指す。 ニューラルネットワークの予測における不確実性の問題から、世界は部分的に予測可能であり、学習されたニューラルネットワークはその周囲の環境に一般化できないことが分かる。 したがって、予測モデルが同時に複数の予測を表現できるかが問題となる。 我々は、分散ニューラルネットワーク(分散nn)の内容を学ぶための学習の基本的な理解を提供することを目的としており、これは自律型知能マシンを構築する上で最も重要な疑問と前提条件の1つだと信じている。 この目的のために、分散NNにおけるメタラーニングで上記の問題に取り組むためのいくつかの証拠を示す。 特に,このような分散学習システムを構築するための3つのアプローチを提示する。(1)多くのレプリカニューラルネットワークからの学習,(2)異なる機能のためのニューラルネットワークの階層の構築,(3)異なるモダリティ専門家を活用したクロスモーダル表現の学習である。

関連論文リスト

• Collective variables of neural networks: empirical time evolution and scaling laws [0.535514140374842]
  実験的なニューラル・タンジェント・カーネルのスペクトル、特にエントロピーとトレースのスペクトルに対する特定の測定により、ニューラルネットワークが学習した表現についての洞察が得られることを示す。 結果は、トランスフォーマー、オートエンコーダ、グラフニューラルネットワーク、強化学習研究など、より複雑なネットワークで示される前に、まずテストケースで実証される。
  論文  参考訳（メタデータ） (2024-10-09T21:37:14Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Reasoning Algorithmically in Graph Neural Networks [1.8130068086063336]
  ニューラルネットワークの適応学習能力にアルゴリズムの構造的および規則に基づく推論を統合することを目的としている。 この論文は、この領域の研究に理論的および実践的な貢献を提供する。
  論文  参考訳（メタデータ） (2024-02-21T12:16:51Z)
• ShadowNet for Data-Centric Quantum System Learning [188.683909185536]
  本稿では,ニューラルネットワークプロトコルと古典的シャドウの強みを組み合わせたデータ中心学習パラダイムを提案する。 ニューラルネットワークの一般化力に基づいて、このパラダイムはオフラインでトレーニングされ、これまで目に見えないシステムを予測できる。 量子状態トモグラフィーおよび直接忠実度推定タスクにおいて、我々のパラダイムのインスタンス化を示し、60量子ビットまでの数値解析を行う。
  論文  参考訳（メタデータ） (2023-08-22T09:11:53Z)
• Meta Neural Coordination [0.0]
  メタラーニングは、新しい変化する環境に適応するために、他の学習アルゴリズムから学習できるアルゴリズムを開発することを目的としている。 従来のディープニューラルネットワークの予測の不確かさは、世界の部分的な予測可能性を強調している。 生物学的にインスパイアされたマシンインテリジェンスを構築するために必要な潜在的な進歩について論じる。
  論文  参考訳（メタデータ） (2023-05-20T06:06:44Z)
• Synergistic information supports modality integration and flexible learning in neural networks solving multiple tasks [107.8565143456161]
  本稿では,様々な認知タスクを行う単純な人工ニューラルネットワークが採用する情報処理戦略について検討する。 結果は、ニューラルネットワークが複数の多様なタスクを学習するにつれて、シナジーが増加することを示している。 トレーニング中に無作為にニューロンを停止させると、ネットワークの冗長性が増加し、ロバスト性の増加に対応する。
  論文  参考訳（メタデータ） (2022-10-06T15:36:27Z)
• The least-control principle for learning at equilibrium [65.2998274413952]
  我々は、平衡反復ニューラルネットワーク、深層平衡モデル、メタラーニングを学ぶための新しい原理を提案する。 私たちの結果は、脳がどのように学習するかを明らかにし、幅広い機械学習問題にアプローチする新しい方法を提供します。
  論文  参考訳（メタデータ） (2022-07-04T11:27:08Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Introduction to Machine Learning for the Sciences [0.0]
  ノートは、原則コンポーネント分析、t-SNE、線形回帰など、ニューラルネットワークのない機械学習メソッドの展開から始まる。 我々は、従来のニューラルネットワーク、(変分)オートエンコーダ、生成的敵ネットワーク、制限されたボルツマンマシン、繰り返しニューラルネットワークなどの、基礎的および高度なニューラルネットワーク構造の導入を継続する。
  論文  参考訳（メタデータ） (2021-02-08T16:25:46Z)
• Locality Guided Neural Networks for Explainable Artificial Intelligence [12.435539489388708]
  LGNN(Locality Guided Neural Network)と呼ばれる,バック伝搬のための新しいアルゴリズムを提案する。 LGNNはディープネットワークの各層内の隣接ニューロン間の局所性を保っている。 実験では,CIFAR100 上の画像分類のための様々な VGG と Wide ResNet (WRN) ネットワークを訓練した。
  論文  参考訳（メタデータ） (2020-07-12T23:45:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。