論文の概要: MOLE: MOdular Learning FramEwork via Mutual Information Maximization

• arxiv url: http://arxiv.org/abs/2308.07772v1
• Date: Tue, 15 Aug 2023 13:48:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-16 12:41:54.818810
• Title: MOLE: MOdular Learning FramEwork via Mutual Information Maximization
• Title（参考訳）: MOLE: 相互情報最大化によるモジュール型学習フレームワーク
• Authors: Tianchao Li and Yulong Pei
• Abstract要約: 本稿では、モジュールラーニングフレームワーク(MOLE)という、ニューラルネットワークのための非同期で局所的な学習フレームワークを紹介する。 MOLEはニューラルネットワークをレイヤごとにモジュール化し、各モジュールの相互情報を通じてトレーニング目標を定義し、各モジュールを相互情報で順次トレーニングする。 特に、このフレームワークはグラフ型データに対するグラフレベルのタスクとノードレベルのタスクの両方を解決することができる。
• 参考スコア（独自算出の注目度）: 3.8399484206282146
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This paper is to introduce an asynchronous and local learning framework for neural networks, named Modular Learning Framework (MOLE). This framework modularizes neural networks by layers, defines the training objective via mutual information for each module, and sequentially trains each module by mutual information maximization. MOLE makes the training become local optimization with gradient-isolated across modules, and this scheme is more biologically plausible than BP. We run experiments on vector-, grid- and graph-type data. In particular, this framework is capable of solving both graph- and node-level tasks for graph-type data. Therefore, MOLE has been experimentally proven to be universally applicable to different types of data.
• Abstract（参考訳）: 本稿では、ニューラルネットワークのための非同期で局所的な学習フレームワークであるModular Learning Framework(MOLE)を紹介する。 このフレームワークはニューラルネットワークをレイヤでモジュール化し、各モジュールの相互情報を介してトレーニング目標を定義し、相互情報最大化によって各モジュールを順次トレーニングする。 MOLEはモジュール間の勾配分離による局所的な最適化を可能にし、このスキームはBPよりも生物学的に妥当である。 ベクトルデータ,グリッドデータ,グラフデータについて実験を行った。 特に、このフレームワークはグラフ型データのグラフレベルとノードレベルの両方のタスクを解決できる。 したがって、MOLEは様々な種類のデータに適用可能であることが実験的に証明されている。

関連論文リスト

• Train Faster, Perform Better: Modular Adaptive Training in Over-Parameterized Models [31.960749305728488]
  モジュラーニューラルタンジェントカーネル(mNTK)と呼ばれる新しい概念を導入する。 モジュールの学習の質が mNTK の主固有値 $lambda_max$ と密接に関連していることを示す。 動的しきい値を超えたlambda_max$でこれらのモジュールを更新するための,MAT(Modular Adaptive Training)と呼ばれる新しいトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2024-05-13T07:46:48Z)
• R-Cut: Enhancing Explainability in Vision Transformers with Relationship Weighted Out and Cut [14.382326829600283]
  リレーションウェイトアウト」と「カット」の2つのモジュールを紹介します。 Cut"モジュールは、位置、テクスチャ、色などの要素を考慮して、きめ細かい特徴分解を行う。 我々は,ImageNetデータセット上で定性的かつ定量的な実験を行い,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-07-18T08:03:51Z)
• Decouple Graph Neural Networks: Train Multiple Simple GNNs Simultaneously Instead of One [60.5818387068983]
  グラフニューラルネットワーク(GNN)は、深刻な非効率性に悩まされている。 我々は,より効率的なトレーニングを行うために,多層GNNを複数の単純なモジュールとして分離することを提案する。 提案するフレームワークは,合理的な性能で高い効率性を示す。
  論文  参考訳（メタデータ） (2023-04-20T07:21:32Z)
• Modular Deep Learning [120.36599591042908]
  トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。 負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。 これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
  論文  参考訳（メタデータ） (2023-02-22T18:11:25Z)
• Neural Attentive Circuits [93.95502541529115]
  我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
  論文  参考訳（メタデータ） (2022-10-14T18:00:07Z)
• ModLaNets: Learning Generalisable Dynamics via Modularity and Physical Inductive Bias [14.474273671369584]
  モジュラリティと物理的帰納バイアスを有する構造的ニューラルネットワークフレームワークを提案する。 このフレームワークはモジュラリティを用いて各要素のエネルギーをモデル化し、ラグランジュ力学を介して対象の力学系を構築する。 トレーニングデータセットの小さい二重振り子または3体システムのモデリングフレームワークについて検討する。
  論文  参考訳（メタデータ） (2022-06-24T14:54:25Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Neural Function Modules with Sparse Arguments: A Dynamic Approach to Integrating Information across Layers [84.57980167400513]
  Neural Function Modules (NFM)は、ディープラーニングに同じ構造機能を導入することを目的としている。 トップダウンとボトムアップのフィードバックを組み合わせたフィードフォワードネットワークのコンテキストにおける作業のほとんどは、分類の問題に限られている。 私たちの仕事の重要な貢献は、フレキシブルなアルゴリズムで注意、疎結合、トップダウン、ボトムアップのフィードバックを組み合わせることです。
  論文  参考訳（メタデータ） (2020-10-15T20:43:17Z)
• S2RMs: Spatially Structured Recurrent Modules [105.0377129434636]
  モジュール構造とテンポラル構造の両方を同時に活用できる動的構造を利用するための一歩を踏み出します。 我々のモデルは利用可能なビューの数に対して堅牢であり、追加のトレーニングなしで新しいタスクに一般化できる。
  論文  参考訳（メタデータ） (2020-07-13T17:44:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。