論文の概要: MPLP: Learning a Message Passing Learning Protocol

• arxiv url: http://arxiv.org/abs/2007.00970v2
• Date: Fri, 3 Jul 2020 10:28:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 12:51:10.581199
• Title: MPLP: Learning a Message Passing Learning Protocol
• Title（参考訳）: MPLP: メッセージパッシング学習プロトコルの学習
• Authors: Ettore Randazzo, Eyvind Niklasson, Alexander Mordvintsev
• Abstract要約: 人工ニューラルネットワークの重みを学習する新しい手法として,メッセージパッシング学習プロトコル(MPLP)を提案する。 ANNで発生したすべての操作を独立したエージェントとして抽象化する。 各エージェントは、他のエージェントからやってくる多次元メッセージを取り込み、内部状態を更新し、近隣エージェントに渡される多次元メッセージを生成する責任がある。
• 参考スコア（独自算出の注目度）: 63.948465205530916
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a novel method for learning the weights of an artificial neural network - a Message Passing Learning Protocol (MPLP). In MPLP, we abstract every operations occurring in ANNs as independent agents. Each agent is responsible for ingesting incoming multidimensional messages from other agents, updating its internal state, and generating multidimensional messages to be passed on to neighbouring agents. We demonstrate the viability of MPLP as opposed to traditional gradient-based approaches on simple feed-forward neural networks, and present a framework capable of generalizing to non-traditional neural network architectures. MPLP is meta learned using end-to-end gradient-based meta-optimisation. We further discuss the observed properties of MPLP and hypothesize its applicability on various fields of deep learning.
• Abstract（参考訳）: 本稿では,ニューラルネットワークの重みを学習する新しい手法として,メッセージパッシング学習プロトコル(MPLP)を提案する。 MPLPでは、ANNで発生する全ての操作を独立したエージェントとして抽象化する。 各エージェントは、他のエージェントからやってくる多次元メッセージを取り込み、内部状態を更新し、近隣エージェントに渡される多次元メッセージを生成する。 我々は,単純なフィードフォワードニューラルネットワークに対する従来の勾配に基づくアプローチとは対照的に,mplpの実現可能性を示し,非伝統的なニューラルネットワークアーキテクチャに一般化可能なフレームワークを提案する。 MPLPは、エンドツーエンドの勾配に基づくメタ最適化を用いてメタ学習される。 さらに,MPLPの観測特性について考察し,様々な深層学習分野への適用性を仮定する。

関連論文リスト

• Vision-Language Models Provide Promptable Representations for Reinforcement Learning [67.40524195671479]
  視覚言語モデル(VLM)に符号化された多量の一般知識と索引可能な世界知識をインターネット規模で事前学習して具体的強化学習(RL)を行う新しい手法を提案する。 提案手法では,共通意味的推論の表現にチェーン・オブ・シントを用いることで,新規シーンのポリシー性能を1.5倍向上できることを示す。
  論文  参考訳（メタデータ） (2024-02-05T00:48:56Z)
• Neural Routing in Meta Learning [9.070747377130472]
  入力タスクに条件付けされたモデルの部分のみを選択的に使用することにより,現在のメタ学習アルゴリズムのモデル性能を向上させることを目指している。 本稿では、バッチ正規化層におけるスケーリング係数を活用することにより、深層畳み込みニューラルネットワーク(CNN)におけるタスク依存の動的ニューロン選択を研究するアプローチについて述べる。 提案手法であるニューラルルーティング・イン・メタラーニング(NRML)は,数ショットの分類タスクにおいて,既知のメタラーニングベースラインの1つである。
  論文  参考訳（メタデータ） (2022-10-14T16:31:24Z)
• Meta Learning for Natural Language Processing: A Survey [88.58260839196019]
  ディープラーニングは自然言語処理(NLP)分野において主要な技術である。 ディープラーニングには多くのラベル付きデータが必要です。 メタ学習は、より良いアルゴリズムを学ぶためのアプローチを研究する機械学習の分野である。
  論文  参考訳（メタデータ） (2022-05-03T13:58:38Z)
• Learning Meta Pattern for Face Anti-Spoofing [26.82129880310214]
  顔認証システムにはFAS(Face Anti-Spoofing)が不可欠である。 近年,タスク対応手工芸品の特徴を抽出するためのハイブリッド手法が研究されている。 学習から学習までのフレームワークでメタパターン(MP)を抽出する学習可能なネットワークを提案する。
  論文  参考訳（メタデータ） (2021-10-13T14:34:20Z)
• FedNLP: A Research Platform for Federated Learning in Natural Language Processing [55.01246123092445]
  NLPのフェデレーションラーニングのための研究プラットフォームであるFedNLPを紹介します。 FedNLPは、テキスト分類、シーケンスタグ付け、質問応答、Seq2seq生成、言語モデリングなど、NLPで一般的なタスクの定式化をサポートしている。 FedNLPによる予備実験では、分散型データセットと集中型データセットの学習には大きなパフォーマンスギャップが存在することが明らかになった。
  論文  参考訳（メタデータ） (2021-04-18T11:04:49Z)
• Few-shot Learning for Slot Tagging with Attentive Relational Network [35.624877181332636]
  メトリックベース学習は、特にコンピュータビジョンにおいて、少ないショット学習のためのよく知られた手法である。 メトリクスに基づく新しい学習アーキテクチャであるアテンシブネットワークを提案する。 SNIPSの結果は,提案手法が他の最先端のメトリックベース学習法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2021-03-03T11:24:24Z)
• Meta-Learning for Natural Language Understanding under Continual Learning Framework [2.620911206953405]
  モデルに依存しないメタ学習(MAML)とオンライン認識メタ学習(OML)のメタオブジェクトを,NLUタスクの連続的なフレームワークの下で実装する。 提案手法を選択したSuperGLUEおよびGLUEベンチマークで検証する。
  論文  参考訳（メタデータ） (2020-11-03T03:41:10Z)
• Neural Function Modules with Sparse Arguments: A Dynamic Approach to Integrating Information across Layers [84.57980167400513]
  Neural Function Modules (NFM)は、ディープラーニングに同じ構造機能を導入することを目的としている。 トップダウンとボトムアップのフィードバックを組み合わせたフィードフォワードネットワークのコンテキストにおける作業のほとんどは、分類の問題に限られている。 私たちの仕事の重要な貢献は、フレキシブルなアルゴリズムで注意、疎結合、トップダウン、ボトムアップのフィードバックを組み合わせることです。
  論文  参考訳（メタデータ） (2020-10-15T20:43:17Z)
• Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer [64.22926988297685]
  下流タスクで微調整される前に、まずデータリッチタスクでモデルが事前訓練されるトランスファーラーニングは、自然言語処理(NLP)において強力な手法として登場した。 本稿では,すべてのテキストベースの言語問題をテキスト・トゥ・テキスト・フォーマットに変換する統一フレームワークにより,NLPのためのトランスファー学習手法を導入する状況について検討する。
  論文  参考訳（メタデータ） (2019-10-23T17:37:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。