Fugu-MT 論文翻訳(概要): Cooperation Is All You Need

論文の概要: Cooperation Is All You Need

arxiv url: http://arxiv.org/abs/2305.10449v1
Date: Tue, 16 May 2023 16:48:12 GMT
ステータス: 処理完了
システム内更新日: 2023-05-19 18:55:36.081520
Title: Cooperation Is All You Need
Title（参考訳）: 協力が必要なのは
Authors: Ahsan Adeel, Junaid Muzaffar, Khubaib Ahmed, Mohsin Raza
Abstract要約: パラメータ数が同じであっても,コラボレータに基づくアルゴリズムはTransformerに基づくアルゴリズムよりもはるかに高速に学習できることを示す。コラボレーターは、最近の神経生物学的なブレークスルーに触発され、精神生活の細胞基盤は文脈に敏感な錐体ニューロンに依存していることを示唆している。
参考スコア（独自算出の注目度）: 0.783788180051711
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Going beyond 'dendritic democracy', we introduce a 'democracy of local processors', termed Cooperator. Here we compare their capabilities when used in permutation-invariant neural networks for reinforcement learning (RL), with machine learning algorithms based on Transformers, such as ChatGPT. Transformers are based on the long-standing conception of integrate-and-fire 'point' neurons, whereas Cooperator is inspired by recent neurobiological breakthroughs suggesting that the cellular foundations of mental life depend on context-sensitive pyramidal neurons in the neocortex which have two functionally distinct points. We show that when used for RL, an algorithm based on Cooperator learns far quicker than that based on Transformer, even while having the same number of parameters.
Abstract（参考訳）: 民主民主主義を超越して、我々は「ローカルプロセッサの民主化」、すなわち「協力者」を導入する。ここでは,強化学習(rl)のための置換不変ニューラルネットワークと,chatgptなどのトランスフォーマーに基づく機械学習アルゴリズムにおけるそれらの能力を比較する。トランスフォーマーは長年の「点」ニューロンの概念に基づいているが、コオペレーターは、心的生活の細胞基盤が2つの機能的に異なる点を持つ新皮質の文脈に敏感な錐体ニューロンに依存していることを示唆する最近の神経生物学的ブレークスルーに触発されている。 RL に使用するアルゴリズムは,パラメータ数が同じであっても,Transformer のアルゴリズムよりもはるかに高速に学習可能であることを示す。

関連論文リスト

Transformers meet Neural Algorithmic Reasoners [16.5785372289558]
我々は、トランスフォーマー言語理解とグラフニューラルネットワーク(GNN)に基づくニューラルネットワーク推論(NAR)の堅牢性を組み合わせた新しいアプローチを提案する。 CLRS-30ベンチマークのテキストベースバージョンであるCLRS-Text上で得られたTransNARモデルを評価し,アルゴリズム推論のためのTransformerのみのモデルよりも大幅に向上したことを示す。
論文参考訳（メタデータ） (2024-06-13T16:42:06Z)
Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation [52.270712965271656]
本稿では,文脈表現の新しいモデルを提案する。モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
論文参考訳（メタデータ） (2023-11-26T06:56:02Z)
Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文参考訳（メタデータ） (2023-02-27T18:52:38Z)
ParCNetV2: Oversized Kernel with Enhanced Attention [60.141606180434195]
我々はParCNetV2という畳み込みニューラルネットワークアーキテクチャを導入する。位置認識型円形畳み込み(ParCNet)を拡張し、大きめの畳み込みを施し、分岐ゲートユニットを通して注意を向ける。提案手法は、CNNとトランスフォーマーをハイブリッド化するニューラルネットワークと同様に、他の純粋な畳み込みニューラルネットワークよりも優れている。
論文参考訳（メタデータ） (2022-11-14T07:22:55Z)
Characterization of anomalous diffusion through convolutional transformers [0.8984888893275713]
本稿では, 異常拡散のキャラクタリゼーションのためのトランスフォーマーに基づくニューラルネットワークアーキテクチャを提案する。新たなアーキテクチャであるConvTransformer(ConvTransformer)は、二層畳み込みニューラルネットワークを使用して、拡散軌道から特徴を抽出します。我々は,ConvTransformerが,短い軌跡において,基礎となる拡散状態を決定する上で,従来の技術よりも優れていることを示す。
論文参考訳（メタデータ） (2022-10-10T18:53:13Z)
A Transformer-based Generative Adversarial Network for Brain Tumor Segmentation [4.394247741333439]
マルチモダリティMRIで脳腫瘍を自動分割するトランスフォーマーを用いた生成対向ネットワークを提案する。我々のアーキテクチャは、min-maxゲーム進行のトレーニングを行うジェネレータと識別器で構成されている。私たちが設計した識別器はCNNベースのマルチスケールのL_1$損失ネットワークであり、医用セマンティックイメージセグメンテーションに有効であることが証明されている。
論文参考訳（メタデータ） (2022-07-28T14:55:18Z)
Relating transformers to models and neural representations of the hippocampal formation [0.7734726150561088]
最もエキサイティングで有望な新しいアーキテクチャの一つであるTransformer Neural Networkは、脳を念頭に置いて開発された。本研究では, 海馬形成の精密な空間表現を再現し, 繰り返し位置エンコーディングを施したトランスフォーマーについて述べる。この研究は、人工と脳のネットワークの計算を結合し続け、海馬と皮質の相互作用の新たな理解を提供し、言語理解のような現在の神経科学モデルを超えて、より広い皮質領域がいかに複雑なタスクを遂行するかを示唆している。
論文参考訳（メタデータ） (2021-12-07T23:14:07Z)
nnFormer: Interleaved Transformer for Volumetric Segmentation [50.10441845967601]
本稿では,自己意図と畳み込みを実証的に組み合わせた,インターリーブアーキテクチャを備えた強力なセグメンテーションモデルであるnnFormerを紹介する。 nnFormerは、SynapseとACDCの2つの一般的なデータセットで、以前のTransformerベースのメソッドよりも大幅に改善されている。
論文参考訳（メタデータ） (2021-09-07T17:08:24Z)
X-volution: On the unification of convolution and self-attention [52.80459687846842]
本稿では,畳み込み操作と自己注意操作の両方からなるマルチブランチ基本モジュールを提案する。提案したX-進化は、非常に競争力のある視覚的理解の改善を実現する。
論文参考訳（メタデータ） (2021-06-04T04:32:02Z)
Conformer: Convolution-augmented Transformer for Speech Recognition [60.119604551507805]
最近、トランスフォーマーと畳み込みニューラルネットワーク(CNN)に基づくモデルが、自動音声認識(ASR)の有望な結果を示している。音声認識のための畳み込み拡張変換器,Conformerを提案する。広く使われているLibriSpeechベンチマークでは、言語モデルを用いずにWERが2.1%/4.3%、テスト/テストの外部言語モデルで1.9%/3.9%を達成した。
論文参考訳（メタデータ） (2020-05-16T20:56:25Z)
Training spiking neural networks using reinforcement learning [0.0]
本稿では,スパイクニューラルネットワークのトレーニングを容易にするために,生物学的に有望なバックプロパゲーション代替法を提案する。本研究では,空間的・時間的信用割当問題の解決における強化学習規則の適用可能性を検討することに注力する。我々は、グリッドワールド、カートポール、マウンテンカーといった従来のRLドメインに適用することで、2つのアプローチを比較し、対比する。
論文参考訳（メタデータ） (2020-05-12T17:40:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。