Fugu-MT 論文翻訳(概要): Neuromodulation Gated Transformer

論文の概要: Neuromodulation Gated Transformer

arxiv url: http://arxiv.org/abs/2305.03232v1
Date: Fri, 5 May 2023 01:23:22 GMT
ステータス: 処理完了
システム内更新日: 2023-05-08 15:36:31.756895
Title: Neuromodulation Gated Transformer
Title（参考訳）: 神経変調ゲートトランス
Authors: Kobe Knowles, Joshua Bensemann, Diana Benavides Prado, Vithya Yogarajan, Michael Witbrock, Gillian Dobbie and Yang Chen
Abstract要約: 本稿では,ニューロモジュレーションGated Transformer (NGT) という新しいアーキテクチャを導入する。ベースラインと比較した結果,SuperGLUEベンチマーク検証セットの平均性能が最高の結果となった。
参考スコア（独自算出の注目度）: 10.129264924318923
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We introduce a novel architecture, the Neuromodulation Gated Transformer (NGT), which is a simple implementation of neuromodulation in transformers via a multiplicative effect. We compare it to baselines and show that it results in the best average performance on the SuperGLUE benchmark validation sets.
Abstract（参考訳）: 我々は,神経変調ゲートトランスフォーマー (ngt) という新しいアーキテクチャを導入し,乗法効果によるトランスフォーマーにおける神経変調の簡易な実装法を提案する。ベースラインと比較した結果,SuperGLUEベンチマーク検証セットの平均性能が最高の結果となった。

関連論文リスト

Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
論文参考訳（メタデータ） (2024-06-24T23:00:58Z)
Logic Synthesis with Generative Deep Neural Networks [20.8279111910994]
我々は、Circuit Transformerモデルに基づく論理合成書き換え演算子「ctrw」(Circuit Transformer Rewriting)を導入する。本稿では,論理学に適した回路変換器の2段階学習方式を提案する。我々はまた、Circuit Transformerと最先端の書き直し技術を統合してスケーラビリティの問題に対処し、DAG対応の書き直しをガイドできるようにする。
論文参考訳（メタデータ） (2024-06-07T07:16:40Z)
Transformers as Statisticians: Provable In-Context Learning with In-Context Algorithm Selection [88.23337313766353]
この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
論文参考訳（メタデータ） (2023-06-07T17:59:31Z)
Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。 Transformerモデルをより効率的にすることに注力している。
論文参考訳（メタデータ） (2023-02-27T18:18:13Z)
Transformer Assisted Convolutional Network for Cell Instance Segmentation [5.195101477698897]
本稿では,従来の畳み込み特徴抽出器の性能向上のためのトランスフォーマーに基づく手法を提案する。提案手法は, 変圧器の自己アテンションに類似した投影操作を適用することにより, 変圧器を用いたトークン埋め込みと畳み込み特徴写像を融合する。
論文参考訳（メタデータ） (2021-10-05T18:18:31Z)
Visformer: The Vision-friendly Transformer [105.52122194322592]
我々は視覚に優しいトランスフォーマーから短縮したvisformerという新しいアーキテクチャを提案する。同じ計算の複雑さにより、VisformerはTransformerベースのモデルとConvolutionベースのモデルの両方をImageNet分類精度で上回る。
論文参考訳（メタデータ） (2021-04-26T13:13:03Z)
A novel Time-frequency Transformer and its Application in Fault Diagnosis of Rolling Bearings [0.24214594180459362]
シーケンス処理における標準変換器の膨大な成功に触発された新しい時間周波数変換器(TFT)モデルを提案する。本稿では,TFTに基づく新しいエンドツーエンドの故障診断フレームワークについて述べる。
論文参考訳（メタデータ） (2021-04-19T06:53:31Z)
Boosting Objective Scores of a Speech Enhancement Model by MetricGAN Post-processing [18.19158404358494]
Transformerアーキテクチャは、多くの異なる自然言語処理アプリケーションにおいて、リカレントニューラルネットワークよりも優れた能力を示している。本研究は音声強調作業に改良型トランスフォーマーを適用した。
論文参考訳（メタデータ） (2020-06-18T06:22:09Z)
Applying the Transformer to Character-level Transduction [68.91664610425114]
この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
論文参考訳（メタデータ） (2020-05-20T17:25:43Z)
Variational Transformers for Diverse Response Generation [71.53159402053392]
変分変換器(VT)は、変分自己注意フィードフォワードシーケンスモデルである。 VTはトランスフォーマーの並列化性と大域的受容場計算とCVAEの変動特性を組み合わせる。本稿では,1)大域潜伏変数を用いた談話レベルの多様性のモデル化,2)細粒潜伏変数の列によるトランスフォーマーデコーダの拡張,の2種類のVTについて検討する。
論文参考訳（メタデータ） (2020-03-28T07:48:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。