Fugu-MT 論文翻訳(概要): Syntactic Learnability of Echo State Neural Language Models at Scale

論文の概要: Syntactic Learnability of Echo State Neural Language Models at Scale

arxiv url: http://arxiv.org/abs/2503.01724v1
Date: Mon, 03 Mar 2025 16:37:55 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-05 19:20:10.473633
Title: Syntactic Learnability of Echo State Neural Language Models at Scale
Title（参考訳）: 規模でのエコー状態ニューラル言語モデルの構文学習性
Authors: Ryo Ueda, Tatsuki Kuribayashi, Shunsuke Kando, Kentaro Inui,
Abstract要約: 我々は,単純なリカレントニューラルネットワークの制限クラスである基本貯水池計算(RC)モデルであるEcho State Network(ESN)を再検討する。実験の結果,約1億語を学習した場合の文法判断タスクにおいて,大きな隠蔽状態のESNはTransformerに匹敵するか,優れていることがわかった。
参考スコア（独自算出の注目度）: 22.135607285418754
License:
Abstract: What is a neural model with minimum architectural complexity that exhibits reasonable language learning capability? To explore such a simple but sufficient neural language model, we revisit a basic reservoir computing (RC) model, Echo State Network (ESN), a restricted class of simple Recurrent Neural Networks. Our experiments showed that ESN with a large hidden state is comparable or superior to Transformer in grammaticality judgment tasks when trained with about 100M words, suggesting that architectures as complex as that of Transformer may not always be necessary for syntactic learning.
Abstract（参考訳）: 合理的な言語学習能力を示す最小限のアーキテクチャの複雑さを持つニューラルモデルは何ですか? このような単純だが十分なニューラルネットワークモデルを探るため、簡単なリカレントニューラルネットワークの制限クラスである基本的な貯水池計算(RC)モデルであるEcho State Network(ESN)を再検討する。実験の結果,約1億語で学習した場合の文法判断タスクにおいて,大きな隠れ状態のESNはTransformerに匹敵するあるいは優れていることが示唆され,Transformerほど複雑なアーキテクチャは統語学習には必ずしも必要ではない可能性が示唆された。

関連論文リスト

Training Neural Networks as Recognizers of Formal Languages [87.06906286950438]
形式言語理論は、特に認識者に関するものである。代わりに、非公式な意味でのみ類似したプロキシタスクを使用するのが一般的である。ニューラルネットワークを文字列のバイナリ分類器として直接訓練し評価することで、このミスマッチを補正する。
論文参考訳（メタデータ） (2024-11-11T16:33:25Z)
Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
論文参考訳（メタデータ） (2024-09-17T04:48:45Z)
In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
論文参考訳（メタデータ） (2024-01-23T18:59:21Z)
BrainBERT: Self-supervised representation learning for intracranial recordings [18.52962864519609]
我々は、神経科学に現代的な表現学習アプローチをもたらす頭蓋内記録のための再利用可能な変換器BrainBERTを開発した。 NLPや音声認識と同様に、この変換器は複雑な概念を高い精度で、はるかに少ないデータで分類することができる。将来的には、表現学習を使用することで、はるかに多くの概念がニューラル録音から切り離され、言語モデルがアンロックされた言語のように脳をアンロックする可能性がある。
論文参考訳（メタデータ） (2023-02-28T07:40:37Z)
Model Blending for Text Classification [0.15229257192293197]
テキスト分類などの自然言語処理におけるアートLSTMモデルの複雑性をCNNベースモデルに抽出することにより,テスト中の推論時間(あるいはレイテンシ)を短縮する。
論文参考訳（メタデータ） (2022-08-05T05:07:45Z)
Dependency-based Mixture Language Models [53.152011258252315]
依存性に基づく混合言語モデルを紹介する。より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
論文参考訳（メタデータ） (2022-03-19T06:28:30Z)
Towards efficient end-to-end speech recognition with biologically-inspired neural networks [10.457580011403289]
軸-体性および軸-体性シナプスを模擬した神経接続概念を導入する。我々は,大規模ASRモデルの生物学的に現実的な実装によって,競争性能が向上できることを初めて実証した。
論文参考訳（メタデータ） (2021-10-04T21:24:10Z)
Reservoir Memory Machines as Neural Computers [70.5993855765376]
微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
論文参考訳（メタデータ） (2020-09-14T12:01:30Z)
Pretraining Techniques for Sequence-to-Sequence Voice Conversion [57.65753150356411]
シークエンス・トゥ・シークエンス(seq2seq)音声変換(VC)モデルは、韻律を変換する能力によって魅力的である。我々は,大規模コーパスが容易に利用できる他の音声処理タスク(通常,テキスト音声(TTS)と自動音声認識(ASR))から知識を伝達することを提案する。このような事前訓練されたASRまたはTSモデルパラメータを持つVCモデルは、高忠実で高知能な変換可能な音声に対して効果的な隠れ表現を生成することができると論じる。
論文参考訳（メタデータ） (2020-08-07T11:02:07Z)
Separation of Memory and Processing in Dual Recurrent Neural Networks [0.0]
入力に接続する繰り返し層とフィードフォワード層を積み重ねるニューラルネットワークアーキテクチャを探索する。繰り返し単位の活性化関数にノイズが導入されたとき、これらのニューロンは二項活性化状態に強制され、ネットワークは有限オートマトンのように振る舞う。
論文参考訳（メタデータ） (2020-05-17T11:38:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。