Fugu-MT 論文翻訳(概要): The Unstoppable Rise of Computational Linguistics in Deep Learning

論文の概要: The Unstoppable Rise of Computational Linguistics in Deep Learning

arxiv url: http://arxiv.org/abs/2005.06420v3
Date: Thu, 11 Jun 2020 07:58:28 GMT
ステータス: 処理完了
システム内更新日: 2022-12-03 10:05:57.283810
Title: The Unstoppable Rise of Computational Linguistics in Deep Learning
Title（参考訳）: 深層学習における計算言語学の急激な台頭
Authors: James Henderson
Abstract要約: 自然言語理解タスクに適用されたニューラルネットワークの歴史を辿る。トランスフォーマーはシーケンスモデルではなく、帰納構造モデルであると主張する。
参考スコア（独自算出の注目度）: 17.572024590374305
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we trace the history of neural networks applied to natural language understanding tasks, and identify key contributions which the nature of language has made to the development of neural network architectures. We focus on the importance of variable binding and its instantiation in attention-based models, and argue that Transformer is not a sequence model but an induced-structure model. This perspective leads to predictions of the challenges facing research in deep learning architectures for natural language understanding.
Abstract（参考訳）: 本稿では,自然言語理解タスクに適用されるニューラルネットワークの歴史を追跡し,言語の性質がニューラルネットワークアーキテクチャ開発にもたらした重要な貢献を明らかにした。我々は,注意に基づくモデルにおける可変結合の重要性とインスタンス化に注目し,トランスフォーマはシーケンスモデルではなく誘導構造モデルであると主張する。この視点は、自然言語理解のためのディープラーニングアーキテクチャの研究が直面する課題の予測につながる。

関連論文リスト

Discovering Chunks in Neural Embeddings for Interpretability [53.80157905839065]
本稿では, チャンキングの原理を応用して, 人工神経集団活動の解釈を提案する。まず、この概念を正則性を持つ人工シーケンスを訓練したリカレントニューラルネットワーク(RNN)で実証する。我々は、これらの状態に対する摂動が関連する概念を活性化または阻害すると共に、入力における概念に対応する同様の繰り返し埋め込み状態を特定する。
論文参考訳（メタデータ） (2025-02-03T20:30:46Z)
Developmental Predictive Coding Model for Early Infancy Mono and Bilingual Vocal Continual Learning [69.8008228833895]
本稿では,連続学習機構を備えた小型生成ニューラルネットワークを提案する。我々のモデルは解釈可能性を重視し,オンライン学習の利点を実証する。
論文参考訳（メタデータ） (2024-12-23T10:23:47Z)
Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
論文参考訳（メタデータ） (2024-10-31T22:54:34Z)
A Percolation Model of Emergence: Analyzing Transformers Trained on a Formal Language [15.929767234646631]
データ、サイズ、計算量の増加は、ニューラルネットワークによる特定の能力の急激な学習につながる可能性がある。エマージェンス(emergence)とは、しばしば「エマージェンス(emergence)」と呼ばれる現象である。
論文参考訳（メタデータ） (2024-08-22T17:44:22Z)
Hidden Holes: topological aspects of language models [1.1172147007388977]
我々は,GPTに基づく大規模言語モデルにおけるトポロジ的構造の発達について,訓練中の深度と時間にわたって検討した。後者は、すべての自然言語に共通する変化パターンを持つが、合成されたデータがない、よりトポロジ的な複雑さを示すことを示す。
論文参考訳（メタデータ） (2024-06-09T14:25:09Z)
Language Evolution with Deep Learning [49.879239655532324]
計算モデリングは言語の出現の研究において重要な役割を担っている。構造化言語の出現を誘発する可能性のある条件と学習プロセスをシミュレートすることを目的としている。この章では、最近機械学習の分野に革命をもたらした別の種類の計算モデル、ディープ・ラーニング・モデルについて論じる。
論文参考訳（メタデータ） (2024-03-18T16:52:54Z)
Deep Learning Models to Study Sentence Comprehension in the Human Brain [0.1503974529275767]
自然言語を処理する最近の人工ニューラルネットワークは、文レベルの理解を必要とするタスクにおいて、前例のないパフォーマンスを達成する。我々は、これらの人工言語モデルと人間の脳活動を比較する研究をレビューし、このアプローチが自然言語理解に関わる神経プロセスの理解をいかに改善したかを評価する。
論文参考訳（メタデータ） (2023-01-16T10:31:25Z)
The Neural Race Reduction: Dynamics of Abstraction in Gated Networks [12.130628846129973]
本稿では,情報フローの経路が学習力学に与える影響をスキーマ化するGated Deep Linear Networkフレームワークを紹介する。正確な還元と、特定の場合において、学習のダイナミクスに対する正確な解が導出されます。我々の研究は、ニューラルネットワークと学習に関する一般的な仮説を生み出し、より複雑なアーキテクチャの設計を理解するための数学的アプローチを提供する。
論文参考訳（メタデータ） (2022-07-21T12:01:03Z)
Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文参考訳（メタデータ） (2022-02-01T17:11:13Z)
A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文参考訳（メタデータ） (2021-04-29T14:31:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。