論文の概要: The Unstoppable Rise of Computational Linguistics in Deep Learning
- arxiv url: http://arxiv.org/abs/2005.06420v3
- Date: Thu, 11 Jun 2020 07:58:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-03 10:05:57.283810
- Title: The Unstoppable Rise of Computational Linguistics in Deep Learning
- Title(参考訳): 深層学習における計算言語学の急激な台頭
- Authors: James Henderson
- Abstract要約: 自然言語理解タスクに適用されたニューラルネットワークの歴史を辿る。
トランスフォーマーはシーケンスモデルではなく、帰納構造モデルであると主張する。
- 参考スコア(独自算出の注目度): 17.572024590374305
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we trace the history of neural networks applied to natural
language understanding tasks, and identify key contributions which the nature
of language has made to the development of neural network architectures. We
focus on the importance of variable binding and its instantiation in
attention-based models, and argue that Transformer is not a sequence model but
an induced-structure model. This perspective leads to predictions of the
challenges facing research in deep learning architectures for natural language
understanding.
- Abstract(参考訳): 本稿では,自然言語理解タスクに適用されるニューラルネットワークの歴史を追跡し,言語の性質がニューラルネットワークアーキテクチャ開発にもたらした重要な貢献を明らかにした。
我々は,注意に基づくモデルにおける可変結合の重要性とインスタンス化に注目し,トランスフォーマはシーケンスモデルではなく誘導構造モデルであると主張する。
この視点は、自然言語理解のためのディープラーニングアーキテクチャの研究が直面する課題の予測につながる。
関連論文リスト
- Punctuation Restoration Improves Structure Understanding without
Supervision [6.4736137270915215]
学習目的としての句読点復元は,構造関連タスクにおける内外分布性能を向上させることを示す。
句読解は、構造理解を改善し、自然言語のより堅牢な構造認識表現を得ることができる効果的な学習目的である。
論文 参考訳(メタデータ) (2024-02-13T11:22:52Z) - Engineering A Large Language Model From Scratch [0.0]
AtinukeはTransformerベースのニューラルネットワークで、さまざまな言語タスクのパフォーマンスを最適化する。
特徴を抽出し、複雑なマッピングを学習することで、人間のような言語をエミュレートすることができる。
システムは、解釈可能で堅牢なまま、自然言語タスクの最先端の結果を達成する。
論文 参考訳(メタデータ) (2024-01-30T04:29:48Z) - Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳(メタデータ) (2023-12-01T05:20:57Z) - SINC: Self-Supervised In-Context Learning for Vision-Language Tasks [64.44336003123102]
大規模言語モデルにおけるコンテキスト内学習を実現するためのフレームワークを提案する。
メタモデルは、カスタマイズされたデモからなる自己教師型プロンプトで学ぶことができる。
実験の結果、SINCは様々な視覚言語タスクにおいて勾配に基づく手法よりも優れていた。
論文 参考訳(メタデータ) (2023-07-15T08:33:08Z) - Deep Learning Models to Study Sentence Comprehension in the Human Brain [0.1503974529275767]
自然言語を処理する最近の人工ニューラルネットワークは、文レベルの理解を必要とするタスクにおいて、前例のないパフォーマンスを達成する。
我々は、これらの人工言語モデルと人間の脳活動を比較する研究をレビューし、このアプローチが自然言語理解に関わる神経プロセスの理解をいかに改善したかを評価する。
論文 参考訳(メタデータ) (2023-01-16T10:31:25Z) - The Neural Race Reduction: Dynamics of Abstraction in Gated Networks [12.130628846129973]
本稿では,情報フローの経路が学習力学に与える影響をスキーマ化するGated Deep Linear Networkフレームワークを紹介する。
正確な還元と、特定の場合において、学習のダイナミクスに対する正確な解が導出されます。
我々の研究は、ニューラルネットワークと学習に関する一般的な仮説を生み出し、より複雑なアーキテクチャの設計を理解するための数学的アプローチを提供する。
論文 参考訳(メタデータ) (2022-07-21T12:01:03Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳(メタデータ) (2021-04-29T14:31:09Z) - Developing Constrained Neural Units Over Time [81.19349325749037]
本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。
ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。
提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
論文 参考訳(メタデータ) (2020-09-01T09:07:25Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳(メタデータ) (2020-08-19T04:53:31Z) - Neural Language Generation: Formulation, Methods, and Evaluation [13.62873478165553]
ニューラルネットワークに基づく生成モデリングの最近の進歩は、人間とシームレスに会話できるコンピュータシステムの実現への期待を再燃させた。
大規模データセットでトレーニングされた高容量ディープラーニングモデルは、明示的な監視信号の欠如にもかかわらず、データのパターンを学習する非並列的な能力を示している。
これらの生成モデルが生成するテキストの品質を評価する標準的な方法は存在しないため、フィールドの進行に深刻なボトルネックが生じる。
論文 参考訳(メタデータ) (2020-07-31T00:08:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。