論文の概要: Deep Learning-based approaches for automatic detection of shell nouns
and evaluation on WikiText-2
- arxiv url: http://arxiv.org/abs/2208.11867v1
- Date: Thu, 25 Aug 2022 04:35:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-26 13:06:31.642731
- Title: Deep Learning-based approaches for automatic detection of shell nouns
and evaluation on WikiText-2
- Title（参考訳）: 深層学習によるシェル名詞の自動検出とWikiText-2の評価
- Authors: Chengdong Yao, Cuihua Wang
- Abstract要約: 本稿では,シェル名詞の自動検出のための2つのニューラルネットワークモデルを提案する。
精度は、完全に見えない記事でも94%に達しており、これは人間の注釈に匹敵する。
発見されたシェル名詞と事前訓練されたモデルとコードはGitHubで入手できる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: In some areas, such as Cognitive Linguistics, researchers are still using
traditional techniques based on manual rules and patterns. Since the definition
of shell noun is rather subjective and there are many exceptions, this
time-consuming work had to be done by hand in the past when Deep Learning
techniques were not mature enough. With the increasing number of networked
languages, these rules are becoming less useful. However, there is a better
alternative now. With the development of Deep Learning, pre-trained language
models have provided a good technical basis for Natural Language Processing.
Automated processes based on Deep Learning approaches are more in line with
modern needs. This paper collaborates across borders to propose two Neural
Network models for the automatic detection of shell nouns and experiment on the
WikiText-2 dataset. The proposed approaches not only allow the entire process
to be automated, but the precision has reached 94% even on completely unseen
articles, comparable to that of human annotators. This shows that the
performance and generalization ability of the model is good enough to be used
for research purposes. Many new nouns are found that fit the definition of
shell noun very well. All discovered shell nouns as well as pre-trained models
and code are available on GitHub.
- Abstract（参考訳）: 認知言語学など一部の分野では、研究者はまだ手動の規則やパターンに基づいた伝統的な技術を使っている。
シェル名詞の定義はかなり主観的であり、多くの例外があるため、ディープラーニング技術が十分に成熟していなかった過去には、この時間を要する作業は手作業で行う必要があった。
ネットワーク言語の増加に伴い、これらのルールは役に立たないものになりつつある。
しかし、今ではもっと良い選択肢がある。
ディープラーニングの開発により、事前訓練された言語モデルは自然言語処理の優れた技術基盤となった。
ディープラーニングアプローチに基づく自動化プロセスは、より現代的なニーズに合わせています。
本稿では,シェル名詞の自動検出とWikiText-2データセット実験のための2つのニューラルネットワークモデルを提案する。
提案されたアプローチでは、プロセス全体を自動化できるだけでなく、人間のアノテーションに匹敵する、完全に見えない記事であっても、精度は94%に達している。
このことは、モデルの性能と一般化能力が研究目的に十分であることを示している。
多くの新しい名詞がシェル名詞の定義に非常によく適合している。
発見されたシェル名詞と事前学習されたモデルとコードはgithubで入手できる。
関連論文リスト
- ART: Actually Robust Training [0.9751737916200892]
Artは、ディープラーニングパイプラインを開発しながら、ルールと標準を自動的に強制するように設計されたPythonライブラリである。
アートは、モデル開発を複雑さを増大させる一連の小さなステップに分割し、それぞれがプロセスの解釈可能性と堅牢性を改善する検証チェックで結論付けます。
論文 参考訳（メタデータ） (2024-08-29T06:30:23Z) - Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。
より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。
これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
論文 参考訳（メタデータ） (2024-03-26T12:47:39Z) - Ten Quick Tips for Deep Learning in Biology [116.78436313026478]
機械学習は、データのパターンを認識し、予測モデリングに使用するアルゴリズムの開発と応用に関係している。
ディープラーニングは、独自の機械学習のサブフィールドになっている。
生物学的研究の文脈において、ディープラーニングは高次元の生物学的データから新しい洞察を導き出すためにますます使われてきた。
論文 参考訳（メタデータ） (2021-05-29T21:02:44Z) - Read Like Humans: Autonomous, Bidirectional and Iterative Language
Modeling for Scene Text Recognition [80.446770909975]
言語知識はシーンのテキスト認識に非常に有益である。
エンドツーエンドのディープネットワークで言語規則を効果的にモデル化する方法はまだ研究の課題です。
シーンテキスト認識のための自律的双方向反復型ABINetを提案する。
論文 参考訳（メタデータ） (2021-03-11T06:47:45Z) - Automatic Code Generation using Pre-Trained Language Models [0.0]
学習済み言語モデルの上に構築されたPython言語におけるコード生成のためのエンドツーエンドの機械学習モデルを提案する。
本研究では,BLEUスコア0.22を達成し,適切なシーケンス・ツー・シーケンスベースラインよりも46%向上した,微調整モデルがコード生成タスクで良好に動作できることを実証する。
論文 参考訳（メタデータ） (2021-02-21T07:21:26Z) - Sentiment Analysis for Sinhala Language using Deep Learning Techniques [1.0499611180329804]
本稿では,RNN,LSTM,Bi-LSTM,カプセルネットワークなどの標準シーケンスモデルの利用について,より包括的な研究を行った。
この4つのクラスに注釈を付けた15059年のシンハラのニュースコメントと、948万のトークンからなるコーパスのデータセットが公開されている。
論文 参考訳（メタデータ） (2020-11-14T12:02:30Z) - Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。
言語モデルのための完全合成出力埋め込み層を提案する。
我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
論文 参考訳（メタデータ） (2020-09-24T07:21:14Z) - Automated Source Code Generation and Auto-completion Using Deep
Learning: Comparing and Discussing Current Language-Model-Related Approaches [0.0]
本稿では、異なるディープラーニングアーキテクチャを比較して、プログラミングコードに基づく言語モデルを作成し、使用する。
それぞれのアプローチのさまざまな長所と短所と、言語モデルを評価したり、実際のプログラミングコンテキストでそれらを適用するためのギャップについて論じる。
論文 参考訳（メタデータ） (2020-09-16T15:17:04Z) - Knowledge Efficient Deep Learning for Natural Language Processing [2.2701338128113124]
この論文は、現代のディープラーニングモデルとアルゴリズムに古典的手法を適用することに焦点を当てている。
まず,事前知識を深層モデルに組み込むための統合学習フレームワークとして,知識豊富な深層学習モデル(KRDL)を提案する。
第2に,KRDLモデルを機械読解モデルに応用し,その決定を裏付ける正しい証拠文を見つける。
論文 参考訳（メタデータ） (2020-08-28T23:32:33Z) - Learning to Stop While Learning to Predict [85.7136203122784]
多くのアルゴリズムにインスパイアされたディープモデルは全ての入力に対して固定深度に制限される。
アルゴリズムと同様に、深いアーキテクチャの最適深さは、異なる入力インスタンスに対して異なるかもしれない。
本稿では, ステアブルアーキテクチャを用いて, この様々な深さ問題に対処する。
学習した深層モデルと停止ポリシーにより,多様なタスクセットのパフォーマンスが向上することを示す。
論文 参考訳（メタデータ） (2020-06-09T07:22:01Z) - Word Sense Disambiguation for 158 Languages using Word Embeddings Only [80.79437083582643]
文脈における単語感覚の曖昧さは人間にとって容易であるが、自動的アプローチでは大きな課題である。
本稿では,学習前の標準単語埋め込みモデルを入力として,完全に学習した単語認識のインベントリを誘導する手法を提案する。
この手法を用いて、158の言語に対して、事前訓練されたfastText単語の埋め込みに基づいて、センスインベントリのコレクションを誘導する。
論文 参考訳（メタデータ） (2020-03-14T14:50:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。