論文の概要: A Structured Literature Review on Traditional Approaches in Current Natural Language Processing
- arxiv url: http://arxiv.org/abs/2505.12970v1
- Date: Mon, 19 May 2025 11:06:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-20 14:57:11.550262
- Title: A Structured Literature Review on Traditional Approaches in Current Natural Language Processing
- Title（参考訳）: 自然言語処理における従来のアプローチに関する構造化文献レビュー
- Authors: Robin Jegan, Andreas Henrich,
- Abstract要約: 大きな言語モデルの大きな成功にもかかわらず、多くの欠点が残っている。
今後の展望に特に焦点をあてて、5つのアプリケーションシナリオにおける技術の現状を評価します。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The continued rise of neural networks and large language models in the more recent past has altered the natural language processing landscape, enabling new approaches towards typical language tasks and achieving mainstream success. Despite the huge success of large language models, many disadvantages still remain and through this work we assess the state of the art in five application scenarios with a particular focus on the future perspectives and sensible application scenarios of traditional and older approaches and techniques. In this paper we survey recent publications in the application scenarios classification, information and relation extraction, text simplification as well as text summarization. After defining our terminology, i.e., which features are characteristic for traditional techniques in our interpretation for the five scenarios, we survey if such traditional approaches are still being used, and if so, in what way they are used. It turns out that all five application scenarios still exhibit traditional models in one way or another, as part of a processing pipeline, as a comparison/baseline to the core model of the respective paper, or as the main model(s) of the paper. For the complete statistics, see https://zenodo.org/records/13683801
- Abstract（参考訳）: ニューラルネットワークと大規模言語モデルの近年の台頭は、自然言語処理の状況を変え、典型的な言語タスクに対する新しいアプローチを可能にし、主流の成功を収めた。
大規模な言語モデルの巨大な成功にもかかわらず、多くのデメリットは依然として残っており、この作業を通じて、私たちは5つのアプリケーションシナリオにおける最先端の状況を評価します。
本稿では,アプリケーションシナリオの分類,情報と関係抽出,テキストの単純化,およびテキスト要約に関する最近の論文を調査する。
従来の手法の特徴を5つのシナリオの解釈で定義した後、そのような手法がまだ使われているのか、その場合、どのような方法で使われているのかを調査する。
5つのアプリケーションシナリオのすべてが、処理パイプラインの一部として、各論文のコアモデルとの比較/ベースラインとして、あるいは、論文のメインモデルとして、従来のモデルとして、いずれかの方法でも、まだ存在しています。
完全な統計についてはhttps://zenodo.org/records/13683801を参照。
関連論文リスト
- Efficiently Building a Domain-Specific Large Language Model from Scratch: A Case Study of a Classical Chinese Large Language Model [22.60356156315889]
本稿では,古典中国語の理解と生成に特化して設計された,大規模言語モデルであるAI Taiyanを開発する。
実験によると、合理的なモデル設計、データ処理、基礎的なトレーニング、微調整により、わずか18億のパラメータで満足な結果が得られる。
本研究は、専門分野固有の大規模言語モデルの効率的な構築の参考となる。
論文 参考訳（メタデータ） (2025-05-17T03:43:16Z) - On The Landscape of Spoken Language Models: A Comprehensive Survey [144.11278973534203]
音声言語モデル(SLM)は、普遍的な音声処理システムとして機能する。
この領域での作業は非常に多様であり、様々な用語と評価設定がある。
論文 参考訳（メタデータ） (2025-04-11T13:40:53Z) - Foundations of Large Language Models [49.962594581024376]
本書は4つの主要な章で構成されており、それぞれが事前学習、生成モデル、プロンプト技術、アライメント方法という重要な領域を探求している。
自然言語処理や関連分野の大学生、専門家、実践者を対象としている。
論文 参考訳（メタデータ） (2025-01-16T01:03:56Z) - Benchmarking Advanced Text Anonymisation Methods: A Comparative Study on Novel and Traditional Approaches [5.891554349884001]
本稿では,変圧器モデルと大規模言語モデルの性能を,テキスト匿名化のための従来のアーキテクチャと比較する。
本研究は, 従来の手法と現代手法の有効性について, それぞれのアプローチの長所と短所を明らかにした。
論文 参考訳（メタデータ） (2024-04-22T12:06:54Z) - Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。
より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。
これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
論文 参考訳（メタデータ） (2024-03-26T12:47:39Z) - Precognition in Task-oriented Dialogue Understanding: Posterior
Regularization by Future Context [8.59600111891194]
本稿では,後続正則化手法を用いて,歴史的・将来の情報を共同でモデル化することを提案する。
これらの間のKL距離を最適化し、トレーニング中にモデルを正規化します。
2つの対話データセットの実験により,提案手法の有効性が検証された。
論文 参考訳（メタデータ） (2022-03-07T09:58:50Z) - Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods
in Natural Language Processing [78.8500633981247]
本稿では,自然言語処理における新たなパラダイムにおける研究成果の探索と整理を行う。
入力xを取り込んで出力yをP(y|x)として予測するようにモデルを訓練する従来の教師付き学習とは異なり、プロンプトベースの学習は直接テキストの確率をモデル化する言語モデルに基づいている。
論文 参考訳（メタデータ） (2021-07-28T18:09:46Z) - BERT: A Review of Applications in Natural Language Processing and
Understanding [0.0]
本稿では,最も人気のあるディープラーニングベースの言語モデルであるBERTの応用について述べる。
このレビューの準備では、科学界で最も注目を集めた過去数年間に発表された数十のオリジナルの科学論文のデータが体系化されました。
論文 参考訳（メタデータ） (2021-03-22T15:34:39Z) - Customizing Contextualized Language Models forLegal Document Reviews [0.22940141855172028]
一般ドメインコーパスに歪んだ異なる言語モデルがどのように、法的文書レビュータスクに最適にカスタマイズできるかを示す。
本研究は,タスクのパフォーマンスと実践的考察の効率を比較検討する。
論文 参考訳（メタデータ） (2021-02-10T22:14:15Z) - A Survey on Text Classification: From Shallow to Deep Learning [83.47804123133719]
過去10年は、ディープラーニングが前例のない成功を収めたために、この分野の研究が急増している。
本稿では,1961年から2021年までの最先端のアプローチを見直し,そのギャップを埋める。
特徴抽出と分類に使用されるテキストとモデルに基づいて,テキスト分類のための分類を作成する。
論文 参考訳（メタデータ） (2020-08-02T00:09:03Z) - Deep Learning Based Text Classification: A Comprehensive Review [75.8403533775179]
本稿では,近年開発されたテキスト分類のための150以上のディープラーニングモデルについてレビューする。
また、テキスト分類に広く使われている40以上の一般的なデータセットの要約も提供する。
論文 参考訳（メタデータ） (2020-04-06T02:00:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。