論文の概要: Ling-CL: Understanding NLP Models through Linguistic Curricula

• arxiv url: http://arxiv.org/abs/2310.20121v1
• Date: Tue, 31 Oct 2023 01:44:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 16:45:55.026523
• Title: Ling-CL: Understanding NLP Models through Linguistic Curricula
• Title（参考訳）: Ling-CL:言語カリキュラムによるNLPモデルの理解
• Authors: Mohamed Elgaar, Hadi Amiri
• Abstract要約: 我々は精神言語学と言語習得研究から言語複雑性の特徴づけを取り入れている。 我々は、モデルがNLPタスクに対処するために学習する基礎となる言語知識を理解するために、データ駆動型カリキュラムを開発する。
• 参考スコア（独自算出の注目度）: 17.44112549879293
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We employ a characterization of linguistic complexity from psycholinguistic and language acquisition research to develop data-driven curricula to understand the underlying linguistic knowledge that models learn to address NLP tasks. The novelty of our approach is in the development of linguistic curricula derived from data, existing knowledge about linguistic complexity, and model behavior during training. By analyzing several benchmark NLP datasets, our curriculum learning approaches identify sets of linguistic metrics (indices) that inform the challenges and reasoning required to address each task. Our work will inform future research in all NLP areas, allowing linguistic complexity to be considered early in the research and development process. In addition, our work prompts an examination of gold standards and fair evaluation in NLP.
• Abstract（参考訳）: 我々は,心理言語学および言語習得研究から言語複雑性の特徴付けを行い,モデルがnlpタスクに対処するために学習する基礎となる言語知識を理解するためのデータ駆動型カリキュラムを開発した。 この手法の新規性は、データから派生した言語カリキュラムの開発、言語複雑性に関する既存の知識、訓練中のモデル行動である。 複数のベンチマークNLPデータセットを解析することにより、カリキュラム学習アプローチは、各タスクに対処するために必要な課題と推論を通知する言語指標(指標)のセットを特定する。 私たちの研究は、すべてのnlp領域における将来の研究に影響を与え、研究と開発プロセスの初期段階で言語的複雑さを考慮できるようにします。 さらに,本研究は,NLPにおける金基準の検証と公正な評価を促す。

関連論文リスト

• Towards Systematic Monolingual NLP Surveys: GenA of Greek NLP [2.3499129784547663]
  本研究は, 体系的かつ総合的な単言語NLPサーベイを作成する手法を導入することで, ギャップを埋めるものである。 構造化された検索プロトコルによって特徴づけられ、出版物を選定し、NLPタスクの分類によってそれらを整理することができる。 本手法の適用により,2012年から2022年にかけて,ギリシャNLPの体系的文献レビューを行った。
  論文  参考訳（メタデータ） (2024-07-13T12:01:52Z)
• Systematic Task Exploration with LLMs: A Study in Citation Text Generation [63.50597360948099]
  大規模言語モデル(LLM)は、複雑な創造的自然言語生成(NLG)タスクの定義と実行において、前例のない柔軟性をもたらす。 本稿では,系統的な入力操作,参照データ,出力測定からなる3成分研究フレームワークを提案する。 我々はこのフレームワークを用いて引用テキスト生成を探索する。これは一般的なNLPタスクであり、タスク定義と評価基準に関するコンセンサスを欠いている。
  論文  参考訳（メタデータ） (2024-07-04T16:41:08Z)
• Natural Language Processing for Dialects of a Language: A Survey [56.93337350526933]
  最先端自然言語処理(NLP)モデルは、大規模なトレーニングコーパスでトレーニングされ、評価データセットで最上位のパフォーマンスを報告します。 この調査は、これらのデータセットの重要な属性である言語の方言を掘り下げる。 方言データセットに対するNLPモデルの性能劣化と言語技術のエクイティへのその影響を動機として,我々はデータセットやアプローチの観点から,方言に対するNLPの過去の研究を調査した。
  論文  参考訳（メタデータ） (2024-01-11T03:04:38Z)
• Interactive Natural Language Processing [67.87925315773924]
  対話型自然言語処理(iNLP)は,NLP分野における新しいパラダイムとして登場した。 本稿では,iNLPの概念の統一的定義と枠組みを提案することから,iNLPに関する包括的調査を行う。
  論文  参考訳（メタデータ） (2023-05-22T17:18:29Z)
• Prompting Language Models for Linguistic Structure [73.11488464916668]
  本稿では,言語構造予測タスクに対する構造化プロンプト手法を提案する。 提案手法は, 音声タグ付け, 名前付きエンティティ認識, 文チャンキングについて評価する。 PLMはタスクラベルの事前知識を事前学習コーパスに漏えいすることで有意な事前知識を含むが、構造化プロンプトは任意のラベルで言語構造を復元することも可能である。
  論文  参考訳（メタデータ） (2022-11-15T01:13:39Z)
• An Inclusive Notion of Text [69.36678873492373]
  テキストの概念の明確さは再現可能で一般化可能なNLPにとって不可欠である,と我々は主張する。 言語的および非言語的要素の2層分類を導入し,NLPモデリングに使用することができる。
  論文  参考訳（メタデータ） (2022-11-10T14:26:43Z)
• Negation, Coordination, and Quantifiers in Contextualized Language Models [4.46783454797272]
  機能語の意味的制約が学習されるかどうか, 周辺環境が組み込む環境に与える影響について検討する。 我々は、適切なデータセットを作成し、LMs vis-a-vis関数ワードの内部動作に関する新たな洞察を提供し、質的分析のための補助的なビジュアルWebインターフェースを実装した。
  論文  参考訳（メタデータ） (2022-09-16T10:01:11Z)
• Systematic Inequalities in Language Technology Performance across the World's Languages [94.65681336393425]
  本稿では,言語技術のグローバルな有用性を評価するためのフレームワークを紹介する。 本分析では, ユーザ対応技術と言語的NLPタスクの両面において, より深く研究されている。
  論文  参考訳（メタデータ） (2021-10-13T14:03:07Z)
• Low-Resource Adaptation of Neural NLP Models [0.30458514384586405]
  本論文は,情報抽出と自然言語理解における低リソースシナリオを扱う手法について考察する。 ニューラルNLPモデルを開発し,学習データを最小限にしたNLPタスクに関する多くの研究課題を探索する。
  論文  参考訳（メタデータ） (2020-11-09T12:13:55Z)
• Natural Language Processing Advancements By Deep Learning: A Survey [0.755972004983746]
  この調査は、ディープラーニングの恩恵を受けたNLPのさまざまな側面と応用を分類し、対処する。 コアNLPタスクとアプリケーションをカバーするもので、深層学習手法とモデルがどのようにこれらの領域を前進させるかを記述している。
  論文  参考訳（メタデータ） (2020-03-02T21:32:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。