論文の概要: Punctuation Restoration Improves Structure Understanding without Supervision

• arxiv url: http://arxiv.org/abs/2402.08382v2
• Date: Wed, 21 Feb 2024 08:35:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-22 18:48:33.369781
• Title: Punctuation Restoration Improves Structure Understanding without Supervision
• Title（参考訳）: Punctuation Restorationはスーパービジョンなしで構造理解を改善する
• Authors: Junghyun Min, Minho Lee, Woochul Lee, Yeonsoo Lee
• Abstract要約: 学習目的としての句読点復元は,構造関連タスクにおける内外分布性能を向上させることを示す。 句読解は、構造理解を改善し、自然言語のより堅牢な構造認識表現を得ることができる効果的な学習目的である。
• 参考スコア（独自算出の注目度）: 6.4736137270915215
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised learning objectives like language modeling and de-noising constitute a significant part in producing pre-trained models that perform various downstream applications from natural language understanding to conversational tasks. However, despite impressive generative capabilities of recent large language models, their abilities to capture syntactic or semantic structure within text lag behind. We hypothesize that the mismatch between linguistic performance and competence in machines is attributable to insufficient transfer of linguistic structure knowledge to computational systems with currently popular pre-training objectives. We show that punctuation restoration as a learning objective improves in- and out-of-distribution performance on structure-related tasks like named entity recognition, open information extraction, chunking, and part-of-speech tagging. Punctuation restoration is an effective learning objective that can improve structure understanding and yield a more robust structure-aware representations of natural language.
• Abstract（参考訳）: 教師なし学習の目的である言語モデリングやデノイズ化は、自然言語理解から会話タスクに至るまで、様々な下流アプリケーションを実行する事前訓練されたモデルを作成する上で重要な役割を果たす。 しかし、最近の大規模言語モデルの印象的な生成能力にもかかわらず、テキストの遅れの中で構文や意味構造をキャプチャする能力がある。 機械の言語性能と能力のミスマッチは、現在一般的な事前学習対象である計算システムへの言語構造知識の移転不足に起因すると仮定する。 学習目標としての句読点の復元は、名前付きエンティティ認識、オープン情報抽出、チャンキング、パート・オブ・スパイチ・タグングなどの構造関連タスクにおいて、分布内および分布外のパフォーマンスが向上することを示す。 句読点復元は、構造理解を改善し、自然言語のより強固な構造認識表現をもたらす効果的な学習目標である。

関連論文リスト

• Annotating FrameNet via Structure-Conditioned Language Generation [15.877232416259805]
  本稿では、過剰な生成とフィルタのアプローチに従って、新しいフレーム文の注釈付き文を生成するフレームワークを提案する。 以上の結果から,リッチで明示的な意味情報に対する条件付けは,人間の受容度が高い世代を生み出す傾向が示唆された。
  論文  参考訳（メタデータ） (2024-06-07T11:01:15Z)
• Prompting Language Models for Linguistic Structure [73.11488464916668]
  本稿では,言語構造予測タスクに対する構造化プロンプト手法を提案する。 提案手法は, 音声タグ付け, 名前付きエンティティ認識, 文チャンキングについて評価する。 PLMはタスクラベルの事前知識を事前学習コーパスに漏えいすることで有意な事前知識を含むが、構造化プロンプトは任意のラベルで言語構造を復元することも可能である。
  論文  参考訳（メタデータ） (2022-11-15T01:13:39Z)
• Emergent Linguistic Structures in Neural Networks are Fragile [20.692540987792732]
  大規模言語モデル (LLM) は自然言語処理タスクにおいて高い性能を示すと報告されている。 言語表現の一貫性と堅牢性を評価するための枠組みを提案する。
  論文  参考訳（メタデータ） (2022-10-31T15:43:57Z)
• An Empirical Revisiting of Linguistic Knowledge Fusion in Language Understanding Tasks [33.765874588342285]
  構文的・意味的知識を持つ言語モデルの構築は,多くの言語理解タスクにおいて改善されている。 GLUEベンチマークにおいて,解析されたグラフや木を簡単なタスクに置き換える実験的検討を行った。 このことは、利得は明示的な言語的先行によるものではなく、融合層によってもたらされるより機能的な相互作用によるものであることを明らかにしている。
  論文  参考訳（メタデータ） (2022-10-24T07:47:32Z)
• Sentence Representation Learning with Generative Objective rather than Contrastive Objective [86.01683892956144]
  句再構成に基づく新たな自己教師型学習目標を提案する。 我々の生成学習は、十分な性能向上を達成し、現在の最先端のコントラスト法よりも優れています。
  論文  参考訳（メタデータ） (2022-10-16T07:47:46Z)
• DeepStruct: Pretraining of Language Models for Structure Prediction [64.84144849119554]
  テキストから構造を生成するために,タスクに依存しないコーパスの集合上で言語モデルを事前訓練する。 我々の構造事前学習は、モデルが構造タスクについて持っている学習知識のゼロショット転送を可能にする。 10Bパラメータ言語モデルがほとんどのタスクに非自明に転送し、28のデータセットのうち21の最先端のパフォーマンスを得ることを示す。
  論文  参考訳（メタデータ） (2022-05-21T00:58:22Z)
• ERICA: Improving Entity and Relation Understanding for Pre-trained Language Models via Contrastive Learning [97.10875695679499]
  そこで本研究では, ERICA という新たなコントラスト学習フレームワークを提案し, エンティティとその関係をテキストでより深く理解する。 実験の結果,提案する erica フレームワークは文書レベルの言語理解タスクにおいて一貫した改善を実現することがわかった。
  論文  参考訳（メタデータ） (2020-12-30T03:35:22Z)
• Retrofitting Structure-aware Transformer Language Model for End Tasks [34.74181162627023]
  エンドタスクを容易にするための構造対応トランスフォーマー言語モデルについて検討する。 中層構造学習戦略は構造統合に活用される。 実験結果から, 再構成構造対応トランスフォーマー言語モデルにより, パープレキシティが向上することが確認された。
  論文  参考訳（メタデータ） (2020-09-16T01:07:07Z)
• Semantics-Aware Inferential Network for Natural Language Understanding [79.70497178043368]
  このようなモチベーションを満たすために,セマンティックス対応推論ネットワーク(SAIN)を提案する。 SAINの推論モジュールは、明示的な文脈的セマンティクスを補完的な入力として、セマンティクス上の一連の推論ステップを可能にする。 本モデルでは,機械読解や自然言語推論など11タスクの大幅な改善を実現している。
  論文  参考訳（メタデータ） (2020-04-28T07:24:43Z)
• Probing Linguistic Features of Sentence-Level Representations in Neural Relation Extraction [80.38130122127882]
  ニューラルリレーション抽出(RE)に関連する言語特性を対象とした14の探索タスクを導入する。 私たちは、40以上の異なるエンコーダアーキテクチャと2つのデータセットでトレーニングされた言語的特徴の組み合わせによって学習された表現を研究するためにそれらを使用します。 アーキテクチャによって引き起こされるバイアスと言語的特徴の含意は、探索タスクのパフォーマンスにおいて明らかに表現されている。
  論文  参考訳（メタデータ） (2020-04-17T09:17:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。