論文の概要: Punctuation restoration improves structure understanding without supervision

• arxiv url: http://arxiv.org/abs/2402.08382v3
• Date: Thu, 13 Mar 2025 03:32:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 15:50:11.673662
• Title: Punctuation restoration improves structure understanding without supervision
• Title（参考訳）: 触覚回復は、監督なしで構造理解を改善する
• Authors: Junghyun Min, Minho Lee, Woochul Lee, Yeonsoo Lee,
• Abstract要約: 学習目的としての句読点復元が構造関連タスクの性能を向上させることを示す。 その結果,句読点復元は構造理解を向上する効果的な学習目標であることが示唆された。
• 参考スコア（独自算出の注目度）: 5.925894224649895
• License:
• Abstract: Unsupervised learning objectives like autoregressive and masked language modeling constitute a significant part in producing pre-trained representations that perform various downstream applications from natural language understanding to conversational tasks. However, despite impressive generative capabilities of recent large language models, their abilities to capture syntactic or semantic structure within text lag behind. We hypothesize that the mismatch between linguistic performance and competence in machines is attributable to insufficient learning of linguistic structure knowledge via currently popular pre-training objectives. Working with English, we show that punctuation restoration as a learning objective improves performance on structure-related tasks like named entity recognition, open information extraction, chunking, and part-of-speech tagging. Punctuation restoration results in $\blacktriangle$$\geq2\%$p improvement in 16 out of 18 experiments, across 6 out of 7 tasks. Our results show that punctuation restoration is an effective learning objective that can improve structure understanding and yield a more robust structure-aware representations of natural language in base-sized models.
• Abstract（参考訳）: 自己回帰やマスク付き言語モデリングのような教師なし学習目的は、自然言語理解から会話タスクに至るまで、さまざまな下流アプリケーションを実行する事前学習された表現を生成する上で重要な役割を果たす。 しかし、最近の大規模言語モデルの印象的な生成機能にもかかわらず、テキストラグの後方にある構文的構造や意味的構造をキャプチャする能力がある。 機械における言語性能と能力のミスマッチは,現在普及している事前学習目標を通した言語構造知識の学習不足に起因すると仮定する。 学習目的としての句読点復元は, 単語認識, オープン情報抽出, チャンキング, 音声の一部タグ付けなどの構造関連タスクの性能を向上させることを示す。 Punctuation restoration の結果、$\blacktriangle$$\geq2\%$p は18の実験中16回で改善され、7つのタスクのうち6回は改善された。 その結果,句読点復元は構造理解を向上し,ベースサイズモデルにおける自然言語のより堅牢な構造認識表現を実現するための効果的な学習目標であることが示唆された。

関連論文リスト

• Neural Contextual Reinforcement Framework for Logical Structure Language Generation [1.08272575635683]
  このフレームワークはカスタム報酬関数と動的コンテキストアライメント機構を統合している。 論理構造やセマンティックフローに対する人間の期待と密接に一致した出力を生成する。 さまざまなモデルサイズにわたるノイズの多い入力データとスケーラビリティを扱う上で、堅牢性を示す。
  論文  参考訳（メタデータ） (2025-01-20T11:34:28Z)
• Developmental Predictive Coding Model for Early Infancy Mono and Bilingual Vocal Continual Learning [69.8008228833895]
  本稿では,連続学習機構を備えた小型生成ニューラルネットワークを提案する。 我々のモデルは解釈可能性を重視し,オンライン学習の利点を実証する。
  論文  参考訳（メタデータ） (2024-12-23T10:23:47Z)
• Annotating FrameNet via Structure-Conditioned Language Generation [15.877232416259805]
  本稿では、過剰な生成とフィルタのアプローチに従って、新しいフレーム文の注釈付き文を生成するフレームワークを提案する。 以上の結果から,リッチで明示的な意味情報に対する条件付けは,人間の受容度が高い世代を生み出す傾向が示唆された。
  論文  参考訳（メタデータ） (2024-06-07T11:01:15Z)
• Prompting Language Models for Linguistic Structure [73.11488464916668]
  本稿では,言語構造予測タスクに対する構造化プロンプト手法を提案する。 提案手法は, 音声タグ付け, 名前付きエンティティ認識, 文チャンキングについて評価する。 PLMはタスクラベルの事前知識を事前学習コーパスに漏えいすることで有意な事前知識を含むが、構造化プロンプトは任意のラベルで言語構造を復元することも可能である。
  論文  参考訳（メタデータ） (2022-11-15T01:13:39Z)
• Emergent Linguistic Structures in Neural Networks are Fragile [20.692540987792732]
  大規模言語モデル (LLM) は自然言語処理タスクにおいて高い性能を示すと報告されている。 言語表現の一貫性と堅牢性を評価するための枠組みを提案する。
  論文  参考訳（メタデータ） (2022-10-31T15:43:57Z)
• An Empirical Revisiting of Linguistic Knowledge Fusion in Language Understanding Tasks [33.765874588342285]
  構文的・意味的知識を持つ言語モデルの構築は,多くの言語理解タスクにおいて改善されている。 GLUEベンチマークにおいて,解析されたグラフや木を簡単なタスクに置き換える実験的検討を行った。 このことは、利得は明示的な言語的先行によるものではなく、融合層によってもたらされるより機能的な相互作用によるものであることを明らかにしている。
  論文  参考訳（メタデータ） (2022-10-24T07:47:32Z)
• DeepStruct: Pretraining of Language Models for Structure Prediction [64.84144849119554]
  テキストから構造を生成するために,タスクに依存しないコーパスの集合上で言語モデルを事前訓練する。 我々の構造事前学習は、モデルが構造タスクについて持っている学習知識のゼロショット転送を可能にする。 10Bパラメータ言語モデルがほとんどのタスクに非自明に転送し、28のデータセットのうち21の最先端のパフォーマンスを得ることを示す。
  論文  参考訳（メタデータ） (2022-05-21T00:58:22Z)
• ERICA: Improving Entity and Relation Understanding for Pre-trained Language Models via Contrastive Learning [97.10875695679499]
  そこで本研究では, ERICA という新たなコントラスト学習フレームワークを提案し, エンティティとその関係をテキストでより深く理解する。 実験の結果,提案する erica フレームワークは文書レベルの言語理解タスクにおいて一貫した改善を実現することがわかった。
  論文  参考訳（メタデータ） (2020-12-30T03:35:22Z)
• Retrofitting Structure-aware Transformer Language Model for End Tasks [34.74181162627023]
  エンドタスクを容易にするための構造対応トランスフォーマー言語モデルについて検討する。 中層構造学習戦略は構造統合に活用される。 実験結果から, 再構成構造対応トランスフォーマー言語モデルにより, パープレキシティが向上することが確認された。
  論文  参考訳（メタデータ） (2020-09-16T01:07:07Z)
• Semantics-Aware Inferential Network for Natural Language Understanding [79.70497178043368]
  このようなモチベーションを満たすために,セマンティックス対応推論ネットワーク(SAIN)を提案する。 SAINの推論モジュールは、明示的な文脈的セマンティクスを補完的な入力として、セマンティクス上の一連の推論ステップを可能にする。 本モデルでは,機械読解や自然言語推論など11タスクの大幅な改善を実現している。
  論文  参考訳（メタデータ） (2020-04-28T07:24:43Z)
• Probing Linguistic Features of Sentence-Level Representations in Neural Relation Extraction [80.38130122127882]
  ニューラルリレーション抽出(RE)に関連する言語特性を対象とした14の探索タスクを導入する。 私たちは、40以上の異なるエンコーダアーキテクチャと2つのデータセットでトレーニングされた言語的特徴の組み合わせによって学習された表現を研究するためにそれらを使用します。 アーキテクチャによって引き起こされるバイアスと言語的特徴の含意は、探索タスクのパフォーマンスにおいて明らかに表現されている。
  論文  参考訳（メタデータ） (2020-04-17T09:17:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。