論文の概要: Pointer-Guided Pre-Training: Infusing Large Language Models with Paragraph-Level Contextual Awareness

• arxiv url: http://arxiv.org/abs/2406.04156v1
• Date: Thu, 6 Jun 2024 15:17:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 14:20:13.562844
• Title: Pointer-Guided Pre-Training: Infusing Large Language Models with Paragraph-Level Contextual Awareness
• Title（参考訳）: ポインタガイドによる事前学習:パラグラフレベル文脈認識を用いた大規模言語モデルの構築
• Authors: Lars Hillebrand, Prabhupad Pradhan, Christian Bauckhage, Rafet Sifa,
• Abstract要約: ポインター誘導セグメントオーダリング(SO)は,段落レベルのテキスト表現の文脈的理解を高めることを目的とした,新しい事前学習手法である。 実験の結果,ポインタ誘導型事前学習は複雑な文書構造を理解する能力を大幅に向上させることがわかった。
• 参考スコア（独自算出の注目度）: 3.2925222641796554
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce "pointer-guided segment ordering" (SO), a novel pre-training technique aimed at enhancing the contextual understanding of paragraph-level text representations in large language models. Our methodology leverages a self-attention-driven pointer network to restore the original sequence of shuffled text segments, addressing the challenge of capturing the structural coherence and contextual dependencies within documents. This pre-training approach is complemented by a fine-tuning methodology that incorporates dynamic sampling, augmenting the diversity of training instances and improving sample efficiency for various downstream applications. We evaluate our method on a diverse set of datasets, demonstrating its efficacy in tasks requiring sequential text classification across scientific literature and financial reporting domains. Our experiments show that pointer-guided pre-training significantly enhances the model's ability to understand complex document structures, leading to state-of-the-art performance in downstream classification tasks.
• Abstract（参考訳）: 大規模言語モデルにおける段落レベルのテキスト表現の文脈的理解を高めることを目的とした,新しい事前学習手法である「ポインタ誘導セグメント順序付け(SO)」を導入する。 本手法は,自己注意型ポインタネットワークを利用して,文書内の構造的コヒーレンスとコンテキスト依存性を捉えるという課題に対処するため,シャッフルテキストセグメントの元のシーケンスを復元する。 この事前トレーニングアプローチは、動的サンプリングを取り入れ、トレーニングインスタンスの多様性を強化し、さまざまなダウンストリームアプリケーションのためのサンプル効率を改善する微調整手法によって補完される。 本手法は多種多様なデータセットを用いて評価し,学術文献および財務報告分野にまたがる逐次テキスト分類を必要とする課題において有効性を示す。 実験の結果,ポインタ誘導による事前学習により,複雑な文書構造を理解する能力が大幅に向上し,下流の分類タスクにおける最先端のパフォーマンスが向上することがわかった。

関連論文リスト

• Manual Verbalizer Enrichment for Few-Shot Text Classification [1.860409237919611]
  acrshortmaveは、クラスラベルの豊か化による動詞化のためのアプローチである。 本モデルでは, 資源を著しく減らしながら, 最先端の成果が得られている。
  論文  参考訳（メタデータ） (2024-10-08T16:16:47Z)
• Neural Sequence-to-Sequence Modeling with Attention by Leveraging Deep Learning Architectures for Enhanced Contextual Understanding in Abstractive Text Summarization [0.0]
  本稿では,単一文書の抽象TSのための新しいフレームワークを提案する。 構造、セマンティック、およびニューラルベースアプローチの3つの主要な側面を統合している。 その結果, 希少語, OOV語処理の大幅な改善が示唆された。
  論文  参考訳（メタデータ） (2024-04-08T18:33:59Z)
• Sequential Visual and Semantic Consistency for Semi-supervised Text Recognition [56.968108142307976]
  Scene Text Recognition (STR) は、大規模なアノテートデータを必要とする課題である。 既存のSTR法の多くは、STRモデルの性能を低下させ、ドメイン差を生じさせる合成データに頼っている。 本稿では,視覚的・意味的両面から単語レベルの整合性正則化を取り入れたSTRの半教師付き学習手法を提案する。
  論文  参考訳（メタデータ） (2024-02-24T13:00:54Z)
• A Unified Understanding of Deep NLP Models for Text Classification [88.35418976241057]
  我々は、テキスト分類のためのNLPモデルの統一的な理解を可能にする視覚解析ツールDeepNLPVisを開発した。 主要なアイデアは相互情報に基づく尺度であり、モデルの各レイヤがサンプル内の入力語の情報をどのように保持するかを定量的に説明する。 コーパスレベル、サンプルレベル、単語レベルビジュアライゼーションで構成されるマルチレベルビジュアライゼーションは、全体トレーニングセットから個々のサンプルまでの分析をサポートする。
  論文  参考訳（メタデータ） (2022-06-19T08:55:07Z)
• DeepStruct: Pretraining of Language Models for Structure Prediction [64.84144849119554]
  テキストから構造を生成するために,タスクに依存しないコーパスの集合上で言語モデルを事前訓練する。 我々の構造事前学習は、モデルが構造タスクについて持っている学習知識のゼロショット転送を可能にする。 10Bパラメータ言語モデルがほとんどのタスクに非自明に転送し、28のデータセットのうち21の最先端のパフォーマンスを得ることを示す。
  論文  参考訳（メタデータ） (2022-05-21T00:58:22Z)
• Improve Discourse Dependency Parsing with Contextualized Representations [28.916249926065273]
  本稿では,異なるレベルの単位の文脈化表現を符号化するトランスフォーマーの活用を提案する。 記事間で共通に共有される記述パターンの観察に動機付けられ,談話関係の識別をシーケンスラベリングタスクとして扱う新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-05-04T14:35:38Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)
• Pre-training Text Representations as Meta Learning [113.3361289756749]
  本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。 マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
  論文  参考訳（メタデータ） (2020-04-12T09:05:47Z)
• Two-Level Transformer and Auxiliary Coherence Modeling for Improved Text Segmentation [9.416757363901295]
  単純だが明示的なコヒーレンスモデリングを用いたテキストセグメンテーションのための新しい教師付きモデルを提案する。 我々のモデルは、2つの階層的に連結されたトランスフォーマーネットワークからなるニューラルネットワークであり、文レベルのセグメンテーション目標と、正しい文列と腐敗した文列を区別するコヒーレンス目標を結合するマルチタスク学習モデルである。
  論文  参考訳（メタデータ） (2020-01-03T17:06:41Z)
• Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer [64.22926988297685]
  下流タスクで微調整される前に、まずデータリッチタスクでモデルが事前訓練されるトランスファーラーニングは、自然言語処理(NLP)において強力な手法として登場した。 本稿では,すべてのテキストベースの言語問題をテキスト・トゥ・テキスト・フォーマットに変換する統一フレームワークにより,NLPのためのトランスファー学習手法を導入する状況について検討する。
  論文  参考訳（メタデータ） (2019-10-23T17:37:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。