論文の概要: Domain Specific Fine-tuning of Denoising Sequence-to-Sequence Models for Natural Language Summarization

• arxiv url: http://arxiv.org/abs/2204.09716v1
• Date: Wed, 6 Apr 2022 18:17:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-24 20:56:13.381277
• Title: Domain Specific Fine-tuning of Denoising Sequence-to-Sequence Models for Natural Language Summarization
• Title（参考訳）: 自然言語要約のための分節列列モデルのドメイン固有微調整
• Authors: Brydon Parker, Alik Sokolov, Mahtab Ahmed, Matt Kalebic, Sedef Akinli Kocak, Ofer Shai
• Abstract要約: 最先端NLPモデル(BART)の適用について検討する。 我々のエンドツーエンドの微調整アプローチは、事前訓練済みのBARTサマリよりも5-6%の絶対ROUGE-1の改善をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 2.9360071145551068
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Summarization of long-form text data is a problem especially pertinent in knowledge economy jobs such as medicine and finance, that require continuously remaining informed on a sophisticated and evolving body of knowledge. As such, isolating and summarizing key content automatically using Natural Language Processing (NLP) techniques holds the potential for extensive time savings in these industries. We explore applications of a state-of-the-art NLP model (BART), and explore strategies for tuning it to optimal performance using data augmentation and various fine-tuning strategies. We show that our end-to-end fine-tuning approach can result in a 5-6\% absolute ROUGE-1 improvement over an out-of-the-box pre-trained BART summarizer when tested on domain specific data, and make available our end-to-end pipeline to achieve these results on finance, medical, or other user-specified domains.
• Abstract（参考訳）: 長文データの要約は、医学や金融などの知識経済業務において特に問題であり、高度で進化した知識体系について継続的に情報を提供しなければならない。 このように、自然言語処理(NLP)技術を用いてキーコンテンツを自動的に分離・要約することは、これらの産業において広範な時間節約の可能性を秘めている。 我々は、最先端のNLPモデル(BART)の応用を探求し、データ拡張と様々な微調整戦略を用いて最適な性能に調整するための戦略を探る。 エンド・ツー・エンドの微調整アプローチは、ドメイン特化データでテストした場合、事前トレーニング済みのBARTサマリよりも5～6倍の絶対ROUGE-1が向上し、ファイナンス、医療、その他のユーザ特定ドメインでこれらの結果を達成するために、エンドツーエンドパイプラインを利用できることを示す。

関連論文リスト

• A Universal Prompting Strategy for Extracting Process Model Information from Natural Language Text using Large Language Models [0.8899670429041453]
  生成型大規模言語モデル(LLM)は,広範囲なデータを必要とすることなく,非常に高品質なNLPタスクを解くことができることを示す。 新たなプロンプト戦略に基づいて,LLMが最先端の機械学習手法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-26T06:39:35Z)
• IGOT: Information Gain Optimized Tokenizer on Domain Adaptive Pretraining [2.009700777745832]
  事前訓練されたLarge Language Models (LLM) は、自然言語生成の様々な分野で強力な能力を示している。 生成AIを使用して下流タスクを処理する場合、一般的なアプローチは、継続的なトレーニングや微調整を通じて新しい知識を追加することである。 本稿では、下流タスクの特殊トークンセットを分析し、特殊トークンと情報ゲインを併用した$phi$を用いて新しいサブセットを構築する情報ゲイン最適化トークンライザ(IGOT)を提案する。 ドメイン適応型事前学習におけるカスタマイズトークン化器の多くの効果について検討し,本手法がより優れた性能を発揮することを検証した。
  論文  参考訳（メタデータ） (2024-05-16T07:25:10Z)
• Dial-insight: Fine-tuning Large Language Models with High-Quality Domain-Specific Data Preventing Capability Collapse [4.98050508891467]
  高品質なデータを得るために設計された生産プロンプトを構築するための2段階のアプローチを提案する。 この方法は、幅広いタスクを包含し、多種多様な表現を示す多様なプロンプトの生成を含む。 生成したラベルデータの整合性を確保するため,コスト効率,多次元品質評価フレームワークを導入する。
  論文  参考訳（メタデータ） (2024-03-14T08:27:32Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• FinGPT: Instruction Tuning Benchmark for Open-Source Large Language Models in Financial Datasets [9.714447724811842]
  本稿では,オープンソースの大規模言語モデルに対して,インストラクションチューニングパラダイムに固有のアプローチを導入する。 私たちは、オープンソースのモデルの相互運用性に乗じて、シームレスで透過的な統合を確保します。 本稿では,エンドツーエンドのトレーニングとテストのためのベンチマーク手法を提案し,費用対効果を生かした。
  論文  参考訳（メタデータ） (2023-10-07T12:52:58Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• "FIJO": a French Insurance Soft Skill Detection Dataset [0.0]
  本稿では、多くのソフトスキルアノテーションを含む保険業務のオファーを含む新しい公開データセットFIJOを提案する。 名前付きエンティティ認識を用いたスキル検出アルゴリズムの結果を提示し、トランスフォーマーベースのモデルがこのデータセット上で優れたトークンワイズ性能を示すことを示す。
  論文  参考訳（メタデータ） (2022-04-11T15:54:22Z)
• Fine-Tuning Large Neural Language Models for Biomedical Natural Language Processing [55.52858954615655]
  バイオメディカルNLPの微調整安定性に関する系統的研究を行った。 我々は、特に低リソース領域において、微調整性能は事前トレーニング設定に敏感であることを示した。 これらの技術は低リソースバイオメディカルNLPアプリケーションの微調整性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:20:35Z)
• SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
  自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。 既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
  論文  参考訳（メタデータ） (2021-01-02T01:15:57Z)
• DAGA: Data Augmentation with a Generation Approach for Low-resource Tagging Tasks [88.62288327934499]
  線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。 本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
  論文  参考訳（メタデータ） (2020-11-03T07:49:15Z)
• Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
  バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。 実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
  論文  参考訳（メタデータ） (2020-07-31T00:04:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。