論文の概要: Leveraging pre-trained language models for conversational information
seeking from text
- arxiv url: http://arxiv.org/abs/2204.03542v1
- Date: Thu, 31 Mar 2022 09:00:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-10 10:36:53.302533
- Title: Leveraging pre-trained language models for conversational information
seeking from text
- Title（参考訳）: テキストからの対話情報のための事前学習言語モデルの活用
- Authors: Patrizio Bellan, Mauro Dragoni and Chiara Ghidini
- Abstract要約: 本稿では,プロセス記述文書から情報抽出の問題に対処するために,文脈内学習と事前学習言語表現モデルの使用について検討する。
その結果、このアプローチの可能性と、コンテキスト内学習のカスタマイズの有用性が浮き彫りになった。
- 参考スコア（独自算出の注目度）: 2.8425118603312
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recent advances in Natural Language Processing, and in particular on the
construction of very large pre-trained language representation models, is
opening up new perspectives on the construction of conversational information
seeking (CIS) systems. In this paper we investigate the usage of in-context
learning and pre-trained language representation models to address the problem
of information extraction from process description documents, in an incremental
question and answering oriented fashion. In particular we investigate the usage
of the native GPT-3 (Generative Pre-trained Transformer 3) model, together with
two in-context learning customizations that inject conceptual definitions and a
limited number of samples in a few shot-learning fashion. The results highlight
the potential of the approach and the usefulness of the in-context learning
customizations, which can substantially contribute to address the "training
data challenge" of deep learning based NLP techniques the BPM field. It also
highlight the challenge posed by control flow relations for which further
training needs to be devised.
- Abstract（参考訳）: 自然言語処理の最近の進歩、特に、非常に大規模な事前訓練された言語表現モデルの構築は、会話情報探索(CIS)システムの構築に新たな視点を開いている。
本稿では,テキスト内学習と事前学習言語表現モデルを用いて,プロセス記述文書からの情報抽出の問題に,段階的な質問と回答指向の手法で対処する。
特に,GPT-3(Generative Pre-trained Transformer 3)モデルと,概念定義を注入する2つのコンテキスト内学習カスタマイズと,少数のショットラーニング方式による限られたサンプル数について検討する。
この結果は、ディープラーニングベースのNLP技術であるBPM分野の"トレーニングデータチャレンジ"に対処するために、アプローチの可能性と、コンテキスト内学習のカスタマイズの有用性を強調します。
また、さらなるトレーニングを考案する必要がある制御フローの関係によって生じる課題についても強調する。
関連論文リスト
- Procedural Text Mining with Large Language Models [0.21756081703275998]
本研究では,非構造化PDFテキストからの手順を段階的に問合せ方式で抽出する問題に対処する。
我々は、現在最先端のGPT-4(Generative Pre-trained Transformer 4)モデルを活用し、文脈内学習の2つのバリエーションを伴っている。
この結果は、このアプローチの約束と、コンテキスト内学習のカスタマイズの価値の両方を強調している。
論文 参考訳（メタデータ） (2023-10-05T08:27:33Z) - SINC: Self-Supervised In-Context Learning for Vision-Language Tasks [64.44336003123102]
大規模言語モデルにおけるコンテキスト内学習を実現するためのフレームワークを提案する。
メタモデルは、カスタマイズされたデモからなる自己教師型プロンプトで学ぶことができる。
実験の結果、SINCは様々な視覚言語タスクにおいて勾配に基づく手法よりも優れていた。
論文 参考訳（メタデータ） (2023-07-15T08:33:08Z) - Pre-Training to Learn in Context [138.0745138788142]
言語モデルが文脈で学習するために明示的に訓練されていないため、コンテキスト内学習の能力は十分に活用されていない。
In-Context Learning のための PICL (Pre-training for In-Context Learning) を提案する。
実験の結果,PICLはベースラインよりも効率が高く,タスクの汎用性が高く,約4倍のパラメータを持つ言語モデルよりも優れていた。
論文 参考訳（メタデータ） (2023-05-16T03:38:06Z) - Leveraging Natural Supervision for Language Representation Learning and
Generation [8.083109555490475]
自然発生型監視を用いて,ニューラルネットワークのトレーニングと評価を改善するための3行の作業について述べる。
まず,NLPタスクに対する事前学習言語モデルの性能向上を支援するために,自己指導型学習損失について検討する。
文表現における意味論と構文のアンタングル化にパラフレーズペアを用いるフレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-21T17:26:03Z) - A Survey of Knowledge-Intensive NLP with Pre-Trained Language Models [185.08295787309544]
我々は、事前訓練された言語モデルに基づく知識強化モデル(PLMKEs)の現在の進歩を要約することを目的としている。
本論では,3つの要素に関する議論に基づくPLMKEの課題について述べるとともに,NLP実践者にさらなる研究の道筋を示そうとしている。
論文 参考訳（メタデータ） (2022-02-17T17:17:43Z) - A Survey of Knowledge Enhanced Pre-trained Models [28.160826399552462]
知識注入を伴う事前学習言語モデルを知識強化事前学習言語モデル(KEPLM)と呼ぶ。
これらのモデルは深い理解と論理的推論を示し、解釈可能性を導入する。
論文 参考訳（メタデータ） (2021-10-01T08:51:58Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳（メタデータ） (2020-10-24T11:55:28Z) - A Survey on Recent Approaches for Natural Language Processing in
Low-Resource Scenarios [30.391291221959545]
ディープニューラルネットワークと巨大な言語モデルが、自然言語アプリケーションにおいて一様化しつつある。
大量のトレーニングデータを必要とすることで知られているため、低リソース環境でのパフォーマンスを改善するための作業が増えている。
ニューラルモデルに対する最近の根本的な変化と、一般的なプレトレインおよびファインチューンパラダイムにより、低リソースの自然言語処理に対する有望なアプローチを調査した。
論文 参考訳（メタデータ） (2020-10-23T11:22:01Z) - Data Augmentation for Spoken Language Understanding via Pretrained
Language Models [113.56329266325902]
音声言語理解(SLU)モデルの訓練は、しばしばデータ不足の問題に直面している。
我々は,事前学習言語モデルを用いたデータ拡張手法を提案し,生成した発話の変動性と精度を向上した。
論文 参考訳（メタデータ） (2020-04-29T04:07:12Z) - Exploring the Limits of Transfer Learning with a Unified Text-to-Text
Transformer [64.22926988297685]
下流タスクで微調整される前に、まずデータリッチタスクでモデルが事前訓練されるトランスファーラーニングは、自然言語処理(NLP)において強力な手法として登場した。
本稿では,すべてのテキストベースの言語問題をテキスト・トゥ・テキスト・フォーマットに変換する統一フレームワークにより,NLPのためのトランスファー学習手法を導入する状況について検討する。
論文 参考訳（メタデータ） (2019-10-23T17:37:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。