論文の概要: Universal Natural Language Processing with Limited Annotations: Try Few-shot Textual Entailment as a Start

• arxiv url: http://arxiv.org/abs/2010.02584v1
• Date: Tue, 6 Oct 2020 09:50:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 06:46:52.173099
• Title: Universal Natural Language Processing with Limited Annotations: Try Few-shot Textual Entailment as a Start
• Title（参考訳）: 制限付きアノテーションを用いたユニバーサル自然言語処理:開始点としてのテキストエンタテインメントの試行
• Authors: Wenpeng Yin, Nazneen Fatema Rajani, Dragomir Radev, Richard Socher, Caiming Xiong
• Abstract要約: Universal Few-shot Textual Entailment (UFO-Entail) universal Few-shot Textual Entailment (UFO-Entail)を紹介する。 我々は、このフレームワークにより、事前訓練されたエンターテイメントモデルが、数ショット設定で新しいエンターテイメントドメインでうまく機能できることを実証する。
• 参考スコア（独自算出の注目度）: 125.23550801424328
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A standard way to address different NLP problems is by first constructing a problem-specific dataset, then building a model to fit this dataset. To build the ultimate artificial intelligence, we desire a single machine that can handle diverse new problems, for which task-specific annotations are limited. We bring up textual entailment as a unified solver for such NLP problems. However, current research of textual entailment has not spilled much ink on the following questions: (i) How well does a pretrained textual entailment system generalize across domains with only a handful of domain-specific examples? and (ii) When is it worth transforming an NLP task into textual entailment? We argue that the transforming is unnecessary if we can obtain rich annotations for this task. Textual entailment really matters particularly when the target NLP task has insufficient annotations. Universal NLP can be probably achieved through different routines. In this work, we introduce Universal Few-shot textual Entailment (UFO-Entail). We demonstrate that this framework enables a pretrained entailment model to work well on new entailment domains in a few-shot setting, and show its effectiveness as a unified solver for several downstream NLP tasks such as question answering and coreference resolution when the end-task annotations are limited. Code: https://github.com/salesforce/UniversalFewShotNLP
• Abstract（参考訳）: 異なるNLP問題に対処する標準的な方法は、まず問題固有のデータセットを構築し、次にこのデータセットに適合するモデルを構築することである。 究極の人工知能を構築するためには、タスク固有のアノテーションが制限されるさまざまな新しい問題に対処できる単一のマシンを欲しがる。 我々は、このようなNLP問題に対する統一的な解決法として、テキストエンテーメントを導入する。 しかし、現在の研究では、以下の質問に対してあまりインクが流れていない。 (i)事前訓練されたテキストエンターメントシステムは、ドメイン固有の少数の例だけでドメインをまたいでどのように一般化するか。 そして (ii)NLPタスクをテキストエンターメントに変換する価値はいつあるのか? このタスクのためにリッチなアノテーションが得られれば、変換は不要であると主張する。 特に、ターゲットのNLPタスクがアノテーションが不十分である場合、テキストの細部は特に重要です。 ユニバーサルNLPは、おそらく異なるルーチンによって達成できる。 本稿では,Universal Few-shot Textual Entailment (UFO-Entail)を紹介する。 このフレームワークにより,事前学習済みの補足モデルが,新たな補足ドメインを数ショット設定でうまく動作することを実証し,エンドタスクアノテーションが制限された場合の質問応答やコリファレンス解決など,いくつかの下流nlpタスクの統一解法としての有効性を示す。 コード: https://github.com/salesforce/universalfewshotnlp

関連論文リスト

• Scalable and Domain-General Abstractive Proposition Segmentation [20.532804009152255]
  我々は、抽象命題セグメンテーション(APS)の課題に焦点を合わせ、テキストを単純で自己完結した、よく表現された文に変換する。 まず、タスクの評価基準を導入し、いくつかの品質の次元を計測する。 次に、スケーラブルで正確な命題セグメンテーションモデルを提案する。
  論文  参考訳（メタデータ） (2024-06-28T10:24:31Z)
• SeqGPT: An Out-of-the-box Large Language Model for Open Domain Sequence Understanding [103.34092301324425]
  大規模言語モデル(LLM)は、オープンドメインのNLPタスクに顕著な能力を示している。 本稿では、オープンドメインの自然言語理解に特化して強化された、バイリンガル(英語と中国語)のオープンソース自己回帰モデルSeqGPTを提案する。
  論文  参考訳（メタデータ） (2023-08-21T07:31:19Z)
• EXnet: Efficient In-context Learning for Data-less Text classification [0.0]
  本報告では,実例数に制限を加えることなく,文脈内学習を実現するためのモデルであるEXnetを提案する。 テキスト内学習はタスクの精度を高めるための効果的な手法であり,実例を提供することでタスク間の一般化が促進される,と我々は主張する。 大規模な実験により、我々の最小のモデル(15Mパラメータ)でさえ、いくつかの目に見えない分類タスクや領域に一般化できることが示される。
  論文  参考訳（メタデータ） (2023-05-24T01:40:57Z)
• Binding Language Models in Symbolic Languages [146.3027328556881]
  Binderはトレーニング不要のニューラルシンボリックフレームワークで、タスク入力をプログラムにマッピングする。 解析の段階では、Codexは元のプログラミング言語では答えられないタスク入力の一部を特定することができる。 実行段階では、CodexはAPI呼び出しで適切なプロンプトを与えられた万能機能を実行することができる。
  論文  参考訳（メタデータ） (2022-10-06T12:55:17Z)
• Evaluating NLP Systems On a Novel Cloze Task: Judging the Plausibility of Possible Fillers in Instructional Texts [2.3449131636069898]
  Cloze Taskは、NLPシステムの言語理解能力を評価するために広く使われているタスクである。 新しいタスクが提案されている: クローズタスクのフィラーワードが良い、中立的、悪い候補であるかどうかを予測する。
  論文  参考訳（メタデータ） (2021-12-03T12:02:52Z)
• DocNLI: A Large-scale Dataset for Document-level Natural Language Inference [55.868482696821815]
  自然言語推論(NLI)は、様々なNLP問題を解決するための統一的なフレームワークとして定式化されている。 ドキュメントレベルのNLI用に新たに構築された大規模データセットであるDocNLIを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T13:02:26Z)
• Language Models are Few-Shot Learners [61.36677350504291]
  言語モデルのスケールアップにより、タスクに依存しない、少数ショットのパフォーマンスが大幅に向上することを示す。 我々は、1750億のパラメータを持つ自動回帰言語モデルであるGPT-3を訓練し、その性能を数ショットでテストする。 GPT-3は、翻訳、質問応答、クローズタスクを含む多くのNLPデータセットで高いパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-05-28T17:29:03Z)
• Enabling Language Models to Fill in the Blanks [81.59381915581892]
  文書中の任意の位置にあるテキストの欠落を予測するタスクである,テキストを埋め込むためのシンプルなアプローチを提案する。 我々は、人工的にマスキングされたテキストと隠蔽されたテキストの連結を含むシーケンスに基づいて、オフザシェルフ言語モデル(またはファインチューン)を訓練する。 言語モデリングにより,この手法により,3つの分野(短編,科学的な要約,歌詞)において,LMが文全体を効果的に埋め込むことができることを示す。
  論文  参考訳（メタデータ） (2020-05-11T18:00:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。