論文の概要: Few-Shot Out-of-Domain Transfer Learning of Natural Language Explanations

• arxiv url: http://arxiv.org/abs/2112.06204v1
• Date: Sun, 12 Dec 2021 11:10:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-14 16:22:10.268057
• Title: Few-Shot Out-of-Domain Transfer Learning of Natural Language Explanations
• Title（参考訳）: 自然言語説明のドメイン間移動学習
• Authors: Yordan Yordanov, Vid Kocijan, Thomas Lukasiewicz, Oana-Maria Camburu
• Abstract要約: 自然言語の説明を提供するためのモデル(NLE)の訓練には、タスク固有のNLEの取得が必要である。 潜在的な解決策は、多数のNLEを持つドメインから少ないNLEを持つドメインへのNLEのドメイン外移動である。 NLEは少ないがラベルが豊富である場合,NLEを数秒間移行学習するための3つのバニラアプローチを導入する。
• 参考スコア（独自算出の注目度）: 37.34026971090258
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, there has been an increasing interest in models that generate natural language explanations (NLEs) for their decisions. However, training a model to provide NLEs requires the acquisition of task-specific NLEs, which is time- and resource-consuming. A potential solution is the out-of-domain transfer of NLEs from a domain with a large number of NLEs to a domain with scarce NLEs but potentially a large number of labels, via few-shot transfer learning. In this work, we introduce three vanilla approaches for few-shot transfer learning of NLEs for the case of few NLEs but abundant labels, along with an adaptation of an existing vanilla fine-tuning approach. We transfer explainability from the natural language inference domain, where a large dataset of human-written NLEs exists (e-SNLI), to the domains of (1) hard cases of pronoun resolution, where we introduce a small dataset of NLEs on top of the WinoGrande dataset (small-e-WinoGrande), and (2) commonsense validation (ComVE). Our results demonstrate that the transfer of NLEs outperforms the single-task methods, and establish the best strategies out of the four identified training regimes. We also investigate the scalability of the best methods, both in terms of training data and model size.
• Abstract（参考訳）: 近年,自然言語の説明(NLE)を生成するモデルへの関心が高まっている。 しかし、NLEを提供するためにモデルをトレーニングするには、時間とリソースを要するタスク固有のNLEを取得する必要がある。 潜在的な解決策は、多数のNLEを持つドメインから少数のNLEを持つドメインへのNLEのドメイン外転送であり、少数ショットの転送学習を通じて、潜在的に多数のラベルを持つドメインへのNLEの転送である。 本研究は,NLEが少数だが多量のラベルを持つ場合のNLEを数秒間移行学習するための3つのバニラアプローチと,既存のバニラファインチューニングアプローチの適応について紹介する。 我々は,人書きNLEの大規模なデータセット(e-SNLI)が存在する自然言語推論領域から,(1)代名詞解決の難しい場合のドメインへ,2)WinoGrandeデータセット(小-e-WinoGrande)上にNLEの小さなデータセットを導入し,(2)コモンセンス検証(ComVE)を行う。 以上の結果から,NLEの移行はシングルタスク方式よりも優れており,特定4つのトレーニング体制の中で最高の戦略を確立することができる。 また,トレーニングデータとモデルサイズの両方の観点から,最良の手法のスケーラビリティについても検討した。

関連論文リスト

• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• LLMaAA: Making Large Language Models as Active Annotators [32.57011151031332]
  本稿では,大規模な言語モデルをアノテータとして利用し,それをアクティブな学習ループに配置して,アノテートを効率的に行うLLMaAAを提案する。 我々は、エンティティ認識と関係抽出という、2つの古典的NLPタスクの実験と分析を行う。 LLMaAAでは、LLM生成ラベルからトレーニングされたタスク固有のモデルが、数百の注釈付きサンプルで教師より優れている。
  論文  参考訳（メタデータ） (2023-10-30T14:54:15Z)
• SeqGPT: An Out-of-the-box Large Language Model for Open Domain Sequence Understanding [103.34092301324425]
  大規模言語モデル(LLM)は、オープンドメインのNLPタスクに顕著な能力を示している。 本稿では、オープンドメインの自然言語理解に特化して強化された、バイリンガル(英語と中国語)のオープンソース自己回帰モデルSeqGPTを提案する。
  論文  参考訳（メタデータ） (2023-08-21T07:31:19Z)
• Uni-NLX: Unifying Textual Explanations for Vision and Vision-Language Tasks [23.74374150111141]
  自然言語説明(NLE)は、人間に優しい自然文によるモデルの予測を補うことを目的としている。 我々は,すべてのNLEタスクを単一かつコンパクトなマルチタスクモデルに統合する統一フレームワークUni-NLXを提案する。 1Mの複合NLEサンプルをトレーニングすることにより、単一の統一フレームワークが同時に7つのNLEタスクを実行することができる。
  論文  参考訳（メタデータ） (2023-08-17T15:15:55Z)
• Improving Domain-Specific Retrieval by NLI Fine-Tuning [64.79760042717822]
  本稿では、自然言語推論(NLI)データの微調整の可能性を調べ、情報検索とランキングを改善する。 コントラスト損失とNLIデータを利用した教師あり手法により細調整された単言語文エンコーダと多言語文エンコーダを併用する。 この結果から,NLIの微調整によりタスクおよび言語間のモデルの性能が向上し,単言語モデルと多言語モデルが改良される可能性が示唆された。
  論文  参考訳（メタデータ） (2023-08-06T12:40:58Z)
• DocNLI: A Large-scale Dataset for Document-level Natural Language Inference [55.868482696821815]
  自然言語推論(NLI)は、様々なNLP問題を解決するための統一的なフレームワークとして定式化されている。 ドキュメントレベルのNLI用に新たに構築された大規模データセットであるDocNLIを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T13:02:26Z)
• e-ViL: A Dataset and Benchmark for Natural Language Explanations in Vision-Language Tasks [52.918087305406296]
  説明可能な視覚言語タスクを評価するベンチマークe-ViLを紹介します。 また、NLEで最大のデータセットであるe-SNLI-VEについても紹介する。 画像とテキストの共同埋め込みを学習するUNITERと、予め訓練された言語モデルであるGPT-2を組み合わせた新しいモデルを提案する。
  論文  参考訳（メタデータ） (2021-05-08T18:46:33Z)
• Dual Inference for Improving Language Understanding and Generation [35.251935231914366]
  自然言語理解(NLU)と自然言語生成(NLG)のタスクは、強い二重関係を持つ。 NLUは自然言語の発話に基づいて意味ラベルを予測することを目的としており、NLGはその逆を行う。 本稿では,再学習を必要とせず,推論段階における双対性を活用することを提案する。
  論文  参考訳（メタデータ） (2020-10-08T20:14:41Z)
• A Generative Model for Joint Natural Language Understanding and Generation [9.810053382574017]
  本研究では,NLUとNLGを結合した生成モデルを提案する。 本モデルでは,2つの対話データセットに対して,フラットおよびツリー構造の両方の形式表現を用いて,最先端のパフォーマンスを実現する。 また,モデルの性能向上のために,ラベルのないデータを活用することで,半教師付きでモデルを訓練できることも示す。
  論文  参考訳（メタデータ） (2020-06-12T22:38:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。