論文の概要: Learning Instructions with Unlabeled Data for Zero-Shot Cross-Task Generalization

• arxiv url: http://arxiv.org/abs/2210.09175v1
• Date: Mon, 17 Oct 2022 15:25:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 18:43:22.432041
• Title: Learning Instructions with Unlabeled Data for Zero-Shot Cross-Task Generalization
• Title（参考訳）: ゼロショットクロスタスク一般化のためのラベルなしデータによる学習命令
• Authors: Yuxian Gu, Pei Ke, Xiaoyan Zhu, Minlie Huang
• Abstract要約: 本研究では,学習中の命令をよりよく活用するために,Unlabeled Data Augmented Instruction Tuning (UDIT)を提案する。 タスクやデータセットのさまざまなシナリオにおいて,UDITの有効性を示すための広範な実験を行う。
• 参考スコア（独自算出の注目度）: 68.91386402390403
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training language models to learn from human instructions for zero-shot cross-task generalization has attracted much attention in NLP communities. Recently, instruction tuning (IT), which fine-tunes a pre-trained language model on a massive collection of tasks described via human-craft instructions, has been shown effective in instruction learning for unseen tasks. However, IT relies on a large amount of human-annotated samples, which restricts its generalization. Unlike labeled data, unlabeled data are often massive and cheap to obtain. In this work, we study how IT can be improved with unlabeled data. We first empirically explore the IT performance trends versus the number of labeled data, instructions, and training tasks. We find it critical to enlarge the number of training instructions, and the instructions can be underutilized due to the scarcity of labeled data. Then, we propose Unlabeled Data Augmented Instruction Tuning (UDIT) to take better advantage of the instructions during IT by constructing pseudo-labeled data from unlabeled plain texts. We conduct extensive experiments to show UDIT's effectiveness in various scenarios of tasks and datasets. We also comprehensively analyze the key factors of UDIT to investigate how to better improve IT with unlabeled data. The code is publicly available at https://github.com/thu-coai/UDIT.
• Abstract（参考訳）: ゼロショットクロスタスク一般化のためのヒューマンインストラクションから学習する言語モデルを訓練することは、NLPコミュニティで注目を集めている。 近年,人間の手作業で記述された膨大なタスク群に対して,事前学習した言語モデルを微調整する命令チューニング(it)が,未熟なタスクの指導学習に有効であることが示されている。 しかし、ITは、その一般化を制限する大量の人手によるサンプルに依存している。 ラベル付きデータとは異なり、ラベル付きデータはしばしば巨大で安価である。 本研究では、ラベルのないデータでITをどのように改善できるかを検討する。 私たちはまず、ラベル付きデータ、命令、トレーニングタスクの数に対するITパフォーマンスのトレンドを経験的に調査します。 トレーニング命令数を拡大することが重要であり,ラベル付きデータの不足により,命令を過小に利用することが可能である。 次に,ラベルなし平文からの擬似ラベルデータを構築することにより,命令の利点を生かしたラベルなしデータ拡張命令チューニング(udit)を提案する。 タスクやデータセットのさまざまなシナリオにおいて,UDITの有効性を示すための広範な実験を行う。 また,udit の重要な要因を包括的に分析し,ラベルなしのデータを用いてその改善方法を検討する。 コードはhttps://github.com/thu-coai/uditで公開されている。

関連論文リスト

• Less is More: High-value Data Selection for Visual Instruction Tuning [127.38740043393527]
  本稿では,視覚的命令データの冗長性を排除し,トレーニングコストを削減するために,高価値なデータ選択手法TIVEを提案する。 約15%のデータしか使用していない我々のアプローチは、8つのベンチマークで全データ微調整モデルに匹敵する平均性能を実現することができる。
  論文  参考訳（メタデータ） (2024-03-14T16:47:25Z)
• A Regularization-based Transfer Learning Method for Information Extraction via Instructed Graph Decoder [29.242560023747252]
  グラフデコーダを用いたIE(TIE)の正規化に基づく転送学習手法を提案する。 具体的には、まず、よく知られたすべてのIEタスクからデータセットの命令プールを構築し、次に指示されたグラフデコーダを提示する。 このようにして、既存のデータセットと共有される共通知識を学び、新しいラベルを持つ新しいデータセットに転送することができる。
  論文  参考訳（メタデータ） (2024-03-01T13:04:12Z)
• Language Semantic Graph Guided Data-Efficient Learning [10.039953846594805]
  本稿では,自然言語記述として表されるラベルから構築した言語意味グラフ(LSG)を紹介する。 補助グラフニューラルネットワークは、ハイレベルな意味関係を抽出し、プライマリモデルのトレーニングをガイドするために使用される。 奥行き分析の結果,LSG法はトレーニングプロセスの高速化にも寄与することがわかった。
  論文  参考訳（メタデータ） (2023-11-15T08:54:57Z)
• Using Self-Supervised Pretext Tasks for Active Learning [7.214674613451605]
  本稿では,自己教師付きプレテキストタスクとユニークなデータサンプリング機能を利用して,困難かつ代表的なデータを選択する,新しいアクティブラーニング手法を提案する。 プレテキストタスク学習者は、未ラベルのセットでトレーニングされ、未ラベルのデータは、そのプレテキストタスクの損失によって、バッチにソートされ、グループ化される。 各イテレーションでは、メインタスクモデルを使用して、アノテートされるバッチで最も不確実なデータをサンプリングする。
  論文  参考訳（メタデータ） (2022-01-19T07:58:06Z)
• Training Dynamic based data filtering may not work for NLP datasets [0.0]
  NLPデータセットにおける誤り例を識別するために,AUM(Area Under the Margin)測定値の適用性を検討した。 我々は,NLPデータセットのAUM測定値を用いて誤ラベル付きサンプルをフィルタリングできることを発見したが,同時に,かなりの数の正確なラベル付きポイントを除去した。
  論文  参考訳（メタデータ） (2021-09-19T18:50:45Z)
• DAGA: Data Augmentation with a Generation Approach for Low-resource Tagging Tasks [88.62288327934499]
  線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。 本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
  論文  参考訳（メタデータ） (2020-11-03T07:49:15Z)
• Adaptive Self-training for Few-shot Neural Sequence Labeling [55.43109437200101]
  ニューラルシークエンスラベリングモデルにおけるラベル不足問題に対処する手法を開発した。 自己学習は、大量のラベルのないデータから学ぶための効果的なメカニズムとして機能する。 メタラーニングは、適応的なサンプル再重み付けにおいて、ノイズのある擬似ラベルからのエラー伝播を軽減するのに役立つ。
  論文  参考訳（メタデータ） (2020-10-07T22:29:05Z)
• Self-training Improves Pre-training for Natural Language Understanding [63.78927366363178]
  我々は、半教師付き学習を通じてラベルのないデータを活用する別の方法として、自己学習について研究する。 本稿では,ラベル付きデータからタスク固有のクエリの埋め込みを計算するデータ拡張手法であるSentAugmentを紹介する。 我々のアプローチは、標準的なテキスト分類ベンチマークで最大2.6%の改善を達成し、スケーラブルで効果的な自己学習に繋がる。
  論文  参考訳（メタデータ） (2020-10-05T17:52:25Z)
• DeCLUTR: Deep Contrastive Learning for Unsupervised Textual Representations [4.36561468436181]
  教師なしテキスト表現のためのDeCLUTR: Deep Contrastive Learningを提案する。 本手法は,ユニバーサル文エンコーダにおける教師なしと教師なしの事前学習のパフォーマンスギャップを埋めるものである。 私たちのコードと事前訓練されたモデルは公開されており、新しいドメインに簡単に適応したり、目に見えないテキストを埋め込むのに使えます。
  論文  参考訳（メタデータ） (2020-06-05T20:00:28Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。