論文の概要: Self-training with Few-shot Rationalization: Teacher Explanations Aid Student in Few-shot NLU

• arxiv url: http://arxiv.org/abs/2109.08259v1
• Date: Fri, 17 Sep 2021 00:36:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-21 06:03:12.833961
• Title: Self-training with Few-shot Rationalization: Teacher Explanations Aid Student in Few-shot NLU
• Title（参考訳）: 散発的合理化による自己学習 : 複発NLUにおける教師説明
• Authors: Meghana Moorthy Bhat, Alessandro Sordoni, Subhabrata Mukherjee
• Abstract要約: タスク固有のラベルと合理的性に制限された自己学習言語モデルに基づくフレームワークを開発する。 ニューラルネットワークの性能は,その合理的な予測を意識することで,大幅に向上できることを示す。
• 参考スコア（独自算出の注目度）: 88.8401599172922
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While pre-trained language models have obtained state-of-the-art performance for several natural language understanding tasks, they are quite opaque in terms of their decision-making process. While some recent works focus on rationalizing neural predictions by highlighting salient concepts in the text as justifications or rationales, they rely on thousands of labeled training examples for both task labels as well as an-notated rationales for every instance. Such extensive large-scale annotations are infeasible to obtain for many tasks. To this end, we develop a multi-task teacher-student framework based on self-training language models with limited task-specific labels and rationales, and judicious sample selection to learn from informative pseudo-labeled examples1. We study several characteristics of what constitutes a good rationale and demonstrate that the neural model performance can be significantly improved by making it aware of its rationalized predictions, particularly in low-resource settings. Extensive experiments in several bench-mark datasets demonstrate the effectiveness of our approach.
• Abstract（参考訳）: 事前学習された言語モデルは、いくつかの自然言語理解タスクで最先端のパフォーマンスを得たが、意思決定プロセスでは極めて不透明である。 最近の研究は、正当化や合理化としてテキストの健全な概念を強調することによって、神経予測を合理化することに重点を置いているが、それらはタスクラベルと各インスタンスの注釈付き合理化だけでなく、何千ものラベル付きトレーニング例に依存している。 このような大規模なアノテーションは、多くのタスクに対して取得できない。 そこで本研究では,タスク固有のラベルや合理性に制限のある自己学習型言語モデルと,有意義なサンプル選択に基づくマルチタスク教師学習フレームワークを開発した。 特に低リソース環境において, 有理化予測を意識させることにより, ニューラルモデルの性能を著しく向上させることができることを示す。 ベンチマークデータセットにおける広範囲な実験により,本手法の有効性が示された。

関連論文リスト

• Few Shot Rationale Generation using Self-Training with Dual Teachers [4.91890875296663]
  予測ラベルのフリーテキスト説明も生成するセルフリレーゼーションモデルは、信頼できるAIアプリケーションを構築する上で重要なツールである。 タスク予測と合理化のための2つの専門教師モデルを学ぶ。 新しい損失関数Masked Label Regularization (MLR) を定式化した。
  論文  参考訳（メタデータ） (2023-06-05T23:57:52Z)
• Active Learning Principles for In-Context Learning with Large Language Models [65.09970281795769]
  本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。 ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
  論文  参考訳（メタデータ） (2023-05-23T17:16:04Z)
• Skill-Based Few-Shot Selection for In-Context Learning [123.26522773708683]
  Skill-KNNは、文脈内学習のためのスキルベースの少ショット選択手法である。 モデルはトレーニングや微調整を必要とせず、頻繁に銀行を拡大したり変更したりするのに適している。 5つのドメイン間セマンティックパーシングデータセットと6つのバックボーンモデルによる実験結果から、Skill-KNNは既存の手法よりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-23T16:28:29Z)
• An Additive Instance-Wise Approach to Multi-class Model Interpretation [53.87578024052922]
  解釈可能な機械学習は、ブラックボックスシステムの特定の予測を駆動する要因に関する洞察を提供する。 既存の手法は主に、局所的な加法的あるいはインスタンス的なアプローチに従う説明的入力特徴の選択に重点を置いている。 本研究は,両手法の長所を生かし,複数の対象クラスに対する局所的な説明を同時に学習するためのグローバルフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-07T06:50:27Z)
• Analyzing the Limits of Self-Supervision in Handling Bias in Language [52.26068057260399]
  我々は、言語モデルが、認識、識別、抽出、言い換えの4つのタスクのセマンティクスをいかにうまく捉えているかを評価する。 分析の結果,言語モデルでは,ジェンダーや政治的アフィリエイトなど,様々なバイアス次元にまたがって,これらのタスクを広範囲にわたって実行することが可能であることが示唆された。
  論文  参考訳（メタデータ） (2021-12-16T05:36:08Z)
• Reordering Examples Helps during Priming-based Few-Shot Learning [6.579039107070663]
  PERO は 10 個の例から効率よく一般化できることを示す。 提案手法が感情分類,自然言語推論,事実検索のタスクに与える影響を実証する。
  論文  参考訳（メタデータ） (2021-06-03T11:02:36Z)
• Representation Learning from Limited Educational Data with Crowdsourced Labels [45.44620098891902]
  本稿では,クラウドソースラベルを用いた限られたデータから効率的な表現を学習することを目的とした,新しいフレームワークを提案する。 具体的には、グループ化に基づくディープニューラルネットワークを設計し、限られた数のトレーニングサンプルから埋め込みを学習する。 本研究では,モデルが誤分類したトレーニング例を適応的に選択するハードサンプル選択手法を開発した。
  論文  参考訳（メタデータ） (2020-09-23T15:34:40Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。