論文の概要: Few Shot Rationale Generation using Self-Training with Dual Teachers

• arxiv url: http://arxiv.org/abs/2306.03315v1
• Date: Mon, 5 Jun 2023 23:57:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 17:51:38.894771
• Title: Few Shot Rationale Generation using Self-Training with Dual Teachers
• Title（参考訳）: 対人教師による自己学習によるショットレンタル生成
• Authors: Aditya Srikanth Veerubhotla, Lahari Poddar, Jun Yin, Gy\"orgy Szarvas, Sharanya Eswaran
• Abstract要約: 予測ラベルのフリーテキスト説明も生成するセルフリレーゼーションモデルは、信頼できるAIアプリケーションを構築する上で重要なツールである。 タスク予測と合理化のための2つの専門教師モデルを学ぶ。 新しい損失関数Masked Label Regularization (MLR) を定式化した。
• 参考スコア（独自算出の注目度）: 4.91890875296663
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-rationalizing models that also generate a free-text explanation for their predicted labels are an important tool to build trustworthy AI applications. Since generating explanations for annotated labels is a laborious and costly pro cess, recent models rely on large pretrained language models (PLMs) as their backbone and few-shot learning. In this work we explore a self-training approach leveraging both labeled and unlabeled data to further improve few-shot models, under the assumption that neither human written rationales nor annotated task labels are available at scale. We introduce a novel dual-teacher learning framework, which learns two specialized teacher models for task prediction and rationalization using self-training and distills their knowledge into a multi-tasking student model that can jointly generate the task label and rationale. Furthermore, we formulate a new loss function, Masked Label Regularization (MLR) which promotes explanations to be strongly conditioned on predicted labels. Evaluation on three public datasets demonstrate that the proposed methods are effective in modeling task labels and generating faithful rationales.
• Abstract（参考訳）: 予測ラベルのフリーテキスト説明も生成するセルフリレーゼーションモデルは、信頼できるAIアプリケーションを構築する上で重要なツールである。 注釈付きラベルの説明の作成は面倒で費用がかかるため、最近のモデルはバックボーンとして大きな事前学習された言語モデル(plm)に依存している。 本研究では,ラベル付きデータとラベル付きデータの両方を活用した自己学習アプローチを探求し,人間の記述された合理性もアノテーション付きタスクラベルも大規模に利用できないという前提の下で,マイナショットモデルをさらに改善する手法を提案する。 本稿では,タスク予測と合理化のための2つの専門的な教師モデルについて,自己学習を用いて学習し,タスクラベルと合理性を共同生成可能なマルチタスク学生モデルに抽出する。 さらに,新たな損失関数であるマスキングラベル正則化(mlr)を定式化し,予測ラベルに対して強く条件付けされる説明を促進する。 3つの公開データセットの評価は,提案手法がタスクラベルをモデル化し,忠実な合理性を生成するのに有効であることを示す。

関連論文リスト

• Pre-Trained Vision-Language Models as Partial Annotators [40.89255396643592]
  事前学習された視覚言語モデルは、画像と自然言語の統一表現をモデル化するために大量のデータを学習する。 本稿では,事前学習型モデルアプリケーションのための「事前学習型-弱教師付き学習」パラダイムについて検討し,画像分類タスクの実験を行う。
  論文  参考訳（メタデータ） (2024-05-23T17:17:27Z)
• Automated Labeling of German Chest X-Ray Radiology Reports using Deep Learning [50.591267188664666]
  本稿では,ルールベースのドイツ語CheXpertモデルによってラベル付けされたレポートに基づいて,ディープラーニングに基づくCheXpertラベル予測モデルを提案する。 その結果,3つのタスクすべてにおいて,ルールベースモデルを大幅に上回ったアプローチの有効性が示された。
  論文  参考訳（メタデータ） (2023-06-09T16:08:35Z)
• Data-Centric Learning from Unlabeled Graphs with Diffusion Model [21.417410006246147]
  本稿では,ラベルのないグラフの集合を有用なデータポイントの特定の集合として抽出する。 拡散モデルを用いて、ラベルのないグラフを完全に活用し、2つの新しい目的を設計し、モデルの認知過程を導出する。 実験により、我々のデータ中心のアプローチは15のタスクで既存の15のメソッドよりもはるかに優れていることが示された。
  論文  参考訳（メタデータ） (2023-03-17T16:39:21Z)
• Distilling Knowledge from Self-Supervised Teacher by Embedding Graph Alignment [52.704331909850026]
  我々は、自己指導型事前学習モデルから他の学生ネットワークへ知識を伝達するための新しい知識蒸留フレームワークを定式化した。 自己教師型学習におけるインスタンス識別の精神に触発され,特徴埋め込み空間におけるグラフ定式化によるインスタンスとインスタンスの関係をモデル化する。 蒸留方式は, 学生ネットワーク上での表現学習を促進するために, 自己指導型知識の伝達に柔軟に適用できる。
  論文  参考訳（メタデータ） (2022-11-23T19:27:48Z)
• Label Matching Semi-Supervised Object Detection [85.99282969977541]
  半教師対象検出は,教師主導型自己学習の開発において大きな進歩を遂げている。 ラベルミスマッチ問題は、以前の研究でまだ完全に解明されていないため、自己学習中に重大な確証バイアスが生じる。 本稿では,2つの異なる相補的視点から,単純かつ効果的な LabelMatch フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-14T05:59:41Z)
• Revisiting Self-Training for Few-Shot Learning of Language Model [61.173976954360334]
  ラベル付きデータにはタスク関連情報が豊富に含まれており、言語モデルの素早い学習に有用であることが証明されている。 本研究では,言語モデルファインチューニングのための自己学習手法を再検討し,最先端のプロンプトベースの少ショット学習者,SFLMを提案する。
  論文  参考訳（メタデータ） (2021-10-04T08:51:36Z)
• Self-training with Few-shot Rationalization: Teacher Explanations Aid Student in Few-shot NLU [88.8401599172922]
  タスク固有のラベルと合理的性に制限された自己学習言語モデルに基づくフレームワークを開発する。 ニューラルネットワークの性能は,その合理的な予測を意識することで,大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2021-09-17T00:36:46Z)
• Noisy Self-Knowledge Distillation for Text Summarization [83.49809205891496]
  我々は, テキスト要約に自己知識蒸留を適用し, 最大習熟時の問題を緩和できると考えている。 学生要約モデルは,学習の正規化を支援するスムーズなラベルを生成する教師の指導によって訓練される。 筆者らは,3つのベンチマークを用いて,事前学習と非事前学習の両方のパフォーマンス向上を実証した。
  論文  参考訳（メタデータ） (2020-09-15T12:53:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。