論文の概要: On Measuring Social Biases in Prompt-Based Multi-Task Learning

• arxiv url: http://arxiv.org/abs/2205.11605v1
• Date: Mon, 23 May 2022 20:01:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-25 15:15:33.643016
• Title: On Measuring Social Biases in Prompt-Based Multi-Task Learning
• Title（参考訳）: プロンプト型マルチタスク学習における社会的バイアスの測定について
• Authors: Afra Feyza Aky\"urek, Sejin Paik, Muhammed Yusuf Kocyigit, Seda Akbiyik, \c{S}erife Leman Runyun, Derry Wijaya
• Abstract要約: 我々は,プロンプトベース学習を用いて学習した大規模マルチタスクテキスト-テキスト言語モデルであるT0について検討した。 意味論的に等価な入力の2つの形態について考察する。
• 参考スコア（独自算出の注目度）: 1.3270286124913757
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models trained on a mixture of NLP tasks that are converted into a text-to-text format using prompts, can generalize into novel forms of language and handle novel tasks. A large body of work within prompt engineering attempts to understand the effects of input forms and prompts in achieving superior performance. We consider an alternative measure and inquire whether the way in which an input is encoded affects social biases promoted in outputs. In this paper, we study T0, a large-scale multi-task text-to-text language model trained using prompt-based learning. We consider two different forms of semantically equivalent inputs: question-answer format and premise-hypothesis format. We use an existing bias benchmark for the former BBQ and create the first bias benchmark in natural language inference BBNLI with hand-written hypotheses while also converting each benchmark into the other form. The results on two benchmarks suggest that given two different formulations of essentially the same input, T0 conspicuously acts more biased in question answering form, which is seen during training, compared to premise-hypothesis form which is unlike its training examples. Code and data are released under https://github.com/feyzaakyurek/bbnli.
• Abstract（参考訳）: nlpタスクの混合でトレーニングされた大きな言語モデルは、プロンプトを使用してテキストからテキストへのフォーマットに変換され、新しい形式の言語に一般化され、新しいタスクを処理することができる。 プロンプトエンジニアリング内の大きな作業は、入力フォームとプロンプトが優れたパフォーマンスを達成するための効果を理解しようとする。 代替尺度を検討し, 入力の符号化方法がアウトプットで促進される社会的バイアスに影響を及ぼすかどうかを問う。 本稿では,プロンプトベース学習を用いた大規模マルチタスクテキスト・テキスト言語モデルであるT0について検討する。 意味論的に等価な入力の2つの異なる形式を考える。 我々は,従来のBBQのバイアスベンチマークを用いて,手書き仮説を用いた自然言語推論BBNLIの最初のバイアスベンチマークを作成し,各ベンチマークを他の形式に変換する。 2つのベンチマークの結果は、本質的に同じ入力の2つの異なる定式化が与えられた場合、T0は、トレーニング中に見られる質問応答形式において、トレーニングの例と異なる前提-仮説形式よりも、より顕著にバイアスに振舞うことを示唆している。 コードとデータはhttps://github.com/feyzaakyurek/bbnliでリリースされる。

関連論文リスト

• Adapting Vision-Language Models to Open Classes via Test-Time Prompt Tuning [50.26965628047682]
  学習済みのモデルをオープンクラスに適応させることは、機械学習において難しい問題である。 本稿では,両者の利点を組み合わせたテスト時プロンプトチューニング手法を提案する。 提案手法は,基本クラスと新クラスの両方を考慮し,すべての比較手法を平均的に上回る結果を得た。
  論文  参考訳（メタデータ） (2024-08-29T12:34:01Z)
• Deep Natural Language Feature Learning for Interpretable Prediction [1.6114012813668932]
  本稿では,メインの複雑なタスクを仲介しやすいサブタスクの集合に分解する手法を提案する。 本手法では,これらの質問に対する回答からなるベクトルで各例を表現できる。 我々は,学生のオープンエンド数学試験に対する回答の不整合性の検出と,気候変動と農業学に関する科学的論文の体系的な文献レビューのための要約のスクリーニングという,2つのまったく異なるタスクにこの手法を適用した。
  論文  参考訳（メタデータ） (2023-11-09T21:43:27Z)
• MetricPrompt: Prompting Model as a Relevance Metric for Few-shot Text Classification [65.51149771074944]
  MetricPromptは、数発のテキスト分類タスクをテキストペア関連性推定タスクに書き換えることで、言語設計の難易度を緩和する。 広範に使われている3つのテキスト分類データセットを4つのショット・セッティングで実験する。 結果から,MetricPromptは,手動弁証法や自動弁証法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2023-06-15T06:51:35Z)
• Surfacing Biases in Large Language Models using Contrastive Input Decoding [12.694066526722203]
  コントラスト入力復号法(コントラスト入力復号法、Contrastive Input Decoding, CID)は、2つの入力を与えられたテキストを生成する復号アルゴリズムである。 CIDを使って、標準的なデコード戦略では検出が難しいコンテキスト固有のバイアスを強調します。
  論文  参考訳（メタデータ） (2023-05-12T11:09:49Z)
• Bridge the Gap between Language models and Tabular Understanding [99.88470271644894]
  自然言語領域における事前学習の成功以降,テーブル事前学習のパラダイムが提案され,急速に採用されている。 有望な発見にもかかわらず、事前トレーニングと微調整フェーズの間には入力ギャップがある。 UTPは,テーブルテキスト,テーブル,テキストの3種類のマルチモーダル入力を動的にサポートする手法である。
  論文  参考訳（メタデータ） (2023-02-16T15:16:55Z)
• READIN: A Chinese Multi-Task Benchmark with Realistic and Diverse Input Noises [87.70001456418504]
  我々は、Realistic and Diverse Input Noisesを用いた中国のマルチタスクベンチマークREADINを構築した。 READINには4つの多様なタスクとアノテータが含まれており、Pinyin入力と音声入力という2つの一般的な中国語入力方式で元のテストデータを再入力するよう要求する。 我々は、強化された事前訓練された言語モデルと、堅牢なトレーニング手法を用いて実験を行い、これらのモデルがREADINに顕著な性能低下を被ることがしばしば見いだされた。
  論文  参考訳（メタデータ） (2023-02-14T20:14:39Z)
• MURMUR: Modular Multi-Step Reasoning for Semi-Structured Data-to-Text Generation [102.20036684996248]
  多段階推論を用いた半構造化データからテキストを生成するための,ニューロシンボリックなモジュラーアプローチであるMURMURを提案する。 WebNLG や LogicNLG のような2つのデータ・テキスト生成タスクについて実験を行った。
  論文  参考訳（メタデータ） (2022-12-16T17:36:23Z)
• Paragraph-based Transformer Pre-training for Multi-Sentence Inference [99.59693674455582]
  マルチ候補推論タスクの微調整に使用する場合,一般的な事前学習型トランスフォーマーは性能が良くないことを示す。 次に、複数の入力文にまたがる段落レベルの意味をモデル化する新しい事前学習目標を提案する。
  論文  参考訳（メタデータ） (2022-05-02T21:41:14Z)
• Learning To Retrieve Prompts for In-Context Learning [33.176481861880724]
  本稿では,注釈付きデータとLMを用いたテキスト内学習のためのプロンプトを効率よく検索する手法を提案する。 言語発話を意味表現にマッピングする3つのシーケンス・ツー・シーケンスタスクに対するアプローチを評価する。
  論文  参考訳（メタデータ） (2021-12-16T05:17:56Z)
• FAT ALBERT: Finding Answers in Large Texts using Semantic Similarity Attention Layer based on BERT [0.5772546394254112]
  本研究では,最先端の変圧器ネットワークであるBERTをベースとしたモデルを構築した。 私たちは、テスト精度87.79%のリーダーボードで第1位にランクされています。
  論文  参考訳（メタデータ） (2020-08-22T08:04:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。