論文の概要: Towards Robust NLG Bias Evaluation with Syntactically-diverse Prompts

• arxiv url: http://arxiv.org/abs/2212.01700v1
• Date: Sat, 3 Dec 2022 22:11:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-06 16:29:18.859002
• Title: Towards Robust NLG Bias Evaluation with Syntactically-diverse Prompts
• Title（参考訳）: 構文的多変量プロンプトを用いたロバストNLGバイアス評価に向けて
• Authors: Arshiya Aggarwal, Jiao Sun, Nanyun Peng
• Abstract要約: 自然言語生成システム(NLG)におけるバイアス評価のための頑健な方法論を提案する。 以前の研究では、様々な人口集団に言及した固定された手作りのプレフィックステンプレートを使用して、バイアス分析のための継続を生成するようモデルに促していた。 この問題を解析するために,異なる構文構造でプロンプトを言い換え,これらを用いてNLGシステムにおける人口統計バイアスを評価する。
• 参考スコア（独自算出の注目度）: 38.69716232707304
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We present a robust methodology for evaluating biases in natural language generation(NLG) systems. Previous works use fixed hand-crafted prefix templates with mentions of various demographic groups to prompt models to generate continuations for bias analysis. These fixed prefix templates could themselves be specific in terms of styles or linguistic structures, which may lead to unreliable fairness conclusions that are not representative of the general trends from tone varying prompts. To study this problem, we paraphrase the prompts with different syntactic structures and use these to evaluate demographic bias in NLG systems. Our results suggest similar overall bias trends but some syntactic structures lead to contradictory conclusions compared to past works. We show that our methodology is more robust and that some syntactic structures prompt more toxic content while others could prompt less biased generation. This suggests the importance of not relying on a fixed syntactic structure and using tone-invariant prompts. Introducing syntactically-diverse prompts can achieve more robust NLG (bias) evaluation.
• Abstract（参考訳）: 自然言語生成(NLG)システムにおけるバイアス評価のための頑健な方法論を提案する。 以前の作品では、バイアス分析のために継続を生成するモデルを促すために、様々な人口統計グループに言及する固定された手作りのプレフィックステンプレートを使用している。 これらの固定された接頭辞テンプレートは、スタイルや言語構造の観点から独自のものになり得るため、様々なプロンプトからの一般的な傾向を表わさない信頼できない公平な結論につながる可能性がある。 この問題を解析するために,異なる構文構造でプロンプトを言い換え,これらを用いてNLGシステムにおける人口統計バイアスを評価する。 以上の結果から,全体のバイアス傾向は類似しているが,いくつかの構文構造は過去の研究と矛盾する結論を導いた。 我々の方法論はより堅牢であり、いくつかの構文構造はより有毒なコンテンツをもたらし、他の構造はより偏りの少ない生成をもたらす可能性がある。 これは、固定された構文構造に依存しず、トーン不変プロンプトを使用することの重要性を示唆する。 構文的に異なるプロンプトを導入することで、より堅牢な NLG (bias) 評価が可能になる。

関連論文リスト

• SHINE: Saliency-aware HIerarchical NEgative Ranking for Compositional Temporal Grounding [52.98133831401225]
  時間的グラウンドディング(英: Temporal grounding、ビデオモーメント検索(英語版))は、所定のクエリ文に対応するビデオセグメントを特定することを目的としている。 本稿では, GPT-3.5-Turbo を用いた負のクエリ構築のための大規模言語モデル駆動手法を提案する。 本稿では,ビデオと階層的負のクエリ間の多粒度意味的関係を学習するモデルを提案する。
  論文  参考訳（メタデータ） (2024-07-06T16:08:17Z)
• Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
  インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。 ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。 そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
  論文  参考訳（メタデータ） (2023-03-23T12:28:25Z)
• Language model acceptability judgements are not always robust to context [30.868765627701457]
  目標構文評価における言語モデルの性能の安定性について検討する。 モデル判断は、ランダムにサンプル化された言語コンテキストに置かれる場合、一般的には堅牢である。 これらのモデル性能の変化は、コンテキストとテスト入力にマッチする単純な特徴によって説明できないことを示す。
  論文  参考訳（メタデータ） (2022-12-18T00:11:06Z)
• Using Natural Sentences for Understanding Biases in Language Models [10.604991889372092]
  ウィキペディアの現実世界の自然文から収集した職業に関する素早いデータセットを作成する。 バイアス評価はテンプレートプロンプトの設計選択に非常に敏感である。 本研究では, 自然文のプロンプトを体系的な評価に用いて, 観察に偏見をもたらす可能性のある設計選択から脱却することを提案する。
  論文  参考訳（メタデータ） (2022-05-12T18:36:33Z)
• Does BERT really agree ? Fine-grained Analysis of Lexical Dependence on a Syntactic Task [70.29624135819884]
  目的の構文テンプレート上で,BERTが語彙非依存の主観値数アグリーメント(NA)を実行できる範囲について検討した。 名詞文では,単純なテンプレートに対してモデルがよく一般化されるが,1つのアトラクターが存在する場合,語彙非依存の構文一般化を行うことができないことが示唆された。
  論文  参考訳（メタデータ） (2022-04-14T11:33:15Z)
• The Authors Matter: Understanding and Mitigating Implicit Bias in Deep Text Classification [36.361778457307636]
  ディープテキスト分類モデルは、特定の人口統計グループの著者によって書かれたテキストのバイアス結果を生成することができます。 本論文では,異なる人口集団の異なるテキスト分類タスクに暗黙のバイアスが存在することを示す。 そして、暗黙のバイアスの知識を深めるために、学習に基づく解釈方法を構築します。
  論文  参考訳（メタデータ） (2021-05-06T16:17:38Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• Improving Robustness by Augmenting Training Sentences with Predicate-Argument Structures [62.562760228942054]
  データセットバイアスに対するロバスト性を改善する既存のアプローチは、主にトレーニング目標の変更に焦点を当てている。 本稿では,学習データ中の入力文に対応する述語句構造を付加することを提案する。 特定のバイアスを対象とせずに、文の増大は、複数のバイアスに対してトランスフォーマーモデルの堅牢性を向上することを示す。
  論文  参考訳（メタデータ） (2020-10-23T16:22:05Z)
• Recurrent Neural Network Language Models Always Learn English-Like Relative Clause Attachment [17.995905582226463]
  英語とスペイン語のモデル性能を比較し,RNN LMにおける非言語的バイアスが英語の構文構造と有利に重なることを示す。 英語モデルは人間に似た構文的嗜好を習得しているように見えるが、スペイン語で訓練されたモデルは、同等の人間的な嗜好を取得できない。
  論文  参考訳（メタデータ） (2020-05-01T01:21:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。