論文の概要: Identifying Fairness Issues in Automatically Generated Testing Content
- arxiv url: http://arxiv.org/abs/2404.15104v1
- Date: Tue, 23 Apr 2024 14:56:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-24 13:32:19.109756
- Title: Identifying Fairness Issues in Automatically Generated Testing Content
- Title(参考訳): 自動生成テストコンテンツにおける公平性問題
- Authors: Kevin Stowe, Benny Longwill, Alyssa Francis, Tatsuya Aoyama, Debanjan Ghosh, Swapna Somasundaran,
- Abstract要約: テストが意図した測定値のみを確実にするために、厳格な要件を課すことができる。
フェアネスに注釈を付けた621個のテキストのデータセットを構築し、分類のための様々な手法を探索する。
即時自己補正と数ショット学習を組み合わせることで,F1スコアが791となることが確認できた。
- 参考スコア(独自算出の注目度): 9.698044538202442
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Natural language generation tools are powerful and effective for generating content. However, language models are known to display bias and fairness issues, making them impractical to deploy for many use cases. We here focus on how fairness issues impact automatically generated test content, which can have stringent requirements to ensure the test measures only what it was intended to measure. Specifically, we identify test content that is focused on particular domains and experiences that only reflect a certain demographic or that are potentially emotionally upsetting; both of which could inadvertently impact a test-taker's score. This kind of content doesn't reflect typical biases out of context, making it challenging even for modern models that contain safeguards. We build a dataset of 621 generated texts annotated for fairness and explore a variety of methods for classification: fine-tuning, topic-based classification, and prompting, including few-shot and self-correcting prompts. We find that combining prompt self-correction and few-shot learning performs best, yielding an F1 score of .791 on our held-out test set, while much smaller BERT- and topic-based models have competitive performance on out-of-domain data.
- Abstract(参考訳): 自然言語生成ツールは、コンテンツを生成するのに強力で効果的です。
しかし、言語モデルはバイアスや公平性の問題を示すことで知られており、多くのユースケースにデプロイするのは現実的ではない。
ここでは、フェアネスの問題が自動生成されたテストコンテンツにどのように影響するかに注目します。
具体的には、特定の領域に焦点をあてたテスト内容を特定し、特定の人口層のみを反映する、あるいは潜在的に感情的に動揺する可能性のある体験を特定する。
この種のコンテンツは、コンテキストの典型的なバイアスを反映しません。
フェアネスにアノテートされた621個のテキストのデータセットを構築し、微調整、トピックベースの分類、プロンプトなど、さまざまな手法を探索する。
即時自己補正と少数ショット学習を組み合わせることで,F1スコアの.791が得られるのに対して,BERTとトピックベースのモデルの方がはるかに小さなモデルでは,ドメイン外データ上での競合性能が向上することがわかった。
関連論文リスト
- Capturing Perspectives of Crowdsourced Annotators in Subjective Learning
Tasks [9.654024757018984]
ほとんどの分類モデルでは、各データポイントに対して単一の真実ラベルを持つと仮定されている。
毒性の分類のような主観的なタスクは アナテーターの間で 真の不一致につながる
主観的分類タスクのためのテキスト用アノテーション認識表現(AART)を提案する。
論文 参考訳(メタデータ) (2023-11-16T10:18:32Z) - Harnessing GPT-3.5-turbo for Rhetorical Role Prediction in Legal Cases [0.16385815610837165]
訴訟の修辞的役割予測タスクにおいて,大規模な事前学習型生成変換器(GPT-3.5-turbo)を問うための一段階適用手法の総合的研究を提案する。
実例数,ラベルの定義,(ラベル付き)テキストコンテキストの提示,およびこのコンテキストに関する特定の質問が,モデルの性能に肯定的な影響を与えることを示す。
論文 参考訳(メタデータ) (2023-10-26T14:19:48Z) - Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。
ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。
そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
論文 参考訳(メタデータ) (2023-03-23T12:28:25Z) - Verifying the Robustness of Automatic Credibility Assessment [79.08422736721764]
テキスト分類法は信頼性の低い内容を検出する手段として広く研究されている。
入力テキストの無意味な変更は、モデルを誤解させることがある。
偽情報検出タスクにおける被害者モデルと攻撃方法の両方をテストするベンチマークであるBODEGAを紹介する。
論文 参考訳(メタデータ) (2023-03-14T16:11:47Z) - M-Tuning: Prompt Tuning with Mitigated Label Bias in Open-Set Scenarios [103.6153593636399]
緩和ラベルバイアス(M-Tuning)を用いた視覚言語プロンプトチューニング手法を提案する。
これはWordNetからのオープンワードを導入し、クローズドセットラベルワードのみからもっと多くのプロンプトテキストを形成する単語の範囲を広げ、シミュレートされたオープンセットシナリオでプロンプトをチューニングする。
提案手法は,様々なスケールのデータセット上で最高の性能を達成し,広範囲にわたるアブレーション研究もその有効性を検証した。
論文 参考訳(メタデータ) (2023-03-09T09:05:47Z) - Automated Scoring for Reading Comprehension via In-context BERT Tuning [9.135673900486827]
本稿では,NAEP(National Assessment of Education Progress)自動採点課題に対する(大賞受賞)ソリューションについて報告する。
In-context BERT fine-tuning は、慎重に設計された入力構造を持つ全ての項目に対して単一のスコアリングモデルを生成する。
この課題から得られたトレーニングデータセットを用いて,地域評価によるアプローチの有効性を示す。
論文 参考訳(メタデータ) (2022-05-19T21:16:15Z) - Agreeing to Disagree: Annotating Offensive Language Datasets with
Annotators' Disagreement [7.288480094345606]
我々は、アノテータ間の合意のレベルに着目し、攻撃的な言語データセットを作成するためにデータを選択する。
本研究は、異なるトピックをカバーする英語ツイートの3つの新しいデータセットを作成することを含む。
合意の低さがあるような難しいケースは、必ずしも品質の悪いアノテーションによるものではないことを示す。
論文 参考訳(メタデータ) (2021-09-28T08:55:04Z) - AES Systems Are Both Overstable And Oversensitive: Explaining Why And
Proposing Defenses [66.49753193098356]
スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。
のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。
高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
論文 参考訳(メタデータ) (2021-09-24T03:49:38Z) - Automatic Construction of Evaluation Suites for Natural Language
Generation Datasets [17.13484629172643]
我々は、制御された摂動を生成し、テキストからスカラー、テキストからテキストへ、あるいはデータからテキストへ設定したサブセットを識別するフレームワークを開発する。
80個のチャレンジセットからなる評価スイートを提案し、現在の世代モデルの限界に光を当てることを可能にした分析の種類を実証する。
論文 参考訳(メタデータ) (2021-06-16T18:20:58Z) - Dynamic Semantic Matching and Aggregation Network for Few-shot Intent
Detection [69.2370349274216]
利用可能な注釈付き発話が不足しているため、インテント検出は困難である。
セマンティック成分はマルチヘッド自己認識によって発話から蒸留される。
本手法はラベル付きインスタンスとラベルなしインスタンスの両方の表現を強化するための総合的なマッチング手段を提供する。
論文 参考訳(メタデータ) (2020-10-06T05:16:38Z) - Don't Judge an Object by Its Context: Learning to Overcome Contextual
Bias [113.44471186752018]
既存のモデルは、認識精度を向上させるために、オブジェクトとそのコンテキスト間の共起を利用することが多い。
この研究は、学習した特徴表現の堅牢性を改善するために、そのような文脈バイアスに対処することに焦点を当てている。
論文 参考訳(メタデータ) (2020-01-09T18:31:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。