論文の概要: Identifying Fairness Issues in Automatically Generated Testing Content

• arxiv url: http://arxiv.org/abs/2404.15104v1
• Date: Tue, 23 Apr 2024 14:56:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-24 13:32:19.109756
• Title: Identifying Fairness Issues in Automatically Generated Testing Content
• Title（参考訳）: 自動生成テストコンテンツにおける公平性問題
• Authors: Kevin Stowe, Benny Longwill, Alyssa Francis, Tatsuya Aoyama, Debanjan Ghosh, Swapna Somasundaran,
• Abstract要約: テストが意図した測定値のみを確実にするために、厳格な要件を課すことができる。 フェアネスに注釈を付けた621個のテキストのデータセットを構築し、分類のための様々な手法を探索する。 即時自己補正と数ショット学習を組み合わせることで,F1スコアが791となることが確認できた。
• 参考スコア（独自算出の注目度）: 9.698044538202442
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Natural language generation tools are powerful and effective for generating content. However, language models are known to display bias and fairness issues, making them impractical to deploy for many use cases. We here focus on how fairness issues impact automatically generated test content, which can have stringent requirements to ensure the test measures only what it was intended to measure. Specifically, we identify test content that is focused on particular domains and experiences that only reflect a certain demographic or that are potentially emotionally upsetting; both of which could inadvertently impact a test-taker's score. This kind of content doesn't reflect typical biases out of context, making it challenging even for modern models that contain safeguards. We build a dataset of 621 generated texts annotated for fairness and explore a variety of methods for classification: fine-tuning, topic-based classification, and prompting, including few-shot and self-correcting prompts. We find that combining prompt self-correction and few-shot learning performs best, yielding an F1 score of .791 on our held-out test set, while much smaller BERT- and topic-based models have competitive performance on out-of-domain data.
• Abstract（参考訳）: 自然言語生成ツールは、コンテンツを生成するのに強力で効果的です。 しかし、言語モデルはバイアスや公平性の問題を示すことで知られており、多くのユースケースにデプロイするのは現実的ではない。 ここでは、フェアネスの問題が自動生成されたテストコンテンツにどのように影響するかに注目します。 具体的には、特定の領域に焦点をあてたテスト内容を特定し、特定の人口層のみを反映する、あるいは潜在的に感情的に動揺する可能性のある体験を特定する。 この種のコンテンツは、コンテキストの典型的なバイアスを反映しません。 フェアネスにアノテートされた621個のテキストのデータセットを構築し、微調整、トピックベースの分類、プロンプトなど、さまざまな手法を探索する。 即時自己補正と少数ショット学習を組み合わせることで,F1スコアの.791が得られるのに対して,BERTとトピックベースのモデルの方がはるかに小さなモデルでは,ドメイン外データ上での競合性能が向上することがわかった。

関連論文リスト

• Tuning-Free Personalized Alignment via Trial-Error-Explain In-Context Learning [74.56097953187994]
  本稿では,テキスト生成タスクのための言語モデルをパーソナライズするチューニング不要な手法であるTrial-Error-Explain In-Context Learning(TICL)を提案する。 TICLは、試行錯誤説明プロセスを通じて、文脈内学習プロンプトを反復的に拡張し、モデル生成陰性サンプルと説明を追加する。 TICLは従来の最先端技術に対して最大91.5%を達成し、パーソナライズされたアライメントタスクのための競争的なチューニング不要のベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-02-13T05:20:21Z)
• Evaluating the fairness of task-adaptive pretraining on unlabeled test data before few-shot text classification [0.0]
  現代のNLP技術を評価するには、少ないショットの学習ベンチマークが重要である。 しかし、ベンチマークでは、ラベルのないテキストを簡単に利用できる方法が好まれる可能性がある。 ラベルなしテストセットテキストの事前学習によるバイアスを定量化する実験を行った。
  論文  参考訳（メタデータ） (2024-09-30T19:32:10Z)
• Adapting Vision-Language Models to Open Classes via Test-Time Prompt Tuning [50.26965628047682]
  学習済みのモデルをオープンクラスに適応させることは、機械学習において難しい問題である。 本稿では,両者の利点を組み合わせたテスト時プロンプトチューニング手法を提案する。 提案手法は,基本クラスと新クラスの両方を考慮し,すべての比較手法を平均的に上回る結果を得た。
  論文  参考訳（メタデータ） (2024-08-29T12:34:01Z)
• Harnessing the Intrinsic Knowledge of Pretrained Language Models for Challenging Text Classification Settings [5.257719744958367]
  この論文は、事前学習された言語モデル(PLM)の本質的な知識を活用することによって、テキスト分類における3つの挑戦的な設定を探求する。 本研究では, PLMの文脈表現に基づく特徴量を利用したモデルを構築し, 人間の精度に匹敵する, あるいは超越する性能を実現する。 最後に、実効的な実演を選択することで、大規模言語モデルの文脈内学習プロンプトに対する感受性に取り組む。
  論文  参考訳（メタデータ） (2024-08-28T09:07:30Z)
• Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
  インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。 ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。 そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
  論文  参考訳（メタデータ） (2023-03-23T12:28:25Z)
• Verifying the Robustness of Automatic Credibility Assessment [50.55687778699995]
  入力テキストにおける意味保存的変化がモデルを誤解させる可能性があることを示す。 また、誤情報検出タスクにおける被害者モデルと攻撃方法の両方をテストするベンチマークであるBODEGAについても紹介する。 我々の実験結果によると、現代の大規模言語モデルは、以前のより小さなソリューションよりも攻撃に対して脆弱であることが多い。
  論文  参考訳（メタデータ） (2023-03-14T16:11:47Z)
• Estimating Confidence of Predictions of Individual Classifiers and Their Ensembles for the Genre Classification Task [0.0]
  Genre IDは、非トピックテキスト分類のサブクラスである。 BERTやXLM-RoBERTaのような事前訓練されたトランスフォーマーに基づく神経モデルは、多くのNLPタスクにおいてSOTA結果を示す。
  論文  参考訳（メタデータ） (2022-06-15T09:59:05Z)
• Few-shot Instruction Prompts for Pretrained Language Models to Detect Social Biases [55.45617404586874]
  我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。 大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:19:52Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)
• TestRank: Bringing Order into Unlabeled Test Instances for Deep Learning Tasks [14.547623982073475]
  ディープラーニングシステムはテストやデバッグが難しいことで有名です。 テストコスト削減のために、テスト選択を行い、選択した“高品質”バグ修正テストインプットのみをラベル付けすることが不可欠である。 本稿では,未ラベルのテストインスタンスに,バグ検出機能,すなわちTestRankに従って順序を付ける新しいテスト優先順位付け手法を提案する。
  論文  参考訳（メタデータ） (2021-05-21T03:41:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。