論文の概要: Biases in Large Language Model-Elicited Text: A Case Study in Natural Language Inference

• arxiv url: http://arxiv.org/abs/2503.05047v1
• Date: Thu, 06 Mar 2025 23:49:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 12:22:28.472591
• Title: Biases in Large Language Model-Elicited Text: A Case Study in Natural Language Inference
• Title（参考訳）: 大規模言語モデル記述テキストにおけるバイアス--自然言語推論のケーススタディ
• Authors: Grace Proebsting, Adam Poliak,
• Abstract要約: 我々は,Large Language Models (LLM) で作成したNLPデータセットが,アノテーションや社会的バイアスを含むかどうかを検証した。 GPT-4, Llama-2 70b for Chat, Mistral 7b Instruct を用いて, スタンフォード大学の自然言語推論コーパスの一部を再現した。
• 参考スコア（独自算出の注目度）: 3.0804372027733202
• License:
• Abstract: We test whether NLP datasets created with Large Language Models (LLMs) contain annotation artifacts and social biases like NLP datasets elicited from crowd-source workers. We recreate a portion of the Stanford Natural Language Inference corpus using GPT-4, Llama-2 70b for Chat, and Mistral 7b Instruct. We train hypothesis-only classifiers to determine whether LLM-elicited NLI datasets contain annotation artifacts. Next, we use pointwise mutual information to identify the words in each dataset that are associated with gender, race, and age-related terms. On our LLM-generated NLI datasets, fine-tuned BERT hypothesis-only classifiers achieve between 86-96% accuracy. Our analyses further characterize the annotation artifacts and stereotypical biases in LLM-generated datasets.
• Abstract（参考訳）: 我々は,Large Language Models (LLMs)で作成したNLPデータセットが,クラウドソースワーカーから引き出されたNLPデータセットのようなアノテーションアーティファクトや社会的バイアスを含むかどうかを検証する。 GPT-4, Llama-2 70b for Chat, Mistral 7b Instruct を用いて, スタンフォード大学の自然言語推論コーパスの一部を再現した。 我々は仮説のみの分類器を訓練し、LLMで制限されたNLIデータセットがアノテーションのアーティファクトを含むかどうかを判定する。 次に、性別、人種、年齢に関連する各データセットの単語を特定するために、ポイントワイズな相互情報を使用する。 LLM生成したNLIデータセットでは、細調整されたBERT仮説のみの分類器が86～96%の精度で達成されている。 LLM生成データセットのアコースティックアーティファクトとステレオタイプバイアスをさらに特徴付ける。

関連論文リスト

• Idiosyncrasies in Large Language Models [54.26923012617675]
  大規模言語モデル(LLM)における慣用句の公開と研究 LLM生成テキスト上に既存のテキスト埋め込みモデルを微調整することで、優れた分類精度が得られることが判明した。 我々はLLMを審査員として利用し、各モデルの慣用句の詳細かつオープンな記述を生成する。
  論文  参考訳（メタデータ） (2025-02-17T18:59:02Z)
• Hypothesis-only Biases in Large Language Model-Elicited Natural Language Inference [3.0804372027733202]
  我々は,GPT-4,Llama-2,Mistral 7bを用いて,スタンフォードNLIコーパスの一部を再現した。 我々は仮説のみの分類器を訓練し、LLMによる仮説がアノテーションのアーティファクトを含んでいるかどうかを判断する。 我々の分析は、NLIにおける十分に証明されたバイアスがLLM生成データに持続できるという実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2024-10-11T17:09:22Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Exploring Factual Entailment with NLI: A News Media Study [0.9208007322096533]
  本稿では,FactRelの導入により,事実性と自然言語推論(NLI)の関係について検討する。 分析の結果,事実支援ペアの84%,不明な事実支援ペアの63%はNLIの関与や矛盾にはならないことがわかった。 我々は,新しいデータセットをペアで分類するモデルを用いて実験を行い,いくつかの場合において,注釈付きデータセットに基づいてGPT-4で合成データを生成することにより,性能が向上することを示した。
  論文  参考訳（メタデータ） (2024-06-24T17:47:55Z)
• Natural Language Processing for Dialects of a Language: A Survey [56.93337350526933]
  最先端自然言語処理(NLP)モデルは、大規模なトレーニングコーパスでトレーニングされ、評価データセットで最上位のパフォーマンスを報告します。 この調査は、これらのデータセットの重要な属性である言語の方言を掘り下げる。 方言データセットにおけるNLPモデルの性能劣化と言語技術のエクイティへのその影響を動機として,我々はデータセットやアプローチの観点から,方言に対するNLPの過去の研究を調査した。
  論文  参考訳（メタデータ） (2024-01-11T03:04:38Z)
• Native Language Identification with Large Language Models [60.80452362519818]
  我々はGPTモデルがNLI分類に熟練していることを示し、GPT-4は0ショット設定でベンチマーク11テストセットで91.7%の新たなパフォーマンス記録を樹立した。 また、従来の完全教師付き設定とは異なり、LLMは既知のクラスに制限されずにNLIを実行できることを示す。
  論文  参考訳（メタデータ） (2023-12-13T00:52:15Z)
• Jamp: Controlled Japanese Temporal Inference Dataset for Evaluating Generalization Capacity of Language Models [18.874880342410876]
  本稿では、時間的推測に焦点を当てた日本のベンチマークであるJampを紹介する。 我々のデータセットには時間的推論パターンが含まれており、きめ細かい分析を行うことができます。 時制フラグメントに基づいてデータセットを分割することにより,単言語/多言語LMの一般化能力を評価する。
  論文  参考訳（メタデータ） (2023-06-19T07:00:14Z)
• WANLI: Worker and AI Collaboration for Natural Language Inference Dataset Creation [101.00109827301235]
  我々は人間と機械の協調に基づくデータセット作成のための新しいパラダイムを導入する。 我々は、データセット地図を用いて、挑戦的な推論パターンを示すサンプルを自動的に識別し、GPT-3に同様のパターンで新しい例を作成するよう指示する。 結果として得られたデータセットであるWANLIは、108,357の自然言語推論(NLI)の例からなり、ユニークな経験的強度を示す。
  論文  参考訳（メタデータ） (2022-01-16T03:13:49Z)
• Automatically Identifying Semantic Bias in Crowdsourced Natural Language Inference Datasets [78.6856732729301]
  NLIデータセットに仮説を組み込んだ学習空間に"バイアスクラスタ"を見つけるために,モデル駆動で教師なしの手法を導入する。 データセットの仮説分布のセマンティックバイアスを改善するために、介入と追加のラベリングを行うことができる。
  論文  参考訳（メタデータ） (2021-12-16T22:49:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。