論文の概要: DeCAP: Context-Adaptive Prompt Generation for Debiasing Zero-shot Question Answering in Large Language Models

• arxiv url: http://arxiv.org/abs/2503.19426v1
• Date: Tue, 25 Mar 2025 08:16:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 16:53:07.109442
• Title: DeCAP: Context-Adaptive Prompt Generation for Debiasing Zero-shot Question Answering in Large Language Models
• Title（参考訳）: DeCAP: 大規模言語モデルにおけるゼロショット質問応答の回避のための文脈適応型プロンプト生成
• Authors: Suyoung Bae, YunSeok Choi, Jee-Hyong Lee,
• Abstract要約: ゼロショット質問回答(QA)におけるLarge Language Models(LLMs)の抜粋 LLMは社会的に敏感な質問に直面すると、内部知識のバイアスを露呈する傾向がある。 文脈適応型プロンプト生成を用いたLCMのデバイアス化手法であるDeCAPを提案する。
• 参考スコア（独自算出の注目度）: 14.739041141948036
• License:
• Abstract: While Large Language Models (LLMs) excel in zero-shot Question Answering (QA), they tend to expose biases in their internal knowledge when faced with socially sensitive questions, leading to a degradation in performance. Existing zero-shot methods are efficient but fail to consider context and prevent bias propagation in the answers. To address this, we propose DeCAP, a method for debiasing LLMs using Context-Adaptive Prompt Generation. DeCAP leverages a Question Ambiguity Detection to take appropriate debiasing actions based on the context and a Neutral Answer Guidance Generation to suppress the LLMs make objective judgments about the context, minimizing the propagation of bias from their internal knowledge. Our various experiments across eight LLMs show that DeCAP achieves state-of-the-art zero-shot debiased QA performance. This demonstrates DeCAP's efficacy in enhancing the fairness and accuracy of LLMs in diverse QA settings.
• Abstract（参考訳）: 大言語モデル(LLMs)はゼロショット質問回答(QA)に優れていますが、社会的に敏感な質問に直面した場合、内部知識のバイアスを露呈する傾向があり、パフォーマンスが低下します。 既存のゼロショット法は効率的であるが、文脈を考慮せず、解答のバイアス伝播を防げない。 そこで本稿では,文脈適応型プロンプト生成を用いたLCMのデバイアス化手法であるDeCAPを提案する。 DeCAPは、文脈に基づく適切な偏見検出と中性解答誘導生成を併用し、LCMを抑圧し、文脈に関する客観的な判断を行い、内部知識からの偏見の伝播を最小限にする。 8つのLCMにわたる様々な実験により、DeCAPは最先端のゼロショットデバイアスドQA性能を実現することが示された。 このことは、様々なQA設定におけるLCMの公平性と正確性を高めるDeCAPの有効性を示す。

関連論文リスト

• Evaluating and Mitigating Social Bias for Large Language Models in Open-ended Settings [13.686732204665738]
  既存のBBQデータセットを,補間質問型と短解質問型を組み込むことで拡張する。 我々の発見によると、LSMは年齢や社会経済的地位など、特定の保護された属性に対してより偏りのある反応を生み出す。 偏見をゼロショット、少数ショット、チェーン・オブ・シントを組み合わせることで、偏見のレベルを約0。
  論文  参考訳（メタデータ） (2024-12-09T01:29:47Z)
• Unlocking the Power of LLM Uncertainty for Active In-Context Example Selection [6.813733517894384]
  Uncertainty Tripartite Testing Paradigm (Unc-TTP)は、LLM(Large Language Models)を分類する新しい手法である。 Unc-TTPは、異なるラベル注入干渉下で3ラウンドのサンプリングを行い、全ての可能な結果を列挙する。 本実験は,Unc-TTPを用いて選択した不確実性例が確実性例よりも有益であることを示す。
  論文  参考訳（メタデータ） (2024-08-17T11:33:23Z)
• Characterizing LLM Abstention Behavior in Science QA with Context Perturbations [13.897212714309548]
  本研究では,LLMが不十分あるいは誤った文脈で科学的な疑問に答えることを禁じる能力について検討する。 性能はモデルによって大きく異なり、提供されたコンテキストの種類や質問タイプによっても大きく異なることを示す。 以上の結果から,QAデータセットの設計と評価において,モデル棄却の正しさと下流への影響をより効果的に評価するために,変更が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-04-18T18:26:43Z)
• Debiasing Multimodal Large Language Models [61.6896704217147]
  LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。 本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。 これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
  論文  参考訳（メタデータ） (2024-03-08T12:35:07Z)
• Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
  LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。 価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
  論文  参考訳（メタデータ） (2024-02-16T18:28:43Z)
• Self-Debiasing Large Language Models: Zero-Shot Recognition and Reduction of Stereotypes [73.12947922129261]
  ステレオタイピングを減らすために,大規模言語モデルのゼロショット機能を活用している。 自己嫌悪は、9つの異なる社会集団におけるステレオタイピングの度合いを著しく低下させることが示される。 この研究が、バイアス軽減のための他のゼロショット技術に関する調査をオープンにすることを願っている。
  論文  参考訳（メタデータ） (2024-02-03T01:40:11Z)
• Self-Supervised Position Debiasing for Large Language Models [39.261233221850155]
  大規模言語モデル(LLM)における位置バイアスを軽減するための自己教師型位置偏差検出(SOD)フレームワークを提案する。 8つのデータセットと5つのタスクの実験により、SODは3つのタイプの位置バイアスを緩和する既存の手法より一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2024-01-02T14:12:41Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)
• Test-Time Adaptation with CLIP Reward for Zero-Shot Generalization in Vision-Language Models [76.410400238974]
  モデル出力を補正し、モデルが盲目的に自信を持たないようにするためのフィードバック付きTTAを提案する。 CLIPモデルは、TTA中に報酬モデルとして採用され、VLMにフィードバックを提供する。 提案したCLIPフィードバック(RLCF)フレームワークによるテキスト強化学習は非常に柔軟で普遍的である。
  論文  参考訳（メタデータ） (2023-05-29T11:03:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。