論文の概要: Conservative Bias in Large Language Models: Measuring Relation Predictions

• arxiv url: http://arxiv.org/abs/2506.08120v1
• Date: Mon, 09 Jun 2025 18:20:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:40.36296
• Title: Conservative Bias in Large Language Models: Measuring Relation Predictions
• Title（参考訳）: 大規模言語モデルにおける保守的バイアス:関係予測の測定
• Authors: Toyin Aguda, Erik Wilson, Allan Anzagira, Simerjot Kaur, Charese Smiley,
• Abstract要約: 大規模言語モデル(LLM)は、関係抽出タスクにおいて保守的なバイアスを示す。 このトレードオフを複数のプロンプト、データセット、関係型で体系的に評価する。 その結果,保守的偏見は幻覚の2倍の頻度で起こることが示唆された。
• 参考スコア（独自算出の注目度）: 2.611678378811261
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) exhibit pronounced conservative bias in relation extraction tasks, frequently defaulting to No_Relation label when an appropriate option is unavailable. While this behavior helps prevent incorrect relation assignments, our analysis reveals that it also leads to significant information loss when reasoning is not explicitly included in the output. We systematically evaluate this trade-off across multiple prompts, datasets, and relation types, introducing the concept of Hobson's choice to capture scenarios where models opt for safe but uninformative labels over hallucinated ones. Our findings suggest that conservative bias occurs twice as often as hallucination. To quantify this effect, we use SBERT and LLM prompts to capture the semantic similarity between conservative bias behaviors in constrained prompts and labels generated from semi-constrained and open-ended prompts.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、関係抽出タスクにおいて顕著な保守的バイアスを示し、適切なオプションが利用できない場合、しばしばNo_Relationラベルにデフォルトとなる。 この動作は、誤った関係の割り当てを防ぐのに役立つが、この分析により、推論が出力に明示的に含まれていない場合にも、重大な情報損失につながることが判明した。 複数のプロンプト、データセット、関係型をまたいだこのトレードオフを体系的に評価し、モデルが幻覚的なラベルよりも安全だが非形式的なラベルを選択するシナリオをキャプチャする、Hobson氏の選択という概念を紹介した。 その結果,保守的偏見は幻覚の2倍の頻度で起こることが示唆された。 この効果を定量化するために、SBERT と LLM プロンプトを用いて、制約付きプロンプトにおける保守的バイアス行動と半制約付きプロンプトから生成されるラベルのセマンティックな類似性を捉える。

関連論文リスト

• ShortcutProbe: Probing Prediction Shortcuts for Learning Robust Models [26.544938760265136]
  ディープラーニングモデルは、必然的にターゲットと非本質的な特徴の間の急激な相関を学習する。 本稿では,グループラベルを必要とせず,新たなポストホックスプリアスバイアス緩和フレームワークを提案する。 我々のフレームワークであるShortcutProbeは、与えられたモデルの潜在空間における予測の非破壊性を反映した予測ショートカットを識別する。
  論文  参考訳（メタデータ） (2025-05-20T04:21:17Z)
• Mitigating Spurious Correlations via Disagreement Probability [4.8884049398279705]
  経験的リスク最小化(ERM)で訓練されたモデルは、ターゲットラベルとバイアス属性の急激な相関に偏りがちである。 すべてのデータサンプルのモデル性能を堅牢に向上する訓練目標を導入する。 次に, バイアスラベルを必要としない脱バイアス法DPR(Disagreement Probability based Resampling for Debiasing)を導出する。
  論文  参考訳（メタデータ） (2024-11-04T02:44:04Z)
• Mitigating LLM Hallucinations via Conformal Abstention [70.83870602967625]
  我々は,大言語モデルが一般ドメインでの応答をいつ無視すべきかを決定するための,原則化された手順を開発する。 我々は、幻覚率(エラー率)の厳密な理論的保証の恩恵を受けるため、共形予測手法を活用して、禁忌手順を開発する。 実験によって得られた共形禁忌法は, 種々の閉書, オープンドメイン生成質問応答データセットに, 幻覚率を確実に拘束する。
  論文  参考訳（メタデータ） (2024-04-04T11:32:03Z)
• Take Care of Your Prompt Bias! Investigating and Mitigating Prompt Bias in Factual Knowledge Extraction [56.17020601803071]
  近年の研究では、事前学習言語モデル(PLM)が、事実知識抽出において「急激なバイアス」に悩まされていることが示されている。 本稿では,突発バイアスを徹底的に調査し緩和することにより,既存のベンチマークの信頼性を向上させることを目的とする。
  論文  参考訳（メタデータ） (2024-03-15T02:04:35Z)
• Bias-Conflict Sample Synthesis and Adversarial Removal Debias Strategy for Temporal Sentence Grounding in Video [67.24316233946381]
  TSGV(Temporal Sentence Grounding in Video)は、データセットバイアスの問題に悩まされている。 偏りを伴うサンプル合成と逆行性除去脱バイアス戦略(BSSARD)を提案する。
  論文  参考訳（メタデータ） (2024-01-15T09:59:43Z)
• Extracting or Guessing? Improving Faithfulness of Event Temporal Relation Extraction [87.04153383938969]
  本研究では,TempRel抽出モデルの忠実度を2つの観点から改善する。 第1の視点は、文脈記述に基づいて真に抽出することである。 第2の視点は、適切な不確実性評価を提供することである。
  論文  参考訳（メタデータ） (2022-10-10T19:53:13Z)
• Less Learn Shortcut: Analyzing and Mitigating Learning of Spurious Feature-Label Correlation [44.319739489968164]
  ディープニューラルネットワークは、タスクを理解するのではなく、意思決定をするためのショートカットとしてデータセットバイアスを取ることが多い。 本研究では,モデルがバイアスデータ分布から学習する単語特徴とラベルとの素早い相関に着目した。 本手法は, 偏りのある例と下級者の偏り度を定量的に評価する学習戦略である。
  論文  参考訳（メタデータ） (2022-05-25T09:08:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。