論文の概要: Conservative Bias in Large Language Models: Measuring Relation Predictions
- arxiv url: http://arxiv.org/abs/2506.08120v1
- Date: Mon, 09 Jun 2025 18:20:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-11 15:11:40.36296
- Title: Conservative Bias in Large Language Models: Measuring Relation Predictions
- Title（参考訳）: 大規模言語モデルにおける保守的バイアス:関係予測の測定
- Authors: Toyin Aguda, Erik Wilson, Allan Anzagira, Simerjot Kaur, Charese Smiley,
- Abstract要約: 大規模言語モデル(LLM)は、関係抽出タスクにおいて保守的なバイアスを示す。
このトレードオフを複数のプロンプト、データセット、関係型で体系的に評価する。
その結果,保守的偏見は幻覚の2倍の頻度で起こることが示唆された。
- 参考スコア（独自算出の注目度）: 2.611678378811261
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) exhibit pronounced conservative bias in relation extraction tasks, frequently defaulting to No_Relation label when an appropriate option is unavailable. While this behavior helps prevent incorrect relation assignments, our analysis reveals that it also leads to significant information loss when reasoning is not explicitly included in the output. We systematically evaluate this trade-off across multiple prompts, datasets, and relation types, introducing the concept of Hobson's choice to capture scenarios where models opt for safe but uninformative labels over hallucinated ones. Our findings suggest that conservative bias occurs twice as often as hallucination. To quantify this effect, we use SBERT and LLM prompts to capture the semantic similarity between conservative bias behaviors in constrained prompts and labels generated from semi-constrained and open-ended prompts.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、関係抽出タスクにおいて顕著な保守的バイアスを示し、適切なオプションが利用できない場合、しばしばNo_Relationラベルにデフォルトとなる。
この動作は、誤った関係の割り当てを防ぐのに役立つが、この分析により、推論が出力に明示的に含まれていない場合にも、重大な情報損失につながることが判明した。
複数のプロンプト、データセット、関係型をまたいだこのトレードオフを体系的に評価し、モデルが幻覚的なラベルよりも安全だが非形式的なラベルを選択するシナリオをキャプチャする、Hobson氏の選択という概念を紹介した。
その結果,保守的偏見は幻覚の2倍の頻度で起こることが示唆された。
この効果を定量化するために、SBERT と LLM プロンプトを用いて、制約付きプロンプトにおける保守的バイアス行動と半制約付きプロンプトから生成されるラベルのセマンティックな類似性を捉える。
関連論文リスト
- ShortcutProbe: Probing Prediction Shortcuts for Learning Robust Models [26.544938760265136]
ディープラーニングモデルは、必然的にターゲットと非本質的な特徴の間の急激な相関を学習する。
本稿では,グループラベルを必要とせず,新たなポストホックスプリアスバイアス緩和フレームワークを提案する。
我々のフレームワークであるShortcutProbeは、与えられたモデルの潜在空間における予測の非破壊性を反映した予測ショートカットを識別する。
論文 参考訳（メタデータ） (2025-05-20T04:21:17Z) - Mitigating Spurious Correlations via Disagreement Probability [4.8884049398279705]
経験的リスク最小化(ERM)で訓練されたモデルは、ターゲットラベルとバイアス属性の急激な相関に偏りがちである。
すべてのデータサンプルのモデル性能を堅牢に向上する訓練目標を導入する。
次に, バイアスラベルを必要としない脱バイアス法DPR(Disagreement Probability based Resampling for Debiasing)を導出する。
論文 参考訳（メタデータ） (2024-11-04T02:44:04Z) - A Debiased Nearest Neighbors Framework for Multi-Label Text Classification [13.30576550077694]
マルチラベルテキスト分類(MLTC)のためのDebiased Nearest Neighbors(DENN)フレームワークについて紹介する。
組込みアライメントバイアスに対処するために,ラベル共起における近傍の一貫性を向上する,非バイアス付きコントラスト学習戦略を提案する。
信頼度推定バイアスには,$k$NNの予測と帰納的二分分類の適応的組み合わせを改善し,偏りのある信頼度推定戦略を提案する。
論文 参考訳（メタデータ） (2024-08-06T14:00:23Z) - Contrastive Learning with Counterfactual Explanations for Radiology Report Generation [83.30609465252441]
放射線学レポート生成のためのtextbfCountertextbfFactual textbfExplanations-based framework (CoFE) を提案する。
反現実的な説明は、アルゴリズムによってなされた決定をどのように変えられるかを理解するための強力なツールとして、シナリオが何であるかを問うことによって役立ちます。
2つのベンチマークの実験では、反ファクト的な説明を活用することで、CoFEは意味的に一貫性があり、事実的に完全なレポートを生成することができる。
論文 参考訳（メタデータ） (2024-07-19T17:24:25Z) - Mitigating LLM Hallucinations via Conformal Abstention [70.83870602967625]
我々は,大言語モデルが一般ドメインでの応答をいつ無視すべきかを決定するための,原則化された手順を開発する。
我々は、幻覚率(エラー率)の厳密な理論的保証の恩恵を受けるため、共形予測手法を活用して、禁忌手順を開発する。
実験によって得られた共形禁忌法は, 種々の閉書, オープンドメイン生成質問応答データセットに, 幻覚率を確実に拘束する。
論文 参考訳（メタデータ） (2024-04-04T11:32:03Z) - Take Care of Your Prompt Bias! Investigating and Mitigating Prompt Bias in Factual Knowledge Extraction [56.17020601803071]
近年の研究では、事前学習言語モデル(PLM)が、事実知識抽出において「急激なバイアス」に悩まされていることが示されている。
本稿では,突発バイアスを徹底的に調査し緩和することにより,既存のベンチマークの信頼性を向上させることを目的とする。
論文 参考訳（メタデータ） (2024-03-15T02:04:35Z) - Bias-Conflict Sample Synthesis and Adversarial Removal Debias Strategy
for Temporal Sentence Grounding in Video [67.24316233946381]
TSGV(Temporal Sentence Grounding in Video)は、データセットバイアスの問題に悩まされている。
偏りを伴うサンプル合成と逆行性除去脱バイアス戦略(BSSARD)を提案する。
論文 参考訳（メタデータ） (2024-01-15T09:59:43Z) - Accurate Use of Label Dependency in Multi-Label Text Classification
Through the Lens of Causality [25.36416774024584]
マルチラベルテキスト分類は、各テキストに最も関連性の高いラベルを割り当てることを目的としている。
ラベル依存は、モデルは望ましくない予測バイアスに悩まされる可能性がある。
本稿では,相関バイアスを排除し,因果関係に基づく予測を行うために,CFTC(CounterFactual Text)を提案する。
論文 参考訳（メタデータ） (2023-10-11T15:28:44Z) - Extracting or Guessing? Improving Faithfulness of Event Temporal
Relation Extraction [87.04153383938969]
本研究では,TempRel抽出モデルの忠実度を2つの観点から改善する。
第1の視点は、文脈記述に基づいて真に抽出することである。
第2の視点は、適切な不確実性評価を提供することである。
論文 参考訳（メタデータ） (2022-10-10T19:53:13Z) - Less Learn Shortcut: Analyzing and Mitigating Learning of Spurious
Feature-Label Correlation [44.319739489968164]
ディープニューラルネットワークは、タスクを理解するのではなく、意思決定をするためのショートカットとしてデータセットバイアスを取ることが多い。
本研究では,モデルがバイアスデータ分布から学習する単語特徴とラベルとの素早い相関に着目した。
本手法は, 偏りのある例と下級者の偏り度を定量的に評価する学習戦略である。
論文 参考訳（メタデータ） (2022-05-25T09:08:35Z) - Recovering the Unbiased Scene Graphs from the Biased Ones [99.24441932582195]
ラベルが不足しているため、シーングラフ生成(SGG)は「肯定的・未ラベルデータからの学習」(PU学習)問題とみなすことができる。
本稿では,複数のトレーニングイテレーションにまたがって,トレーニング時のデータ拡張と平均値を活用するために,動的ラベル周波数推定(DLFE)を提案する。
拡張実験の結果,DLFEは従来の推定法よりもラベル周波数の推定に有効であり,DLFEは長い尾を著しく緩和することがわかった。
論文 参考訳（メタデータ） (2021-07-05T16:10:41Z) - RATT: Leveraging Unlabeled Data to Guarantee Generalization [96.08979093738024]
ラベルのないデータを利用して一般化境界を生成する手法を紹介します。
境界が0-1経験的リスク最小化に有効であることを証明します。
この作業は、見えないラベル付きデータが利用できない場合でも、ディープネットの一般化を証明するためのオプションを実践者に提供します。
論文 参考訳（メタデータ） (2021-05-01T17:05:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。