論文の概要: Alleviating Choice Supportive Bias in LLM with Reasoning Dependency Generation
- arxiv url: http://arxiv.org/abs/2512.03082v1
- Date: Fri, 28 Nov 2025 08:52:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-04 20:02:54.948012
- Title: Alleviating Choice Supportive Bias in LLM with Reasoning Dependency Generation
- Title(参考訳): 推論依存生成を用いたLLMにおける選択支援バイアスの緩和
- Authors: Nan Zhuang, Wenshuo Wang, Lekai Qian, Yuxiao Wang, Boyu Cao, Qi Liu,
- Abstract要約: 本稿では,非バイアスな推論データを生成するための新しいフレームワークであるReasoning Dependency Generation (RDG)を提案する。
RDGは自動的にバランスの取れた推論QAペアを構築し、選択、エビデンス、正当化の間の依存関係を明示的にモデル化する。
実験により、RDG生成データに基づいて微調整されたLCMは、メモリベースの実験で81.5%、評価ベースの実験で94.3%改善していることが示された。
- 参考スコア(独自算出の注目度): 8.918979781532036
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent studies have demonstrated that some Large Language Models exhibit choice-supportive bias (CSB) when performing evaluations, systematically favoring their chosen options and potentially compromising the objectivity of AI-assisted decision making. While existing debiasing approaches primarily target demographic and social biases, methods for addressing cognitive biases in LLMs remain largely unexplored. In this work, we present the first solution to address CSB through Reasoning Dependency Generation (RDG), a novel framework for generating unbiased reasoning data to mitigate choice-supportive bias through fine-tuning. RDG automatically constructs balanced reasoning QA pairs, explicitly (un)modeling the dependencies between choices, evidences, and justifications. Our approach is able to generate a large-scale dataset of QA pairs across domains, incorporating Contextual Dependency Data and Dependency Decouple Data. Experiments show that LLMs fine-tuned on RDG-generated data demonstrate a 81.5% improvement in memory-based experiments and 94.3% improvement in the evaluation-based experiment, while maintaining similar performance on standard BBQ benchmarks. This work pioneers an approach for addressing cognitive biases in LLMs and contributes to the development of more reliable AI-assisted decision support systems.
- Abstract(参考訳): 近年の研究では、一部の大規模言語モデルは、評価を行う際に選択支援バイアス(CSB)を示し、選択した選択肢を体系的に好んでおり、AI支援意思決定の客観性を損なう可能性があることが示されている。
既存の偏見的アプローチは主に人口統計学と社会的偏見をターゲットにしているが、LLMにおける認知的偏見に対処する手法はほとんど未解明のままである。
本研究では,微調整による選択支援バイアスを軽減するために,非バイアスな推論データを生成する新しいフレームワークであるReasoning Dependency Generation (RDG) を通じてCSBに対処する最初のソリューションを提案する。
RDGは自動的にバランスの取れた推論QAペアを構築し、選択、エビデンス、正当化の間の依存関係を明示的にモデル化する。
このアプローチでは、コンテキスト依存データと依存性分離データを組み込んだ、ドメイン間のQAペアの大規模なデータセットを生成することが可能です。
実験により、RDG生成データに基づいて微調整されたLCMは、メモリベースの実験が81.5%改善し、評価ベースの実験が94.3%改善し、標準のBBQベンチマークでも同様の性能を維持した。
この研究は、LLMにおける認知バイアスに対処するアプローチの先駆者であり、より信頼性の高いAI支援意思決定支援システムの開発に貢献している。
関連論文リスト
- Self-Adaptive Cognitive Debiasing for Large Language Models in Decision-Making [71.71796367760112]
大規模言語モデル(LLM)は意思決定アプリケーションをサポートする可能性を示している。
我々は,自己適応型認知脱バイアス(SACD)という認知脱バイアス手法を提案する。
オープンウェイトとクローズドウェイトの両方を用いた金融・医療・法的意思決定タスクにおけるSACDの評価を行った。
論文 参考訳(メタデータ) (2025-04-05T11:23:05Z) - Towards Objective and Unbiased Decision Assessments with LLM-Enhanced Hierarchical Attention Networks [6.520709313101523]
本研究では,人的専門家による高い意思決定過程における認知バイアスの識別について検討する。
人間の判断を超越したバイアス対応AI拡張ワークフローを提案する。
実験では,提案モデルとエージェントワークフローの両方が,人間の判断と代替モデルの両方において有意に改善されている。
論文 参考訳(メタデータ) (2024-11-13T10:42:11Z) - Bridging and Modeling Correlations in Pairwise Data for Direct Preference Optimization [75.1240295759264]
本稿では,BMC という名前のペアデータにおけるブリッジ・アンド・モデリングの効果的なフレームワークを提案する。
目的の修正によって、ペアの選好信号の一貫性と情報性が向上する。
DPOだけではこれらの相関をモデル化し、ニュアンス付き変動を捉えるには不十分である。
論文 参考訳(メタデータ) (2024-08-14T11:29:47Z) - Balancing Rigor and Utility: Mitigating Cognitive Biases in Large Language Models for Multiple-Choice Questions [0.46873264197900916]
認知バイアスが合理的な偏差やショートカットによって意思決定効率を高めることを示す。
モデレーションと禁忌オプションを導入することで、エラー率を減らし、意思決定精度を改善し、意思決定率を最適化する。
このアプローチは、認知バイアスを活用する新しい方法を提供し、大きな言語モデルの実用性を改善する。
論文 参考訳(メタデータ) (2024-06-16T16:25:22Z) - General Greedy De-bias Learning [163.65789778416172]
本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。
GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
論文 参考訳(メタデータ) (2021-12-20T14:47:32Z) - Leveraging Expert Consistency to Improve Algorithmic Decision Support [62.61153549123407]
建設のギャップを狭めるために観測結果と組み合わせることができる情報源として,歴史専門家による意思決定の利用について検討する。
本研究では,データ内の各ケースが1人の専門家によって評価された場合に,専門家の一貫性を間接的に推定する影響関数に基づく手法を提案する。
本研究は, 児童福祉領域における臨床現場でのシミュレーションと実世界データを用いて, 提案手法が構成ギャップを狭めることに成功していることを示す。
論文 参考訳(メタデータ) (2021-01-24T05:40:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。