論文の概要: Balancing Rigor and Utility: Mitigating Cognitive Biases in Large Language Models for Multiple-Choice Questions

• arxiv url: http://arxiv.org/abs/2406.10999v3
• Date: Mon, 9 Sep 2024 16:28:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-11 02:01:46.353252
• Title: Balancing Rigor and Utility: Mitigating Cognitive Biases in Large Language Models for Multiple-Choice Questions
• Title（参考訳）: 利活用とユーティリティのバランス: 大規模言語モデルにおける認知バイアスの緩和
• Authors: Liman Wang, Hanyang Zhong, Wenting Cao, Zeyuan Sun,
• Abstract要約: 本稿では,大規模言語モデル(LLM)の意思決定過程における認知バイアスの役割について検討する。 適切なバランスをとると、ある程度の認知バイアスが合理的な偏差やショートカットによって意思決定効率を高めることが示される。
• 参考スコア（独自算出の注目度）: 0.46873264197900916
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper examines the role of cognitive biases in the decision-making processes of large language models (LLMs), challenging the conventional goal of eliminating all biases. We show that certain cognitive biases when properly balanced, can enhance decision-making efficiency through rational deviations and heuristic shortcuts. By introducing heuristic moderation and an abstention option, which allows LLMs to withhold responses when uncertain, we reduce error rates, improve decision accuracy, and optimize decision rates. Using the Balance Rigor and Utility (BRU) dataset, developed through expert collaboration, our findings demonstrate that targeted inspection of cognitive biases aligns LLM decisions more closely with human reasoning, enhancing reliability and suggesting strategies for future improvements. This approach offers a novel way to leverage cognitive biases to improve the practical utility of LLMs across various applications.
• Abstract（参考訳）: 本稿では,大規模言語モデル(LLM)の意思決定過程における認知バイアスの役割を考察し,すべてのバイアスを取り除くという従来の目標に挑戦する。 適切なバランスをとると、合理的な偏差やヒューリスティックなショートカットによって意思決定効率を高めることができる。 ヒューリスティックなモデレーションと停止オプションを導入し、不確実な場合の応答を抑えることで、エラー率を減らし、意思決定精度を向上し、意思決定率を最適化する。 専門家のコラボレーションを通じて開発されたBa balance Rigor and Utility(BRU)データセットを用いて、認知バイアスの検査がLLM決定を人間の推論とより緊密に一致させ、信頼性を高め、今後の改善のための戦略を提案することを示す。 このアプローチは、認知バイアスを活用する新しい方法を提供し、様々なアプリケーションにおけるLCMの実用性を改善する。

関連論文リスト

• Towards Objective and Unbiased Decision Assessments with LLM-Enhanced Hierarchical Attention Networks [6.520709313101523]
  本研究では,人的専門家による高い意思決定過程における認知バイアスの識別について検討する。 人間の判断を超越したバイアス対応AI拡張ワークフローを提案する。 実験では,提案モデルとエージェントワークフローの両方が,人間の判断と代替モデルの両方において有意に改善されている。
  論文  参考訳（メタデータ） (2024-11-13T10:42:11Z)
• Cognitive Biases in Large Language Models for News Recommendation [68.90354828533535]
  本稿では,認知バイアスが大規模言語モデル(LLM)に基づくニュースレコメンデータシステムに与える影響について検討する。 データ拡張、エンジニアリングと学習アルゴリズムの側面を通じて、これらのバイアスを軽減する戦略について議論する。
  論文  参考訳（メタデータ） (2024-10-03T18:42:07Z)
• Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making [51.737762570776006]
  LLM-ACTRは、ヒトに適応し、多目的な意思決定を提供する新しいニューロシンボリックアーキテクチャである。 我々のフレームワークは、ACT-Rの内部決定過程の知識を潜在神経表現として抽出し、組み込む。 デザイン・フォー・マニュファクチャリング・タスクに関する我々の実験は、タスク性能の向上と基礎的意思決定能力の向上を両立させたものである。
  論文  参考訳（メタデータ） (2024-08-17T11:49:53Z)
• KnowPO: Knowledge-aware Preference Optimization for Controllable Knowledge Selection in Retrieval-Augmented Language Models [14.057527352653787]
  本稿では,適応的な知識選択を実現することを目的とした,知識認識型参照最適化戦略であるKnowPOを提案する。 KnowPOは,従来の知識衝突処理手法を37%以上上回る性能を示した。
  論文  参考訳（メタデータ） (2024-08-06T16:55:54Z)
• Predicting and Understanding Human Action Decisions: Insights from Large Language Models and Cognitive Instance-Based Learning [0.0]
  大きな言語モデル(LLM)は、様々なタスクにまたがってその能力を実証している。 本稿では,LLMの推論と生成能力を利用して,2つの逐次意思決定タスクにおける人間の行動を予測する。 我々は,LLMの性能を,人間の経験的意思決定を模倣した認知的インスタンスベース学習モデルと比較した。
  論文  参考訳（メタデータ） (2024-07-12T14:13:06Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• DeLLMa: Decision Making Under Uncertainty with Large Language Models [31.77731889916652]
  DeLLMaは不確実な環境での意思決定の精度を高めるために設計されたフレームワークである。 DeLLMaは主要な言語モデルの意思決定性能を継続的に向上し、競合する手法に比べて最大40%の精度向上を達成できることを示す。
  論文  参考訳（メタデータ） (2024-02-04T08:11:45Z)
• From Heuristic to Analytic: Cognitively Motivated Strategies for Coherent Physical Commonsense Reasoning [66.98861219674039]
  ヒューリスティック分析推論(HAR)戦略は、モデル決定のための合理化のコヒーレンスを大幅に改善する。 以上の結果から, PLM推論の一貫性と信頼性を効果的に向上できる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-10-24T19:46:04Z)
• Rational Decision-Making Agent with Internalized Utility Judgment [91.80700126895927]
  大規模言語モデル(LLM)は目覚ましい進歩を示し、従来のNLPアプリケーションを超えて複雑な多段階決定タスクを実行できるエージェントにLLMを開発するための重要な努力を惹きつけている。 本稿では,RadAgentを提案する。このRadAgentは,経験探索とユーティリティ学習を含む反復的なフレームワークを通じて,合理性の発展を促進する。 ToolBenchデータセットの実験結果は、RadAgentがベースラインよりも優れていることを示している。
  論文  参考訳（メタデータ） (2023-08-24T03:11:45Z)
• Explainability's Gain is Optimality's Loss? -- How Explanations Bias Decision-making [0.0]
  説明は、アルゴリズムと人間の意思決定者とのコミュニケーションを促進するのに役立つ。 因果モデルに関する特徴に基づく説明のセマンティクスは、意思決定者の以前の信念から漏れを引き起こす。 このような違いは、準最適かつ偏った決定結果をもたらす可能性がある。
  論文  参考訳（メタデータ） (2022-06-17T11:43:42Z)
• Leveraging Expert Consistency to Improve Algorithmic Decision Support [62.61153549123407]
  建設のギャップを狭めるために観測結果と組み合わせることができる情報源として,歴史専門家による意思決定の利用について検討する。 本研究では,データ内の各ケースが1人の専門家によって評価された場合に,専門家の一貫性を間接的に推定する影響関数に基づく手法を提案する。 本研究は, 児童福祉領域における臨床現場でのシミュレーションと実世界データを用いて, 提案手法が構成ギャップを狭めることに成功していることを示す。
  論文  参考訳（メタデータ） (2021-01-24T05:40:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。