論文の概要: CER: Confidence Enhanced Reasoning in LLMs

• arxiv url: http://arxiv.org/abs/2502.14634v1
• Date: Thu, 20 Feb 2025 15:16:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 17:44:15.741190
• Title: CER: Confidence Enhanced Reasoning in LLMs
• Title（参考訳）: CER: LLMにおける信頼性の向上
• Authors: Ali Razghandi, Seyed Mohammad Hadi Hosseini, Mahdieh Soleymani Baghshah,
• Abstract要約: 本稿では,大規模言語モデル応答の精度向上を目的とした不確実性認識フレームワークを提案する。 数理推論における数値結果や開領域生成における固有名詞などの中間回答の信頼度を定量化する。 その結果,新しい信頼度集計法の有効性を一貫して検証した。
• 参考スコア（独自算出の注目度）: 2.4392539322920763
• License:
• Abstract: Ensuring the reliability of Large Language Models (LLMs) in complex reasoning tasks remains a formidable challenge, particularly in scenarios that demand precise mathematical calculations and knowledge-intensive open-domain generation. In this work, we introduce an uncertainty-aware framework designed to enhance the accuracy of LLM responses by systematically incorporating model confidence at critical decision points. We propose an approach that encourages multi-step reasoning in LLMs and quantify the confidence of intermediate answers such as numerical results in mathematical reasoning and proper nouns in open-domain generation. Then, the overall confidence of each reasoning chain is evaluated based on confidence of these critical intermediate steps. Finally, we aggregate the answer of generated response paths in a way that reflects the reliability of each generated content (as opposed to self-consistency in which each generated chain contributes equally to majority voting). We conducted extensive experiments in five datasets, three mathematical datasets and two open-domain datasets, using four LLMs. The results consistently validate the effectiveness of our novel confidence aggregation method, leading to an accuracy improvement of up to 7.4% and 5.8% over baseline approaches in math and open-domain generation tasks, respectively. Code is publicly available at https://github.com/ Aquasar11/CER.
• Abstract（参考訳）: 複雑な推論タスクにおける大規模言語モデル(LLM)の信頼性を確保することは、特に正確な数学的計算や知識集約的なオープンドメイン生成を必要とするシナリオでは、依然として困難な課題である。 本研究では,LLM応答の精度を高めるために,重要な決定点におけるモデル信頼度を体系的に組み込んだ不確実性認識フレームワークを提案する。 本研究では, LLMにおける多段階推論を奨励し, 数学的推論における数値結果や開領域生成における固有名詞などの中間解の信頼性を定量化する手法を提案する。 そして、これらの臨界中間段階の信頼度に基づいて、各推論チェーンの全体的な信頼度を評価する。 最後に、生成された応答経路の回答を、生成された各コンテンツの信頼性を反映した形で集約する(各生成された連鎖が多数決に等しく貢献する自己整合性とは対照的に)。 5つのデータセット、3つの数学的データセット、2つのオープンドメインデータセットで4つのLSMを用いて広範な実験を行った。 その結果,新しい信頼度集計法の有効性は一貫して検証され,数学およびオープンドメイン生成タスクのベースラインアプローチよりも,最大7.4%,5.8%の精度向上が達成された。 コードはhttps://github.com/Aquasar11/CERで公開されている。

関連論文リスト

• Fact-Level Confidence Calibration and Self-Correction [64.40105513819272]
  本稿では,事実レベルでの信頼度と妥当性の重み付けを校正するFact-Levelフレームワークを提案する。 また,信頼度の高い自己補正(textbfConFix$)も開発した。
  論文  参考訳（メタデータ） (2024-11-20T14:15:18Z)
• Graph-based Confidence Calibration for Large Language Models [22.394717844099684]
  本稿では,信頼度推定モデルを構築するための新しい手法を提案する。 重み付きグラフを用いて、質問に対する大きな言語モデルの応答の一貫性を表現します。 次に、正しい応答の確率を推定するためにグラフニューラルネットワークを訓練する。
  論文  参考訳（メタデータ） (2024-11-03T20:36:44Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Confidence Under the Hood: An Investigation into the Confidence-Probability Alignment in Large Language Models [14.5291643644017]
  信頼性・確率アライメントの概念を紹介します。 モデルの内部と信頼感の一致を調査する。 分析したモデルのうち、OpenAIのGPT-4は信頼性と信頼性のアライメントが最強であった。
  論文  参考訳（メタデータ） (2024-05-25T15:42:04Z)
• Think Twice Before Trusting: Self-Detection for Large Language Models through Comprehensive Answer Reflection [90.71323430635593]
  本稿では, LLM生成解を超える包括的解答空間を考察した, 新たな自己検出パラダイムを提案する。 このパラダイムに基づいて、2段階のフレームワークを導入し、まずまずLLMに各候補の回答を反映し、正当化するように指示する。 このフレームワークは、優れた自己検出のための既存のアプローチとシームレスに統合できる。
  論文  参考訳（メタデータ） (2024-03-15T02:38:26Z)
• Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs [60.61002524947733]
  従来の信頼性推論手法は、内部モデル情報やモデル微調整へのホワイトボックスアクセスに依存していた。 これにより、不確実性推定のためのブラックボックスアプローチの未解決領域を探索する必要性が高まっている。 言語的信頼を導き出すための戦略の推進、複数の応答を生成するためのサンプリング方法、一貫性を計算するための集約手法の3つの要素からなる体系的フレームワークを定義する。
  論文  参考訳（メタデータ） (2023-06-22T17:31:44Z)
• A Confidence-based Partial Label Learning Model for Crowd-Annotated Named Entity Recognition [74.79785063365289]
  名前付きエンティティ認識(NER)のための既存のモデルは、主に大規模ラベル付きデータセットに基づいている。 我々は,クラウドアノテートNERに対する先行信頼度(アノテータによる提案)と後続信頼度(モデルによる学習)を統合するために,信頼に基づく部分ラベル学習(CPLL)手法を提案する。
  論文  参考訳（メタデータ） (2023-05-21T15:31:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。