論文の概要: All Roads Lead to Rome: Graph-Based Confidence Estimation for Large Language Model Reasoning
- arxiv url: http://arxiv.org/abs/2509.12908v1
- Date: Tue, 16 Sep 2025 10:02:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-17 17:50:53.021123
- Title: All Roads Lead to Rome: Graph-Based Confidence Estimation for Large Language Model Reasoning
- Title(参考訳): ローマへの全道 - 大規模言語モデル推論のためのグラフベースの信頼度推定
- Authors: Caiqi Zhang, Chang Shu, Ehsan Shareghi, Nigel Collier,
- Abstract要約: 本稿では,推論タスクに適したトレーニング不要なグラフベースの信頼度推定手法を提案する。
我々のアプローチは、経路を有向グラフとして推論し、中央性、経路収束、経路重み付けといったグラフ特性を利用して信頼度を推定する。
- 参考スコア(独自算出の注目度): 35.56004930841018
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Confidence estimation is essential for the reliable deployment of large language models (LLMs). Existing methods are primarily designed for factual QA tasks and often fail to generalize to reasoning tasks. To address this gap, we propose a set of training-free, graph-based confidence estimation methods tailored to reasoning tasks. Our approach models reasoning paths as directed graphs and estimates confidence by exploiting graph properties such as centrality, path convergence, and path weighting. Experiments with two LLMs on three reasoning datasets demonstrate improved confidence estimation and enhanced performance on two downstream tasks.
- Abstract(参考訳): 信頼度推定は、大規模言語モデル(LLM)の信頼性の高いデプロイに不可欠である。
既存の手法は、主に実のQAタスクのために設計されており、しばしば推論タスクへの一般化に失敗する。
このギャップに対処するために、推論タスクに適したトレーニング不要なグラフベースの信頼度推定手法を提案する。
我々のアプローチは、経路を有向グラフとして推論し、中央性、経路収束、経路重み付けといったグラフ特性を利用して信頼度を推定する。
3つの推論データセットに対する2つのLLM実験により、2つの下流タスクにおける信頼性推定と性能向上が示された。
関連論文リスト
- Mind the Generation Process: Fine-Grained Confidence Estimation During LLM Generation [63.49409574310576]
大規模言語モデル(LLM)は自信過剰を示し、信頼度の高いスコアを誤った予測に割り当てる。
本研究では,テキスト生成中に高精度できめ細かな信頼スコアを提供する信頼度推定手法であるFineCEを紹介する。
論文で使用されたコードとすべてのベースラインはGitHubで公開されている。
論文 参考訳(メタデータ) (2025-08-16T13:29:35Z) - Beyond Scaling: Measuring and Predicting the Upper Bound of Knowledge Retention in Language Model Pre-Training [51.41246396610475]
本稿では,外部ツールを使わずにクローズドブック質問応答(QA)の性能を予測することを目的とする。
我々は、21の公開言語と3つのカスタムトレーニングされた大規模言語モデルの事前学習コーパスに対して、大規模な検索と意味解析を行う。
これらの基礎の上に構築されたSMI(Size-dependent Mutual Information)は,事前学習データの特徴を線形に相関させる情報理論の指標である。
論文 参考訳(メタデータ) (2025-02-06T13:23:53Z) - Graph-based Confidence Calibration for Large Language Models [22.394717844099684]
本稿では,大規模言語モデルによって生成された複数の出力の自己整合性に基づいて,応答正当性を評価するための補助学習モデルを提案する。
提案手法は,複数応答間の一致を表現するために整合性グラフを構築し,グラフニューラルネットワーク(GNN)を用いて各応答の正しさを推定する。
論文 参考訳(メタデータ) (2024-11-03T20:36:44Z) - Improve Vision Language Model Chain-of-thought Reasoning [86.83335752119741]
視覚言語モデル(VLM)におけるチェーン・オブ・シント(CoT)推論は、解釈可能性と信頼性を向上させるために不可欠である。
我々は,より詳細な回答を必要とする推論タスクに対して,短時間でVLMを訓練することはよくないことを示す。
論文 参考訳(メタデータ) (2024-10-21T17:00:06Z) - Harnessing the Power of Large Language Model for Uncertainty Aware Graph Processing [24.685942503019948]
本稿では,大言語モデル(LLM)のパワーを生かした新しい手法を提案する。
筆者らは,2つのグラフ処理タスク,すなわち知識グラフ補完とグラフ分類について実験を行った。
LLM が生成した回答の正確性を予測するため,10 つのデータセットのうち 7 つに対して 0.8 以上の AUC を達成した。
論文 参考訳(メタデータ) (2024-03-31T07:38:39Z) - Ladder-of-Thought: Using Knowledge as Steps to Elevate Stance Detection [73.31406286956535]
姿勢検出タスクにLadder-of-Thought(LoT)を導入する。
LoTは、小さなLMに高品質な外部知識を同化させ、生成した中間的論理を精査するように指示する。
実験では, 姿勢検出タスクにおけるCoTのGPT-3.5よりも16%改善し, 10%向上した。
論文 参考訳(メタデータ) (2023-08-31T14:31:48Z) - Improving the Reliability for Confidence Estimation [16.952133489480776]
信頼度推定は、デプロイ中のモデルの予測出力の信頼性を評価することを目的としたタスクである。
これまでの研究は、信頼度推定モデルが持つべき2つの重要な特性を概説してきた。
信頼度推定モデルにおいて、両方の品質を同時に改善できるメタラーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-13T06:34:23Z) - Learning Accurate Dense Correspondences and When to Trust Them [161.76275845530964]
2つの画像に関連する密度の高い流れ場と、堅牢な画素方向の信頼度マップの推定を目指しています。
フロー予測とその不確実性を共同で学習するフレキシブルな確率的アプローチを開発する。
本手法は,幾何学的マッチングと光フローデータセットに挑戦する最新の結果を得る。
論文 参考訳(メタデータ) (2021-01-05T18:54:11Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳(メタデータ) (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。