論文の概要: GUT: Quantifying and Optimizing the Reasoning Uncertainty of LLMs via Graph Complexity
- arxiv url: http://arxiv.org/abs/2609.05284v1
- Date: Fri, 04 Sep 2026 15:40:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:24.106598
- Title: GUT: Quantifying and Optimizing the Reasoning Uncertainty of LLMs via Graph Complexity
- Title(参考訳): GUT:グラフ複雑度によるLLMの推論不確かさの定量化と最適化
- Abstract要約: グラフ複雑度に基づくUncerTainty(GUT)法を提案し,Large Language Models(LLMs)の推論の不確実性について検討する。
GUTの鍵となる考え方は、各推論鎖の潜在的な枝を有向非巡回グラフで特徴づけることである。
- 参考スコア(独自算出の注目度): 12.203905842257797
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent years have witnessed great advances in the reasoning ability of Large Language Models (LLMs). However, the reasoning processes of LLMs often exhibit uncertainty, where LLMs often produce a proliferation of divergent branches at each reasoning step even when fed the same prompting inputs, and certain branches exhibit evidently incredible, even nonsensical, reasoning chains and results. In this paper, we propose the Graph-complexity-based UncerTainty (GUT) method for investigating the reasoning uncertainty of LLMs. The key idea of GUT is to characterize the potential branches of each reasoning chain with a directed acyclic graph, thereby ensuring that all potential branches are comprehensively covered within the graph space. Building upon this recognition, we further build two modules of GUT, that is, a Quantification (GUT-Q) module and an Optimization (GUT-O) module, for quantifying and reducing the reasoning uncertainty of LLMs, respectively. GUT-Q measures LLM reasoning uncertainty by approximating the reasoning space complexity with graph complexity. GUT-O implements uncertainty optimization by treating negative uncertainty as the reward function in reinforcement learning. Experimental results conducted on four LLMs and five datasets validate the effectiveness of GUT.
- Abstract(参考訳): 近年、Large Language Models (LLMs) の推論能力に大きな進歩が見られた。
しかし、LSMの推論過程は、しばしば不確実性を示しており、LSMは、同じプロンプトインプットを供給しても、それぞれの推論ステップで分岐枝の増殖を生じさせ、特定の枝は明らかに驚くべき、非感覚的な、推論チェーンと結果を示す。
本稿では,LLMの推論の不確実性を調べるために,グラフ複雑性に基づくUncerTainty(GUT)法を提案する。
GUTの鍵となる考え方は、各推論鎖のポテンシャル枝を有向非巡回グラフで特徴づけることであり、したがってすべてのポテンシャル枝がグラフ空間内で包括的に被覆されることを保証する。
この認識に基づいて、我々はさらに2つの GUT モジュール、すなわち量子化(GUT-Q)モジュールと最適化(GUT-O)モジュールを構築し、それぞれ LLM の不確かさの定量化と低減を行う。
GUT-Qは、推論空間の複雑さとグラフの複雑さを近似することにより、LCM推論の不確実性を測定する。
GUT-Oは、強化学習における報酬関数として負の不確実性を扱い、不確実性を最適化する。
4つのLLMと5つのデータセットによる実験結果から, GUTの有効性が検証された。
関連論文リスト
- A2RBench: An Automatic Paradigm for Formally Verifiable Abstract Reasoning Benchmark Generation [59.98516959731531]
抽象推論能力は、抽象ルールを抽出し適用するためのLLMの知性と能力を反映する。
既存のベンチマークは、高価な手作業のアノテーション、そのスケールの制限、あるいは真の推論ではなく暗記のリスク測定に頼っている。
我々はA2RBenchという名の自動パイプラインを導入し、生成、拡張、評価、分析を行う。
論文 参考訳(メタデータ) (2026-05-17T06:14:20Z) - Generative Adversarial Reasoner: Enhancing LLM Reasoning with Adversarial Reinforcement Learning [19.473649388687484]
大きな言語モデル(LLM)と明確な推論能力は、数学的推論では優れているが、プロセスエラーをコミットする。
本稿では,理論の強化を目的としたオンライン共同学習フレームワークGeneversarative Adrial Reasonerを紹介する。
計算効率の高いレビュースケジュールは、各推論チェーンを、同等の長さの論理的に完全なスライスに分割し、判別器は、構造化された正当化により、各スライスの音質を評価する。
論文 参考訳(メタデータ) (2025-12-18T18:59:54Z) - Reasoning with Confidence: Efficient Verification of LLM Reasoning Steps via Uncertainty Heads [104.9566359759396]
データ駆動の不確実性スコアに基づくステップレベルの推論検証の軽量な代替案を提案する。
本研究は, LLMの内部状態が不確実性を符号化し, 信頼性の高い検証信号として機能することが示唆された。
論文 参考訳(メタデータ) (2025-11-09T03:38:29Z) - WakenLLM: Evaluating Reasoning Potential and Stability in LLMs via Fine-Grained Benchmarking [34.350505059394536]
大規模言語モデル(LLM)は、推論タスクにおいて未知のラベルを頻繁に出力する。
我々は、モデル非能力に起因する未知の出力の一部を定量化するフレームワーク、WakenLLMを紹介した。
論文 参考訳(メタデータ) (2025-07-22T03:21:48Z) - Do LLMs Dream of Discrete Algorithms? [0.7646713951724011]
大規模言語モデル(LLM)は、人工知能の風景を急速に変化させてきた。
確率的推論への依存は、厳密な論理的推論を必要とする領域における有効性を制限する。
本稿では,論理ベースの推論モジュールでLLMを増強するニューロシンボリックアプローチを提案する。
論文 参考訳(メタデータ) (2025-06-29T22:03:01Z) - Premise-Augmented Reasoning Chains Improve Error Identification in Math reasoning with LLMs [10.179253284788796]
大型言語モデル(LLM)の数学的推論を促進させるチェーン・オブ・ソート(CoT)
本稿では,各ステップの前提を識別し,推論の評価を改善するためのフレームワークを提案する。
本研究は,複雑な問題解決課題に対処する前提中心表現の有用性を強調した。
論文 参考訳(メタデータ) (2025-02-04T14:44:58Z) - ZebraLogic: On the Scaling Limits of LLMs for Logical Reasoning [92.76959707441954]
我々はLLM推論性能を評価するための総合的な評価フレームワークであるZebraLogicを紹介した。
ZebraLogicは、制御可能で定量化可能な複雑さを持つパズルの生成を可能にする。
その結果,複雑性が増大するにつれて,精度が著しく低下することが明らかとなった。
論文 参考訳(メタデータ) (2025-02-03T06:44:49Z) - GIVE: Structured Reasoning of Large Language Models with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを融合して、最小の外部入力で正確な推論を改善する新しい推論手法である。
GIVE は LLM エージェントをガイドして,最も関連する専門家データ (observe) を選択し,クエリ固有の発散思考 (reflect) に従事し,その情報を合成して最終的な出力 (speak) を生成する。
論文 参考訳(メタデータ) (2024-10-11T03:05:06Z) - Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。
LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。
本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
論文 参考訳(メタデータ) (2024-10-05T05:21:48Z) - Direct Evaluation of Chain-of-Thought in Multi-hop Reasoning with Knowledge Graphs [52.42505579545893]
大規模言語モデル(LLM)は、回答とともにチェーン・オブ・シントの説明を生成するよう促されたとき、強い推論能力を示す。
本稿では,LLMの推論知識と生成したCoTの精度を評価するために,新しい識別的・生成的CoT評価パラダイムを提案する。
論文 参考訳(メタデータ) (2024-02-17T05:22:56Z) - GraphReason: Enhancing Reasoning Capabilities of Large Language Models through A Graph-Based Verification Approach [0.0]
大きな言語モデル(LLM)は印象的な推論機能を示しています。
本稿では,LLMの推論能力をさらに向上するグラフベースの新しい手法を提案する。
論文 参考訳(メタデータ) (2023-08-18T03:12:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。