論文の概要: Uncertainty Quantification for LLM Function-Calling

• arxiv url: http://arxiv.org/abs/2604.22985v1
• Date: Fri, 24 Apr 2026 19:56:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:07.08426
• Title: Uncertainty Quantification for LLM Function-Calling
• Title（参考訳）: LLM関数計算の不確かさの定量化
• Abstract要約: 大規模言語モデル(LLM)は、現実のタスクを自律的に解決するために、ますます多くデプロイされている。 不確実性定量化(UQ)手法は、この信頼度を定量化し、潜在的に不正な関数呼び出しを防止するために用いられる。
• 参考スコア（独自算出の注目度）: 29.49069464022948
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are increasingly deployed to autonomously solve real-world tasks. A key ingredient for this is the LLM Function-Calling paradigm, a widely used approach for equipping LLMs with tool-use capabilities. However, an LLM calling functions incorrectly can have severe implications, especially when their effects are irreversible, e.g., transferring money or deleting data. Hence, it is of paramount importance to consider the LLM's confidence that a function call solves the task correctly prior to executing it. Uncertainty Quantification (UQ) methods can be used to quantify this confidence and prevent potentially incorrect function calls. In this work, we present what is, to our knowledge, the first evaluation of UQ methods for LLM Function-Calling (FC). While multi-sample UQ methods, such as Semantic Entropy, show strong performance for natural language Q&A tasks, we find that in the FC setting, it offers no clear advantage over simple single-sample UQ methods. Additionally, we find that the particularities of FC outputs can be leveraged to improve the performance of existing UQ methods in this setting. Specifically, multi-sample UQ methods benefit from clustering FC outputs based on their abstract syntax tree parsing, while single-sample UQ methods can be improved by selecting only semantically meaningful tokens when calculating logit-based uncertainty scores.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、現実のタスクを自律的に解決するために、ますます多くデプロイされている。 LLM関数変換パラダイム(LLM Function-Calling paradigm)は、LLMにツール使用機能を持たせるために広く使われている手法である。 しかし、LLM呼び出し関数は、特にその効果が不可逆である場合、例えば、送金やデータの削除など、深刻な意味を持つ可能性がある。 したがって、関数呼び出しがそれを実行する前にそのタスクを正しく解決するというLCMの自信を考えることが最重要となる。 不確実性定量化(UQ)手法は、この信頼度を定量化し、潜在的に不正な関数呼び出しを防止するために用いられる。 本研究では,LLM関数カルリング(FC)のためのUQ手法の最初の評価を行う。 セマンティック・エントロピー(Semantic Entropy)のようなマルチサンプルUQ手法は、自然言語Q&Aタスクに対して強い性能を示すが、FC設定では単純な単一サンプルUQ手法に対して明確な優位性はない。 さらに, 既存のUQ手法の性能向上のために, FC出力の特異性を活用できることが判明した。 具体的には、マルチサンプルUQ手法は、抽象構文木解析に基づくFC出力のクラスタリングの恩恵を受ける一方、単一サンプルUQ手法は、ロジットベースの不確実性スコアを計算する際に意味的に意味のあるトークンのみを選択することで改善することができる。

関連論文リスト

• Evaluating Uncertainty Quantification Methods in Argumentative Large Language Models [24.97354151540176]
  我々は,異なるUQ手法を用いる場合のクレーム検証タスクにおいて,ArgLLMsの性能を評価する実験を行う。 これらの結果から,ArgLLMsでは直接的プロンプトが有効なUQ戦略であることが示唆された。
  論文  参考訳（メタデータ） (2025-09-26T19:59:09Z)
• On the Effectiveness of LLM-as-a-judge for Code Generation and Summarization [54.965787768076254]
  大規模言語モデルは、最近、Q&Aのような複雑な自然言語処理タスクの裁判官として活用されている。 コード生成とコード要約という2つのコード関連タスクに対するLLMs-as-a-judgeの有効性について検討した。
  論文  参考訳（メタデータ） (2025-07-22T13:40:26Z)
• UQLM: A Python Package for Uncertainty Quantification in Large Language Models [0.0]
  我々は、最先端不確実性定量化(UQ)技術を用いた幻覚検出のためのPythonパッケージであるUQLMを紹介する。 このツールキットは、応答レベルの信頼性スコアを0から1まで計算するUQベースのスコアラーのスイートを提供する。
  論文  参考訳（メタデータ） (2025-07-08T17:22:32Z)
• Revisiting Uncertainty Quantification Evaluation in Language Models: Spurious Interactions with Response Length Bias Results [10.551985027162576]
  評価では、AUROCのようなメトリクスを使って、UQメソッドがタスクの正しさ関数とどのように相関しているかを評価する。 その結果,UQ法と正当性関数の双方が同一の因子に偏りがある場合,相互バイアスがシステム的に歪曲することがわかった。 LM-as-a-judge法は最短長バイアスであり,より公平なUQ評価の道筋を提供する。
  論文  参考訳（メタデータ） (2025-04-18T13:13:42Z)
• CoT-UQ: Improving Response-wise Uncertainty Quantification in LLMs with Chain-of-Thought [10.166370877826486]
  大規模言語モデル(LLM)は多くのタスクで優れるが、生成された応答の不確かさを正確に定量化するのに苦労する。 LLMの既存の不確実量化法(UQ)は、応答性よりも応答性の方が早い。 応答型UQフレームワークであるCoT-UQを提案する。
  論文  参考訳（メタデータ） (2025-02-24T14:48:06Z)
• Token-Level Density-Based Uncertainty Quantification Methods for Eliciting Truthfulness of Large Language Models [76.17975723711886]
  不確実性定量化(英: Uncertainty Quantification、UQ)は、大規模言語モデル(LLM)から真正性を求めるための顕著なアプローチである。 本研究では,テキスト生成のために,分類タスクのUQ技術であるMahalanobis Distance (MD)を適用した。 提案手法は,複数レイヤのLCMからトークン埋め込みを抽出し,各トークンのMDスコアを計算し,これらの特徴を訓練した線形回帰を用いてロバストな不確実性スコアを提供する。
  論文  参考訳（メタデータ） (2025-02-20T10:25:13Z)
• Uncertainty Quantification for LLMs through Minimum Bayes Risk: Bridging Confidence and Consistency [66.96286531087549]
  大規模言語モデル(LLM)のための不確実性定量化(UQ)手法は、様々なアプローチを含んでいる。 本稿では,モデル信頼度と出力整合性を統合する新しい手法を提案する。 我々は,質問応答,抽象要約,機械翻訳など,様々なタスクに対するアプローチを評価する。
  論文  参考訳（メタデータ） (2025-02-07T14:30:12Z)
• Benchmarking Uncertainty Quantification Methods for Large Language Models with LM-Polygraph [83.90988015005934]
  不確実性定量化は機械学習アプリケーションにおいて重要な要素である。 最新のUQベースラインの集合を実装した新しいベンチマークを導入する。 我々は、11タスクにわたるUQと正規化技術に関する大規模な実証的研究を行い、最も効果的なアプローチを特定した。
  論文  参考訳（メタデータ） (2024-06-21T20:06:31Z)
• LaGR-SEQ: Language-Guided Reinforcement Learning with Sample-Efficient Querying [71.86163159193327]
  大規模言語モデル(LLM)は、最近、テキストを介してコンテキスト対応の応答を提供するという、印象的な能力を実証した。 この能力は、パターン補完に関連するシーケンシャルな意思決定タスクにおいて、妥当なソリューションを予測するために使われる可能性がある。 第一強化学習(RL)エージェントによって部分的に完了したタスクに対する解を提案するために,LLMのこの予測能力を利用するLaGRを紹介した。
  論文  参考訳（メタデータ） (2023-08-21T02:07:35Z)
• SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
  本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。 我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。 我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-16T17:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。