論文の概要: Uncertainty Quantification of Large Language Models through Multi-Dimensional Responses

• arxiv url: http://arxiv.org/abs/2502.16820v1
• Date: Mon, 24 Feb 2025 04:05:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:58:23.842895
• Title: Uncertainty Quantification of Large Language Models through Multi-Dimensional Responses
• Title（参考訳）: 多次元応答による大規模言語モデルの不確実性定量化
• Authors: Tiejin Chen, Xiaoou Liu, Longchao Da, Xiaoou Liu, Vagelis Papalexakis, Hua Wei,
• Abstract要約: セマンティック・ナレッジ・アウェア・類似性分析を統合した多次元UQフレームワークを提案する。 このアプローチは、意味と知識の両方の次元から重なり合う情報を分離し、意味のバリエーションと事実の一貫性の両方をキャプチャする。 実験により,本手法は不確かさを識別する既存の手法よりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 2.2235397116901305
• License:
• Abstract: Large Language Models (LLMs) have demonstrated remarkable capabilities across various tasks due to large training datasets and powerful transformer architecture. However, the reliability of responses from LLMs remains a question. Uncertainty quantification (UQ) of LLMs is crucial for ensuring their reliability, especially in areas such as healthcare, finance, and decision-making. Existing UQ methods primarily focus on semantic similarity, overlooking the deeper knowledge dimensions embedded in responses. We introduce a multi-dimensional UQ framework that integrates semantic and knowledge-aware similarity analysis. By generating multiple responses and leveraging auxiliary LLMs to extract implicit knowledge, we construct separate similarity matrices and apply tensor decomposition to derive a comprehensive uncertainty representation. This approach disentangles overlapping information from both semantic and knowledge dimensions, capturing both semantic variations and factual consistency, leading to more accurate UQ. Our empirical evaluations demonstrate that our method outperforms existing techniques in identifying uncertain responses, offering a more robust framework for enhancing LLM reliability in high-stakes applications.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、大規模なトレーニングデータセットと強力なトランスフォーマーアーキテクチャによって、様々なタスクにまたがる顕著な機能を示している。 しかし、LSMからの応答の信頼性は依然として疑問である。 LLMの不確実性定量化(UQ)は、特に医療、金融、意思決定などの分野において、信頼性を確保するために不可欠である。 既存のUQ手法は主にセマンティックな類似性に注目し、応答に埋め込まれた深い知識次元を見渡す。 セマンティック・ナレッジ・アウェア・類似性分析を統合した多次元UQフレームワークを提案する。 複数の応答を生成して補助LDMを利用して暗黙の知識を抽出することにより、異なる類似性行列を構築し、テンソル分解を適用して包括的不確実性表現を導出する。 このアプローチは、意味と知識の両方の次元から重なり合う情報を分離し、意味的バリエーションと事実的一貫性の両方をキャプチャし、より正確なUQをもたらす。 実験により,本手法は不確かさを識別する既存の手法よりも優れた性能を示し,高スループットアプリケーションにおけるLCM信頼性向上のためのより堅牢なフレームワークを提供する。

関連論文リスト

• Multi-granular Training Strategies for Robust Multi-hop Reasoning Over Noisy and Heterogeneous Knowledge Sources [0.0]
  マルチソースマルチホップ質問応答(QA)は自然言語処理における課題である。 既存の手法は、しばしばカスケードエラー、知識衝突の処理が不十分なこと、計算の非効率さに悩まされる。 パラメトリックおよび検索された知識を動的に融合する適応多元的知識指向推論(AMKOR)を提案する。
  論文  参考訳（メタデータ） (2025-02-09T16:06:43Z)
• CoCoA: A Generalized Approach to Uncertainty Quantification by Integrating Confidence and Consistency of LLM Outputs [35.74755307680801]
  大規模言語モデル(LLM)のための不確実性定量化(UQ)手法は、様々なアプローチを含んでいる。 本稿では,モデル信頼度と出力整合性を新たに合成する方法を提案する。
  論文  参考訳（メタデータ） (2025-02-07T14:30:12Z)
• UAlign: Leveraging Uncertainty Estimations for Factuality Alignment on Large Language Models [41.67393607081513]
  大きな言語モデル(LLM)は、しばしば、彼らが持っている事実の知識を正確に表現するのに苦労する。 知識境界を表現するために不確実性推定を利用するUAlignフレームワークを提案する。 提案したUAlign は LLM の能力を大幅に向上させ,既知の疑問に自信を持って答えることができることを示す。
  論文  参考訳（メタデータ） (2024-12-16T14:14:27Z)
• Drawing the Line: Enhancing Trustworthiness of MLLMs Through the Power of Refusal [21.342265570934995]
  既存の手法はMLLMの信頼性を高める手段としての拒絶応答の重要性をほとんど見落としてきた。 InBoL(Information Boundary-Aware Learning Framework)は,MLLMが不十分な情報に遭遇する際のユーザクエリの応答を拒否する,新たなアプローチである。 このフレームワークでは、包括的なデータ生成パイプラインと、適切な拒絶応答を提供するモデルの能力を改善するためのトレーニング戦略が導入された。
  論文  参考訳（メタデータ） (2024-12-15T14:17:14Z)
• A Survey on Uncertainty Quantification of Large Language Models: Taxonomy, Open Research Challenges, and Future Directions [9.045698110081686]
  大規模言語モデル (LLMs) は、信頼性を高く表現した、妥当で、事実的に正しくない応答を生成する。 従来の研究では、LLMが生み出す幻覚やその他の非現実的な反応は、関連するプロンプトに対するLLMの不確実性を調べることによって検出できることが示されている。 本調査は, LLMの健全な特徴と強度, 弱点を識別し, 既存の不確実性定量化手法を幅広く検討することを目的としている。
  論文  参考訳（メタデータ） (2024-12-07T06:56:01Z)
• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Uncertainty Quantification for In-Context Learning of Large Language Models [52.891205009620364]
  大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。 両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。 提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
  論文  参考訳（メタデータ） (2024-02-15T18:46:24Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。