論文の概要: Rethinking the Uncertainty: A Critical Review and Analysis in the Era of Large Language Models

• arxiv url: http://arxiv.org/abs/2410.20199v1
• Date: Sat, 26 Oct 2024 15:07:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:23:01.100738
• Title: Rethinking the Uncertainty: A Critical Review and Analysis in the Era of Large Language Models
• Title（参考訳）: 不確かさを再考する:大規模言語モデルの時代における批判的レビューと分析
• Authors: Mohammad Beigi, Sijia Wang, Ying Shen, Zihao Lin, Adithya Kulkarni, Jianfeng He, Feng Chen, Ming Jin, Jin-Hee Cho, Dawei Zhou, Chang-Tien Lu, Lifu Huang,
• Abstract要約: 大規模言語モデル(LLM)は、幅広い人工知能応用の基礎となっている。 現在の手法はしばしば、真の不確実性を特定し、測定し、対処するのに苦労する。 本稿では,不確実性の種類や原因を特定し,理解するための包括的枠組みを提案する。
• 参考スコア（独自算出の注目度）: 42.563558441750224
• License:
• Abstract: In recent years, Large Language Models (LLMs) have become fundamental to a broad spectrum of artificial intelligence applications. As the use of LLMs expands, precisely estimating the uncertainty in their predictions has become crucial. Current methods often struggle to accurately identify, measure, and address the true uncertainty, with many focusing primarily on estimating model confidence. This discrepancy is largely due to an incomplete understanding of where, when, and how uncertainties are injected into models. This paper introduces a comprehensive framework specifically designed to identify and understand the types and sources of uncertainty, aligned with the unique characteristics of LLMs. Our framework enhances the understanding of the diverse landscape of uncertainties by systematically categorizing and defining each type, establishing a solid foundation for developing targeted methods that can precisely quantify these uncertainties. We also provide a detailed introduction to key related concepts and examine the limitations of current methods in mission-critical and safety-sensitive applications. The paper concludes with a perspective on future directions aimed at enhancing the reliability and practical adoption of these methods in real-world scenarios.
• Abstract（参考訳）: 近年、Large Language Models (LLMs) は人工知能の幅広い応用の基礎となっている。 LLMの使用が拡大するにつれて、予測の不確かさを正確に推定することが重要になっている。 現在の手法では、モデルの信頼性を推定することを中心に、真の不確実性を特定し、測定し、対処するのに苦労することが多い。 この相違は主に、モデルにいつ、いつ、どのように不確実性が注入されるかという不完全な理解のためである。 本稿では, LLMの特異な特徴に則って, 不確実性の種類や原因を特定し, 理解するための包括的枠組みを提案する。 本フレームワークは,各タイプを体系的に分類・定義することで,不確実性の多様な景観の理解を深め,これらの不確実性を正確に定量化できる手法を開発するための基盤を確立する。 また、ミッションクリティカルで安全性に敏感なアプリケーションにおいて、鍵となる概念を詳細に紹介し、現在の手法の限界について検討する。 本稿は,現実シナリオにおけるこれらの手法の信頼性と実践性の向上をめざして,今後の方向性を考察する。

関連論文リスト

• Know Where You're Uncertain When Planning with Multimodal Foundation Models: A Formal Framework [54.40508478482667]
  認識と計画生成の不確実性を解消し、定量化し、緩和する包括的枠組みを提案する。 本稿では,知覚と意思決定の独特な性質に合わせた手法を提案する。 この不確実性分散フレームワークは, 変動率を最大40%削減し, タスク成功率をベースラインに比べて5%向上させることを示した。
  論文  参考訳（メタデータ） (2024-11-03T17:32:00Z)
• A Survey of Uncertainty Estimation in LLMs: Theory Meets Practice [7.687545159131024]
  我々は、不確実性と信頼の定義を明確にし、それらの区別とモデル予測への含意を明らかにする。 本稿では,アプローチから導いた不確実性推定手法を分類する。 また,分布外検出,データアノテーション,質問の明確化など,多様なアプリケーションに不確実性をもたらす技術についても検討する。
  論文  参考訳（メタデータ） (2024-10-20T07:55:44Z)
• A Comprehensive Survey on Evidential Deep Learning and Its Applications [64.83473301188138]
  Evidential Deep Learning (EDL)は、単一のフォワードパスで最小限の追加計算で信頼性の高い不確実性推定を提供する。 まず、主観的論理理論であるEDLの理論的基礎を掘り下げ、他の不確実性推定フレームワークとの区別について議論する。 さまざまな機械学習パラダイムや下流タスクにまたがる広範な応用について詳しく述べる。
  論文  参考訳（メタデータ） (2024-09-07T05:55:06Z)
• Navigating Uncertainties in Machine Learning for Structural Dynamics: A Comprehensive Review of Probabilistic and Non-Probabilistic Approaches in Forward and Inverse Problems [0.0]
  本稿では,機械学習(ML)における不確実性のナビゲートに関する包括的レビューを行う。 確率的手法や非確率的手法に対する不確実性に気付くアプローチを列挙する。 このレビューは、ML技術を利用して構造的動的問題の不確実性に対処する際、研究者や実践者が情報的決定を行うのを支援することを目的としている。
  論文  参考訳（メタデータ） (2024-08-16T09:43:01Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• A Structured Review of Literature on Uncertainty in Machine Learning & Deep Learning [0.8667724053232616]
  我々は、リスクに敏感なアプリケーション、すなわち不確実性を理解し、定量化するアプリケーションにおいて、機械学習を適応するための重要な関心事に焦点を当てる。 本稿では,このトピックを構造化した方法でアプローチし,不確実性がMLプロセスに封入されているというさまざまな側面の文献をレビューする。 このレビューの主な貢献は、不確実性議論の範囲を広げ、Deep Learningにおける不確実性定量化手法のレビューを更新することである。
  論文  参考訳（メタデータ） (2024-06-01T07:17:38Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• A Theoretical and Practical Framework for Evaluating Uncertainty Calibration in Object Detection [1.8843687952462744]
  本研究では,不確実性校正の文脈において,物体検出システムを評価するための理論的,実践的な枠組みを提案する。 提案した不確実性校正指標のロバスト性は, 一連の代表的な実験を通して示される。
  論文  参考訳（メタデータ） (2023-09-01T14:02:44Z)
• Decision-Making Under Uncertainty: Beyond Probabilities [5.358161704743754]
  古典的な仮定は、確率はシステムの不確実性をすべて十分に捉えることができるというものである。 本稿では、この古典的解釈を超える不確実性に焦点を当てる。 離散モデルと連続モデルの両方に対していくつかの解法を示す。
  論文  参考訳（メタデータ） (2023-03-10T10:53:33Z)
• Uncertainty as a Form of Transparency: Measuring, Communicating, and Using Uncertainty [66.17147341354577]
  我々は,モデル予測に関連する不確実性を推定し,伝達することにより,相補的な透明性の形式を考えることについて議論する。 モデルの不公平性を緩和し、意思決定を強化し、信頼できるシステムを構築するために不確実性がどのように使われるかを説明する。 この研究は、機械学習、可視化/HCI、デザイン、意思決定、公平性にまたがる文学から引き出された学際的レビューを構成する。
  論文  参考訳（メタデータ） (2020-11-15T17:26:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。