論文の概要: Conformal Prediction for Natural Language Processing: A Survey

• arxiv url: http://arxiv.org/abs/2405.01976v1
• Date: Fri, 3 May 2024 10:00:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-06 13:15:51.334898
• Title: Conformal Prediction for Natural Language Processing: A Survey
• Title（参考訳）: 自然言語処理のコンフォーマル予測:サーベイ
• Authors: Margarida M. Campos, António Farinhas, Chrysoula Zerva, Mário A. T. Figueiredo, André F. T. Martins,
• Abstract要約: コンフォーマル予測は理論的に健全で実用的なフレームワークとして現れている。 そのモデルに依存しない分布のない性質は、特にNLPシステムの現在の欠点に対処することを約束している。 本稿では,共形予測手法とその保証,およびNLPにおける既存応用に関する包括的調査を行う。
• 参考スコア（独自算出の注目度）: 23.638214012459425
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid proliferation of large language models and natural language processing (NLP) applications creates a crucial need for uncertainty quantification to mitigate risks such as hallucinations and to enhance decision-making reliability in critical applications. Conformal prediction is emerging as a theoretically sound and practically useful framework, combining flexibility with strong statistical guarantees. Its model-agnostic and distribution-free nature makes it particularly promising to address the current shortcomings of NLP systems that stem from the absence of uncertainty quantification. This paper provides a comprehensive survey of conformal prediction techniques, their guarantees, and existing applications in NLP, pointing to directions for future research and open challenges.
• Abstract（参考訳）: 大規模言語モデルの急速な普及と自然言語処理(NLP)の応用は、幻覚などのリスクを軽減し、重要なアプリケーションにおける意思決定の信頼性を高めるために、不確実性定量化の重要な必要性を生み出している。 コンフォーマル予測は理論的に健全で実用的なフレームワークとして現れ、柔軟性と強力な統計的保証を組み合わせる。 そのモデルに依存しない分布のない性質は、不確実な定量化の欠如に起因するNLPシステムの現在の欠点に対処することを特に有望にしている。 本稿では, コンフォーマル予測手法, 保証, およびNLPの既存応用に関する総合的な調査を行い, 今後の研究の方向性と課題について述べる。

関連論文リスト

• Know Where You're Uncertain When Planning with Multimodal Foundation Models: A Formal Framework [54.40508478482667]
  認識と計画生成の不確実性を解消し、定量化し、緩和する包括的枠組みを提案する。 本稿では,知覚と意思決定の独特な性質に合わせた手法を提案する。 この不確実性分散フレームワークは, 変動率を最大40%削減し, タスク成功率をベースラインに比べて5%向上させることを示した。
  論文  参考訳（メタデータ） (2024-11-03T17:32:00Z)
• On Uncertainty In Natural Language Processing [2.5076643086429993]
  この論文は、自然言語処理における不確実性が言語的、統計的、神経的な観点からどのように特徴づけられるかを研究する。 本研究では,非交換不能な共形予測に基づく自然言語生成における校正サンプリング手法を提案する。 最後に,補助予測器を用いた大規模ブラックボックス言語モデルの信頼性の定量化手法を開発した。
  論文  参考訳（メタデータ） (2024-10-04T14:08:02Z)
• ConU: Conformal Uncertainty in Large Language Models with Correctness Coverage Guarantees [68.33498595506941]
  自己整合性理論に基づく新しい不確実性尺度を導入する。 次に,CPアルゴリズムに正当性に整合した不確かさ条件を組み込むことにより,適合性不確かさの基準を策定する。 実証的な評価は、我々の不確実性測定が過去の最先端手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-06-29T17:33:07Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Score Matching-based Pseudolikelihood Estimation of Neural Marked Spatio-Temporal Point Process with Uncertainty Quantification [59.81904428056924]
  我々は、不確実な定量化を伴うmarkPsを学習するためのスコアMAtching推定器であるSMASHを紹介する。 具体的には,スコアマッチングによるマークPsの擬似的類似度を推定することにより,正規化自由度を推定する。 提案手法の優れた性能は、事象予測と不確実性定量化の両方において広範な実験によって実証される。
  論文  参考訳（メタデータ） (2023-10-25T02:37:51Z)
• Uncertainty in Natural Language Processing: Sources, Quantification, and Applications [56.130945359053776]
  NLP分野における不確実性関連作業の総合的なレビューを行う。 まず、自然言語の不確実性の原因を、入力、システム、出力の3つのタイプに分類する。 我々は,NLPにおける不確実性推定の課題について論じ,今後の方向性について論じる。
  論文  参考訳（メタデータ） (2023-06-05T06:46:53Z)
• Conformal Prediction with Large Language Models for Multi-Choice Question Answering [7.049780432343948]
  共形予測からの不確実性推定は予測精度と密接に相関していることがわかった。 この研究は、安全クリティカルな状況において、より信頼性が高く信頼性の高い大規模言語モデルの活用に寄与する。
  論文  参考訳（メタデータ） (2023-05-28T15:26:10Z)
• Conformal Methods for Quantifying Uncertainty in Spatiotemporal Data: A Survey [0.0]
  高リスク環境では、モデルが自身の信頼を反映し、失敗を避けるために不確実性を生み出すことが重要である。 本稿では, ディープラーニングにおける不確実性(UQ)に関する最近の研究, 特に, 数学的, 広範に適用可能な分布自由な等角予測法について調査する。
  論文  参考訳（メタデータ） (2022-09-08T06:08:48Z)
• The Unreasonable Effectiveness of Deep Evidential Regression [72.30888739450343]
  不確実性を考慮した回帰ベースニューラルネットワーク(NN)による新しいアプローチは、従来の決定論的手法や典型的なベイズ的NNよりも有望であることを示している。 我々は、理論的欠点を詳述し、合成および実世界のデータセットのパフォーマンスを分析し、Deep Evidential Regressionが正確な不確実性ではなく定量化であることを示す。
  論文  参考訳（メタデータ） (2022-05-20T10:10:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。