論文の概要: A Survey of Language Model Confidence Estimation and Calibration

• arxiv url: http://arxiv.org/abs/2311.08298v1
• Date: Tue, 14 Nov 2023 16:43:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-15 13:26:20.764380
• Title: A Survey of Language Model Confidence Estimation and Calibration
• Title（参考訳）: 言語モデルの信頼度推定と校正に関する調査
• Authors: Jiahui Geng, Fengyu Cai, Yuxia Wang, Heinz Koeppl, Preslav Nakov, Iryna Gurevych
• Abstract要約: 言語モデル(LM)は、様々な領域において幅広いタスクにまたがる顕著な機能を示してきた。 優れたパフォーマンスにもかかわらず、そのアウトプットの信頼性は、AIの安全性の要求に関係があり、疑わしい。 本稿では,LMの信頼度推定と校正のための手法と手法について論じる。
• 参考スコア（独自算出の注目度）: 91.86126820036058
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Language models (LMs) have demonstrated remarkable capabilities across a wide range of tasks in various domains. Despite their impressive performance, the reliability of their output is concerning and questionable regarding the demand for AI safety. Assessing the confidence of LM predictions and calibrating them across different tasks with the aim to align LM confidence with accuracy can help mitigate risks and enable LMs to make better decisions. There have been various works in this respect, but there has been no comprehensive overview of this important research area. The present survey aims to bridge this gap. In particular, we discuss methods and techniques for LM confidence estimation and calibration, encompassing different LMs and various tasks. We further outline the challenges of estimating the confidence for large language models and we suggest some promising directions for future work.
• Abstract（参考訳）: 言語モデル(lms)は、さまざまなドメインの幅広いタスクにまたがる驚くべき能力を示しています。 優れたパフォーマンスにもかかわらず、そのアウトプットの信頼性は、AIの安全性の要求に関係があり、疑わしい。 LM予測の信頼性を評価し、異なるタスク間でそれらを調整することで、LM信頼と精度を一致させることでリスクを軽減し、LMがより良い決定を下すことができる。 この点については様々な研究があるが、この重要な研究分野の総合的な概要は見当たらない。 本調査は,このギャップを埋めることを目的としている。 特に,lm信頼度推定とキャリブレーションの手法と手法について検討し,異なるlmと様々なタスクを包含する。 我々はさらに,大規模言語モデルの信頼度を推定する課題を概説し,今後の作業に有望な方向性を提案する。

関連論文リスト

• A Survey on LLM-as-a-Judge [10.257160590560824]
  大規模言語モデル(LLM)は、様々な領域で大きな成功を収めています。 LLMは、従来の専門家主導の評価に代わる魅力的な代替手段である。 LLM-as-a-Judgeシステムはどうやって構築できるのか?
  論文  参考訳（メタデータ） (2024-11-23T16:03:35Z)
• Factuality of Large Language Models: A Survey [29.557596701431827]
  我々は、主要な課題とその原因を特定することを目的として、既存の研究を批判的に分析する。 オープンエンドテキスト生成における事実自動評価の障害を解析する。
  論文  参考訳（メタデータ） (2024-02-04T09:36:31Z)
• Examining Forgetting in Continual Pre-training of Aligned Large Language Models [66.62800021628276]
  本研究では,既存の微調整LDMの連続事前訓練中に発生する忘れ現象について検討する。 実験結果は、連続的な事前訓練中に破滅的な忘れに対処する非自明な課題を浮き彫りにした。
  論文  参考訳（メタデータ） (2024-01-06T05:34:09Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Are Large Language Models Good Fact Checkers: A Preliminary Study [26.023148371263012]
  大規模言語モデル(LLM)は、その卓越した推論能力と広範な知識リポジトリによって、大きな注目を集めている。 本研究の目的は,特定のファクトチェックサブタスクに対処する上で,様々なLSMを包括的に評価することである。
  論文  参考訳（メタデータ） (2023-11-29T05:04:52Z)
• Survey on Factuality in Large Language Models: Knowledge, Retrieval and Domain-Specificity [61.54815512469125]
  本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。 LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
  論文  参考訳（メタデータ） (2023-10-11T14:18:03Z)
• Large Language Model Alignment: A Survey [42.03229317132863]
  大きな言語モデル(LLM)の潜在能力は疑いようもなく大きいが、不正確、誤解を招く、あるいは有害なテキストを生成できる。 この調査は、LLM向けに設計されたアライメント方法論を広範囲に探究する試みである。 また、モデルの解釈可能性や、敵の攻撃に対する潜在的な脆弱性など、健全な問題を調査します。
  論文  参考訳（メタデータ） (2023-09-26T15:49:23Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)
• Automatically Correcting Large Language Models: Surveying the landscape of diverse self-correction strategies [104.32199881187607]
  大規模言語モデル(LLM)は、幅広いNLPタスクで顕著な性能を示した。 これらの欠陥を正すための有望なアプローチは自己補正であり、LLM自体が自身の出力で問題を修正するために誘導される。 本稿では,この新技術について概観する。
  論文  参考訳（メタデータ） (2023-08-06T18:38:52Z)
• Look Before You Leap: An Exploratory Study of Uncertainty Measurement for Large Language Models [16.524794442035265]
  本研究では,不確実性のレンズを用いたLarge Language Models(LLM)のリスク評価について検討する。 本研究は,LLMの不確かさ・非実効性予測に対する不確実性推定の有効性を検証した。 我々の研究から得た洞察は、信頼性の高いLCMの設計と開発に光を当てた。
  論文  参考訳（メタデータ） (2023-07-16T08:28:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。