論文の概要: Representations of Fact, Fiction and Forecast in Large Language Models: Epistemics and Attitudes

• arxiv url: http://arxiv.org/abs/2506.01512v1
• Date: Mon, 02 Jun 2025 10:19:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:34.191252
• Title: Representations of Fact, Fiction and Forecast in Large Language Models: Epistemics and Attitudes
• Title（参考訳）: 大規模言語モデルにおけるFact, Fiction, forecastの表現:疫学と態度
• Authors: Meng Li, Michael Vrazitulis, David Schlangen,
• Abstract要約: 合理的な話者は、自分が知っていること、知らないことを知っていなければならない。 現在の大規模言語モデルでは、不確実な実環境における事実の評価と信頼性に基づいて、対応する発話を生成することが依然として課題である。
• 参考スコア（独自算出の注目度）: 15.754908203866284
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Rational speakers are supposed to know what they know and what they do not know, and to generate expressions matching the strength of evidence. In contrast, it is still a challenge for current large language models to generate corresponding utterances based on the assessment of facts and confidence in an uncertain real-world environment. While it has recently become popular to estimate and calibrate confidence of LLMs with verbalized uncertainty, what is lacking is a careful examination of the linguistic knowledge of uncertainty encoded in the latent space of LLMs. In this paper, we draw on typological frameworks of epistemic expressions to evaluate LLMs' knowledge of epistemic modality, using controlled stories. Our experiments show that the performance of LLMs in generating epistemic expressions is limited and not robust, and hence the expressions of uncertainty generated by LLMs are not always reliable. To build uncertainty-aware LLMs, it is necessary to enrich semantic knowledge of epistemic modality in LLMs.
• Abstract（参考訳）: 合理的話者は、自分が知っていることや知らないことを知り、証拠の強さと一致する表現を生成することが求められている。 対照的に、現在の大規模言語モデルでは、不確実な実環境における事実の評価と信頼性に基づいて、対応する発話を生成することが依然として課題である。 近年,言語的不確実性を伴うLLMの信頼度を推定・校正することが一般的になっているが,LLMの潜伏空間にコード化されている不確実性に関する言語知識について,注意深い検討が欠如している。 本稿では,LLMsが認識のモダリティに関する知識を,制御されたストーリーを用いて評価するために,表皮表現の類型的枠組みについて考察する。 以上の結果から, 上皮性表現生成におけるLDMの性能は限定的であり, 堅牢性に乏しく, LLMが生成する不確実性の表現は必ずしも信頼性が低いことが示唆された。 不確実性を認識したLLMを構築するためには,LLMにおける認識的モダリティのセマンティック知識を充実させる必要がある。

関連論文リスト

• UAlign: Leveraging Uncertainty Estimations for Factuality Alignment on Large Language Models [41.67393607081513]
  大きな言語モデル(LLM)は、しばしば、彼らが持っている事実の知識を正確に表現するのに苦労する。 知識境界を表現するために不確実性推定を利用するUAlignフレームワークを提案する。 提案したUAlign は LLM の能力を大幅に向上させ,既知の疑問に自信を持って答えることができることを示す。
  論文  参考訳（メタデータ） (2024-12-16T14:14:27Z)
• A Survey on Uncertainty Quantification of Large Language Models: Taxonomy, Open Research Challenges, and Future Directions [9.045698110081686]
  大規模言語モデル (LLMs) は、信頼性を高く表現した、妥当で、事実的に正しくない応答を生成する。 従来の研究では、LLMが生み出す幻覚やその他の非現実的な反応は、関連するプロンプトに対するLLMの不確実性を調べることによって検出できることが示されている。 本調査は, LLMの健全な特徴と強度, 弱点を識別し, 既存の不確実性定量化手法を幅広く検討することを目的としている。
  論文  参考訳（メタデータ） (2024-12-07T06:56:01Z)
• Finetuning Language Models to Emit Linguistic Expressions of Uncertainty [5.591074369497796]
  大規模言語モデル(LLM)は情報検索や意思決定のタスクにますます採用されている。 LLMは現実世界の事実と矛盾する情報を生成する傾向があり、その説得的なスタイルはこれらの不正確さを自信と説得力に見せかける。 本研究では,不確実性の言語表現を生成するモデルを開発する手法として,不確実性拡張予測の教師付き微調整について検討する。
  論文  参考訳（メタデータ） (2024-09-18T17:52:53Z)
• Understanding the Relationship between Prompts and Response Uncertainty in Large Language Models [55.332004960574004]
  大規模言語モデル(LLM)は意思決定に広く使用されているが、特に医療などの重要なタスクにおける信頼性は十分に確立されていない。 本稿では,LSMが生成する応答の不確実性が,入力プロンプトで提供される情報とどのように関連しているかを検討する。 本稿では,LLMが応答を生成する方法を説明し,プロンプトと応答の不確実性の関係を理解するためのプロンプト応答の概念モデルを提案する。
  論文  参考訳（メタデータ） (2024-07-20T11:19:58Z)
• Kernel Language Entropy: Fine-grained Uncertainty Quantification for LLMs from Semantic Similarities [79.9629927171974]
  大規模言語モデル(LLM)の不確実性は、安全性と信頼性が重要であるアプリケーションには不可欠である。 ホワイトボックスとブラックボックス LLM における不確実性評価手法である Kernel Language Entropy (KLE) を提案する。
  論文  参考訳（メタデータ） (2024-05-30T12:42:05Z)
• Uncertainty Quantification for In-Context Learning of Large Language Models [52.891205009620364]
  大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。 両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。 提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
  論文  参考訳（メタデータ） (2024-02-15T18:46:24Z)
• Examining LLMs' Uncertainty Expression Towards Questions Outside Parametric Knowledge [35.067234242461545]
  大規模言語モデル(LLM)は、適切な応答を生成するのに十分なパラメトリック知識が不足している状況において不確実性を表現する。 本研究の目的は,このような状況下でのLCMの行動の体系的調査であり,誠実さと役に立つことのトレードオフを強調することである。
  論文  参考訳（メタデータ） (2023-11-16T10:02:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。