論文の概要: Testing Uncertainty of Large Language Models for Physics Knowledge and Reasoning

• arxiv url: http://arxiv.org/abs/2411.14465v1
• Date: Mon, 18 Nov 2024 13:42:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-25 15:04:01.602344
• Title: Testing Uncertainty of Large Language Models for Physics Knowledge and Reasoning
• Title（参考訳）: 物理知識と推論のための大規模言語モデルの不確かさテスト
• Authors: Elizaveta Reganova, Peter Steinbach,
• Abstract要約: 大規模言語モデル(LLM)は、近年、様々な分野の質問に答える能力で大きな人気を集めている。 本稿では,オープンソースLLMの性能評価のための解析手法を提案する。 我々は,物理に関する話題における解答精度と変数の関係に注目した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Large Language Models (LLMs) have gained significant popularity in recent years for their ability to answer questions in various fields. However, these models have a tendency to "hallucinate" their responses, making it challenging to evaluate their performance. A major challenge is determining how to assess the certainty of a model's predictions and how it correlates with accuracy. In this work, we introduce an analysis for evaluating the performance of popular open-source LLMs, as well as gpt-3.5 Turbo, on multiple choice physics questionnaires. We focus on the relationship between answer accuracy and variability in topics related to physics. Our findings suggest that most models provide accurate replies in cases where they are certain, but this is by far not a general behavior. The relationship between accuracy and uncertainty exposes a broad horizontal bell-shaped distribution. We report how the asymmetry between accuracy and uncertainty intensifies as the questions demand more logical reasoning of the LLM agent, while the same relationship remains sharp for knowledge retrieval tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、近年、様々な分野の質問に答える能力で大きな人気を集めている。 しかしながら、これらのモデルは反応を「ハロシン化」する傾向があり、その性能を評価することは困難である。 大きな課題は、モデルの予測の確実性をどのように評価し、それが正確さとどのように相関するかを決定することである。 本稿では,オープンソースのLLMとgpt-3.5 Turboの複数選択物理アンケートにおける性能評価について紹介する。 我々は,物理に関する話題における解答精度と変数の関係に注目した。 以上の結果から,ほとんどのモデルでは確実な場合には正確な応答が得られていることが示唆された。 精度と不確実性の関係は、広い水平のベル状の分布を露呈する。 質問がLLMエージェントの論理的推論を要求するのに対して,精度と不確実性の間の非対称性がいかに強まるかを報告する。

関連論文リスト

• Uncertainty Estimation of Large Language Models in Medical Question Answering [60.72223137560633]
  大規模言語モデル(LLM)は、医療における自然言語生成の約束を示すが、事実的に誤った情報を幻覚させるリスクがある。 医学的問合せデータセットのモデルサイズが異なる人気不確実性推定(UE)手法をベンチマークする。 以上の結果から,本領域における現在のアプローチは,医療応用におけるUEの課題を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-07-11T16:51:33Z)
• Uncertainty-preserving deep knowledge tracing with state-space models [1.3791394805787949]
  知識の追跡と従来の評価の中心的な目標は、ある時点における学生の知識とスキルを定量化することである。 本稿では,変分オートエンコーダのフレキシブルな不確実性保存特性とベイズ状態空間モデルの原理的情報統合を組み合わせたモデリングパラダイムであるDynamic LENSを紹介する。
  論文  参考訳（メタデータ） (2024-07-09T13:40:28Z)
• Can Model Uncertainty Function as a Proxy for Multiple-Choice Question Item Difficulty? [12.638577140117702]
  我々は、質問に答える際の弱点と見なされるような、生成的な大規模モデルの側面を活用する。 本研究では、不確実性の2つの異なる指標と実際の学生の反応分布の相関について検討する。
  論文  参考訳（メタデータ） (2024-07-07T10:48:04Z)
• Evaluating Consistency and Reasoning Capabilities of Large Language Models [0.0]
  大規模言語モデル(LLM)は現在、学術、研究、ビジネス、金融など様々な分野で広く使われている。 広く採用されているにもかかわらず、これらのモデルはしばしば誤った誤解を招く情報を生み出し、幻覚の傾向を示す。 本稿では,パブリックおよびプロプライエタリLLMの整合性と推論能力を評価・比較することを目的とする。
  論文  参考訳（メタデータ） (2024-04-25T10:03:14Z)
• Uncertainty-aware Language Modeling for Selective Question Answering [107.47864420630923]
  本稿では,不確実性を考慮したLLMを生成するLLM変換手法を提案する。 我々のアプローチはモデルとデータに依存しず、計算効率が高く、外部モデルやシステムに依存しない。
  論文  参考訳（メタデータ） (2023-11-26T22:47:54Z)
• R-Tuning: Instructing Large Language Models to Say `I Don't Know' [66.11375475253007]
  大きな言語モデル(LLM)は、優れたパフォーマンスで多くのドメインに革命をもたらしたが、それでもその課題に直面している。 事前の指導チューニング方法は、モデルが知識を知っているかどうかに関わらず、モデルに文章を完成させるよう強制する。 我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。 実験の結果、R-Tuningは、既知の質問に答えたり、未知の質問に答えるのを控えるモデルの能力を効果的に改善することを示した。
  論文  参考訳（メタデータ） (2023-11-16T08:45:44Z)
• Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
  大規模言語モデルはしばしば「ハロシン化」の課題に直面している 本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T12:06:53Z)
• Realistic Conversational Question Answering with Answer Selection based on Calibrated Confidence and Uncertainty Measurement [54.55643652781891]
  対話型質問回答モデル(ConvQA)は,会話中に複数回発生した質問文と過去の質問文のペアを用いて質問に回答することを目的としている。 本稿では,会話履歴における不正確な回答を,ConvQAモデルから推定された信頼度と不確実性に基づいてフィルタリングすることを提案する。 我々は2つの標準ConvQAデータセット上で、回答選択に基づくリアルな会話質問回答モデルの有効性を検証する。
  論文  参考訳（メタデータ） (2023-02-10T09:42:07Z)
• How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering [80.82194311274694]
  言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか? 我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。 次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
  論文  参考訳（メタデータ） (2020-12-02T03:53:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。