論文の概要: Exploring the Landscape of Large Language Models In Medical Question Answering: Observations and Open Questions

• arxiv url: http://arxiv.org/abs/2310.07225v1
• Date: Wed, 11 Oct 2023 06:26:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-13 00:04:02.194373
• Title: Exploring the Landscape of Large Language Models In Medical Question Answering: Observations and Open Questions
• Title（参考訳）: 医学質問応答における大規模言語モデルの景観探索:観察とオープン質問
• Authors: Karolina Korgul, Andrew M. Bean, Felix Krones, Robert McCraith, Adam Mahdi
• Abstract要約: LLM(Large Language Models)は、標準化試験で合格点を達成することによって、医学的問題に対する回答において有望であることが示されている。 我々は,医学的質問に対する知識に基づいて,その特性をグループとしてよりよく理解するために,広く普及しているLSMを評価した。
• 参考スコア（独自算出の注目度）: 1.3499500088995462
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have shown promise in medical question answering by achieving passing scores in standardised exams and have been suggested as tools for supporting healthcare workers. Deploying LLMs into such a high-risk context requires a clear understanding of the limitations of these models. With the rapid development and release of new LLMs, it is especially valuable to identify patterns which exist across models and may, therefore, continue to appear in newer versions. In this paper, we evaluate a wide range of popular LLMs on their knowledge of medical questions in order to better understand their properties as a group. From this comparison, we provide preliminary observations and raise open questions for further research.
• Abstract（参考訳）: 大言語モデル(LLM)は、標準化試験で合格点を達成し、医療従事者を支援するためのツールとして提案されている。 このようなリスクの高いコンテキストにLSMをデプロイするには、これらのモデルの制限を明確に理解する必要があります。 新しいLSMの急速な開発とリリースにより、モデルにまたがって存在するパターンを識別することが特に重要であり、それゆえ、新しいバージョンに現れ続けている。 本稿では,医学的問題に対する知識に基づいて,グループとしての有用性をよりよく理解するために,広く普及しているLSMについて評価する。 この比較から予備的な観察を行い、さらなる研究のためにオープンな疑問を提起する。

関連論文リスト

• Uncertainty Estimation of Large Language Models in Medical Question Answering [60.72223137560633]
  大規模言語モデル(LLM)は、医療における自然言語生成の約束を示すが、事実的に誤った情報を幻覚させるリスクがある。 医学的問合せデータセットのモデルサイズが異なる人気不確実性推定(UE)手法をベンチマークする。 以上の結果から,本領域における現在のアプローチは,医療応用におけるUEの課題を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-07-11T16:51:33Z)
• Replacing Judges with Juries: Evaluating LLM Generations with a Panel of Diverse Models [56.02275285521847]
  LLm評価器のパネル(PoLL)を用いた評価モデルを提案する。 より多数の小さなモデルで構成されたPoLLは,1つの大判定器より優れ,不整合モデルファミリーの構成によるモデル内バイアスが小さく,しかも7倍以上のコストがかかる。
  論文  参考訳（メタデータ） (2024-04-29T15:33:23Z)
• Chain-of-Thought Unfaithfulness as Disguised Accuracy [0.0]
  CoT(Chain-of-Thought)世代は、大きな言語モデルの内部計算(LLM)と一致している。 モデルが回答を生成するためのCoTへの依存度を測定する指標を提案する。
  論文  参考訳（メタデータ） (2024-02-22T17:23:53Z)
• Can Large Language Models Infer Causation from Correlation? [104.96351414570239]
  大規模言語モデル(LLM)の純粋因果推論スキルをテストする。 相関文の集合を取り、変数間の因果関係を決定する新しいタスクCorr2Causeを定式化する。 これらのモデルがタスクのランダムな性能にほぼ近い結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-09T12:09:15Z)
• Better Diffusion Models Further Improve Adversarial Training [97.44991845907708]
  拡散確率モデル (DDPM) によって生成されたデータは, 対人訓練を改善することが認識されている。 本稿では,効率のよい最新の拡散モデルを用いて,肯定的な回答を与える。 我々の逆向きに訓練されたモデルは、生成されたデータのみを使用してRobustBench上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-02-09T13:46:42Z)
• Deconstructing Distributions: A Pointwise Framework of Learning [15.517383696434162]
  テスト分布におけるモデルの平均性能と、この個々の点におけるポイントワイズ性能の関係について調べる。 プロファイルは、モデルとデータの構造 -- 分布の内外 -- に新しい洞察を与えることができる。
  論文  参考訳（メタデータ） (2022-02-20T23:25:28Z)
• Exploring Sparse Expert Models and Beyond [51.90860155810848]
  Mixture-of-Experts (MoE) モデルは、無数のパラメータを持つが、一定の計算コストで有望な結果が得られる。 本稿では,専門家を異なるプロトタイプに分割し,上位1ドルのルーティングに$k$を適用する,エキスパートプロトタイピングというシンプルな手法を提案する。 この戦略は, モデル品質を向上させるが, 一定の計算コストを維持するとともに, 大規模モデルのさらなる探索により, 大規模モデルの訓練に有効であることが示唆された。
  論文  参考訳（メタデータ） (2021-05-31T16:12:44Z)
• What's the best place for an AI conference, Vancouver or ______: Why completing comparative questions is difficult [22.04829832439774]
  ニューラルLMが妥当な質問をする(答えない)能力について研究する。 この課題の正確性は,質問が妥当かどうかの判断とよく関連している。
  論文  参考訳（メタデータ） (2021-04-05T14:56:09Z)
• How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering [80.82194311274694]
  言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか? 我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。 次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
  論文  参考訳（メタデータ） (2020-12-02T03:53:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。