論文の概要: Aligning LLMs to Ask Good Questions A Case Study in Clinical Reasoning

• arxiv url: http://arxiv.org/abs/2502.14860v1
• Date: Thu, 20 Feb 2025 18:59:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 14:27:46.844301
• Title: Aligning LLMs to Ask Good Questions A Case Study in Clinical Reasoning
• Title（参考訳）: 良い質問に対するLLMの適応 : 臨床推論を事例として
• Authors: Shuyue Stella Li, Jimin Mun, Faeze Brahman, Jonathan S. Ilgen, Yulia Tsvetkov, Maarten Sap,
• Abstract要約: 大規模言語モデル(LLM)は、不確実性の下で有効な質問をすることがしばしば失敗する。 提案するALFAは,「良い」質問の概念を理論的な属性の集合に分解することで,LCMの質問応答を改善するフレームワークである。
• 参考スコア（独自算出の注目度）: 39.750234944933666
• License:
• Abstract: Large language models (LLMs) often fail to ask effective questions under uncertainty, making them unreliable in domains where proactive information-gathering is essential for decisionmaking. We present ALFA, a framework that improves LLM question-asking by (i) decomposing the notion of a "good" question into a set of theory-grounded attributes (e.g., clarity, relevance), (ii) controllably synthesizing attribute-specific question variations, and (iii) aligning models via preference-based optimization to explicitly learn to ask better questions along these fine-grained attributes. Focusing on clinical reasoning as a case study, we introduce the MediQ-AskDocs dataset, composed of 17k real-world clinical interactions augmented with 80k attribute-specific preference pairs of follow-up questions, as well as a novel expert-annotated interactive healthcare QA task to evaluate question-asking abilities. Models aligned with ALFA reduce diagnostic errors by 56.6% on MediQ-AskDocs compared to SOTA instruction-tuned LLMs, with a question-level win-rate of 64.4% and strong generalizability. Our findings suggest that explicitly guiding question-asking with structured, fine-grained attributes offers a scalable path to improve LLMs, especially in expert application domains.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、不確実性の下で効果的な質問をすることがしばしば失敗し、意思決定に積極的な情報収集が不可欠である領域では信頼できない。 ALFA は LLM の質問応答を改善するフレームワークである。 (i)「良い」問題の概念を理論上の属性(例えば、明快さ、関連性)の集合に分解すること。 (二)属性固有の質問のバリエーションを制御的に合成し、 三 好みに基づく最適化によりモデルを整列させ、これらの微粒な属性に沿ってより良い質問を明示的に学習すること。 ケーススタディとして臨床推論に着目し,80k属性に特有な選好ペアのフォローアップ質問を付加した実世界17万件の臨床インタラクションと,質問応答能力を評価するための新たな専門家による対話型医療QAタスクからなるメディQ-AskDocsデータセットを紹介した。 ALFAに準拠したモデルでは、SOTA命令で調整されたLSMと比較して診断エラーが56.6%減少し、質問レベルの勝利率は64.4%、高い一般化性がある。 この結果から,特にエキスパートアプリケーション領域において,構造化された,きめ細かな属性による質問応答を明示的に導くことは,LSMを改善するためのスケーラブルな経路をもたらすことが示唆された。

関連論文リスト

• Compound-QA: A Benchmark for Evaluating LLMs on Compound Questions [10.783827859678892]
  本稿では、複合質問合成(CQ-Syn)を導入し、複合QAベンチマークを作成する。 このベンチマークは、プロプライエタリな大規模言語モデルにアノテートされた既存のQAデータセットに由来する。 LLM能力は、理解、推論、知識を含む3次元の観点で評価する。
  論文  参考訳（メタデータ） (2024-11-15T13:12:29Z)
• Exploring Language Model Generalization in Low-Resource Extractive QA [57.14068405860034]
  ドメインドリフト下でのLarge Language Models (LLM) を用いた抽出質問応答(EQA)について検討する。 性能ギャップを実証的に説明するための一連の実験を考案する。
  論文  参考訳（メタデータ） (2024-09-27T05:06:43Z)
• Assessing and Enhancing Large Language Models in Rare Disease Question-answering [64.32570472692187]
  本稿では,レアな疾患の診断におけるLarge Language Models (LLMs) の性能を評価するために,レアな疾患問合せデータセット(ReDis-QA)を導入する。 ReDis-QAデータセットでは1360の高品質な質問応答ペアを収集し,205の稀な疾患をカバーした。 その後、いくつかのオープンソースのLCMをベンチマークし、希少疾患の診断がこれらのモデルにとって重要な課題であることを示した。 実験の結果,ReCOPは,ReDis-QAデータセット上でのLCMの精度を平均8%向上できることがわかった。
  論文  参考訳（メタデータ） (2024-08-15T21:09:09Z)
• GMAI-MMBench: A Comprehensive Multimodal Evaluation Benchmark Towards General Medical AI [67.09501109871351]
  LVLM(Large Vision-Language Model)は、画像、テキスト、生理学的信号などの多様なデータタイプを扱うことができる。 GMAI-MMBenchは、よく分類されたデータ構造と、これまででもっとも包括的な一般医療用AIベンチマークである。 38の医療画像モダリティ、18の臨床関連タスク、18の部門、視覚質問回答(VQA)フォーマットの4つの知覚的粒度からなる284のデータセットで構成されている。
  論文  参考訳（メタデータ） (2024-08-06T17:59:21Z)
• MACAROON: Training Vision-Language Models To Be Your Engaged Partners [95.32771929749514]
  大規模視覚言語モデル(LVLM)は、質問が曖昧でラベルが付されていない場合でも詳細な応答を生成する。 本研究では,LVLMを受動的回答提供者から積極的参加パートナーへ移行することを目的とする。 我々は、LVLMに対して、ラベルなし質問に対するコントラスト応答対を自律的に生成するように指示する、ContrAstive pReference Optimizationのための自己iMaginAtionであるMACAROONを紹介する。
  論文  参考訳（メタデータ） (2024-06-20T09:27:33Z)
• MediQ: Question-Asking LLMs and a Benchmark for Reliable Interactive Clinical Reasoning [36.400896909161006]
  我々は積極的に質問を行い、より多くの情報を集め、確実に応答するシステムを開発する。 LLMの問合せ能力を評価するためのベンチマーク - MediQ を導入する。
  論文  参考訳（メタデータ） (2024-06-03T01:32:52Z)
• Crafting Interpretable Embeddings by Asking LLMs Questions [89.49960984640363]
  大規模言語モデル(LLM)は、自然言語処理タスクの増大に対して、テキスト埋め込みを急速に改善した。 質問応答埋め込み (QA-Emb) を導入し, 各特徴がLLMに対して質問された質問に対する回答を表す。 我々はQA-Embを用いて、言語刺激に対するfMRIボクセル応答を予測するための解釈可能なモデルを柔軟に生成する。
  論文  参考訳（メタデータ） (2024-05-26T22:30:29Z)
• BIDER: Bridging Knowledge Inconsistency for Efficient Retrieval-Augmented LLMs via Key Supporting Evidence [23.55601157586831]
  本稿では,検索文書をキー・サポート・エビデンス(Key Supporting Evidence)に洗練する手法であるBIDERを紹介する。 我々は,KSEの製作から学習してBIDERを訓練し,その出力をLLMの情報取得の好みに合わせて最大化する。 BIDER は LLM の回答品質を7% 向上させ,検索文書の入力内容長を80% 削減し,既存手法より優れていた。
  論文  参考訳（メタデータ） (2024-02-19T14:28:31Z)
• Aligning Large Language Models for Clinical Tasks [0.0]
  大規模言語モデル(LLM)は目覚ましい適応性を示しており、明示的に訓練されていないタスクに精通する能力を示している。 我々は「Expand-guess-refine」として知られる医療質問応答のためのアライメント戦略を提案する。 この手法の予備的な分析により、USMLEデータセットから得られた質問のサブセットで70.63%のスコアが得られた。
  論文  参考訳（メタデータ） (2023-09-06T10:20:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。