論文の概要: Wait, but Tylenol is Acetaminophen... Investigating and Improving Language Models' Ability to Resist Requests for Misinformation

• arxiv url: http://arxiv.org/abs/2409.20385v1
• Date: Mon, 30 Sep 2024 15:20:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-02 07:46:26.870521
• Title: Wait, but Tylenol is Acetaminophen... Investigating and Improving Language Models' Ability to Resist Requests for Misinformation
• Title（参考訳）: チレノールはアセトアミノフェンである... 言語モデルの調査と改善
• Authors: Shan Chen, Mingye Gao, Kuleen Sasse, Thomas Hartvigsen, Brian Anthony, Lizhou Fan, Hugo Aerts, Jack Gallifant, Danielle Bitterman,
• Abstract要約: 大きな言語モデル(LLM)は指示に従うように訓練されているが、これはユーザ要求に盲目的に準拠する脆弱性をもたらす。 これは、人間の健康に影響を与える誤報の発生を加速させる可能性がある。 コンプライアンスよりも論理的推論を優先するLLMのコンテキスト内方向と命令調整が誤情報リスクを低減させるかどうかを検討した。
• 参考スコア（独自算出の注目度）: 9.60930317405781
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Background: Large language models (LLMs) are trained to follow directions, but this introduces a vulnerability to blindly comply with user requests even if they generate wrong information. In medicine, this could accelerate the generation of misinformation that impacts human well-being. Objectives/Methods: We analyzed compliance to requests to generate misleading content about medications in settings where models know the request is illogical. We investigated whether in-context directions and instruction-tuning of LLMs to prioritize logical reasoning over compliance reduced misinformation risk. Results: While all frontier LLMs complied with misinformation requests, both prompt-based and parameter-based approaches can improve the detection of logic flaws in requests and prevent the dissemination of medical misinformation. Conclusion: Shifting LLMs to prioritize logic over compliance could reduce risks of exploitation for medical misinformation.
• Abstract（参考訳）: 背景: 大規模言語モデル(LLM)は指示に従うように訓練されているが、誤った情報を生成しても、ユーザの要求に盲目的に準拠する脆弱性が生じる。 医学では、これは人間の健康に影響を与える誤報の発生を加速させる可能性がある。 目的/方法: 要求が非論理的であることをモデルが知っている設定において、医薬品に関する誤解を招くコンテンツを生成するために、要求に対するコンプライアンスを分析した。 コンプライアンスよりも論理的推論を優先するLLMのコンテキスト内方向と命令調整が誤情報リスクを低減させるかどうかを検討した。 結果:全てのフロンティアLSMは誤報要求を遵守するが,プロンプトベースとパラメータベースの両方のアプローチは,要求における論理的欠陥の検出を改善し,医療的誤報の拡散を防止する。 結論: コンプライアンスよりもロジックを優先するようにLCMをシフトすることで、医療上の誤情報に対する搾取のリスクを低減できる。

関連論文リスト

• Understanding the Relationship between Prompts and Response Uncertainty in Large Language Models [55.332004960574004]
  大規模言語モデル(LLM)は意思決定に広く使用されているが、特に医療などの重要なタスクにおける信頼性は十分に確立されていない。 本稿では,LSMが生成する応答の不確実性が,入力プロンプトで提供される情報とどのように関連しているかを検討する。 本稿では,LLMが応答を生成する方法を説明し,プロンプトと応答の不確実性の関係を理解するためのプロンプト応答の概念モデルを提案する。
  論文  参考訳（メタデータ） (2024-07-20T11:19:58Z)
• Missci: Reconstructing Fallacies in Misrepresented Science [84.32990746227385]
  ソーシャルネットワーク上の健康関連の誤報は、意思決定の貧弱さと現実世界の危険につながる可能性がある。 ミスシは、誤った推論のための新しい議論理論モデルである。 大規模言語モデルの批判的推論能力をテストするためのデータセットとしてMissciを提案する。
  論文  参考訳（メタデータ） (2024-06-05T12:11:10Z)
• MEDIQ: Question-Asking LLMs for Adaptive and Reliable Clinical Reasoning [36.400896909161006]
  臨床推論のような高度な領域では、大きな言語モデル(LLM)を利用したAIアシスタントはまだ信頼性と安全性が低い。 我々は,必要な情報を集め,確実に応答するためのフォローアップ質問を行う,より慎重なLCMを開発することを提案する。 我々は,現実的な臨床相互作用をシミュレートするフレームワークであるMEDIQを紹介する。
  論文  参考訳（メタデータ） (2024-06-03T01:32:52Z)
• Few shot chain-of-thought driven reasoning to prompt LLMs for open ended medical question answering [25.163347677278182]
  我々は,実生活における臨床シナリオを模倣するために,主観的なMedQA-USMLEデータセットの修正版を提案する。 我々は、主観的なMedQAデータセットに対して、arXiv:2207.08143から5-shot-codex-CoT-promptを修正し、インクリメンタル推論のプロンプトを開発することで、より良いコントラスト学習戦略を開発する。
  論文  参考訳（メタデータ） (2024-03-07T20:48:40Z)
• Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
  大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。 本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。 これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
  論文  参考訳（メタデータ） (2024-02-05T08:25:22Z)
• LLM on FHIR -- Demystifying Health Records [0.32985979395737786]
  本研究では,大規模言語モデル(LLM)を用いた健康記録と対話可能なアプリを開発した。 このアプリは、医療データを患者フレンドリーな言語に効果的に翻訳し、その反応を異なる患者プロファイルに適応させることができた。
  論文  参考訳（メタデータ） (2024-01-25T17:45:34Z)
• Mitigating Large Language Model Hallucinations via Autonomous Knowledge Graph-based Retrofitting [51.7049140329611]
  本稿では,知識グラフに基づくリトロフィッティング(KGR)を提案する。 実験により,実QAベンチマークにおいて,KGRはLLMの性能を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2023-11-22T11:08:38Z)
• MKRAG: Medical Knowledge Retrieval Augmented Generation for Medical Question Answering [45.84961106102445]
  大規模言語モデル(LLM)は、医療質問応答(QA)のようなドメイン固有のタスクでよく機能しないことが多い。 本稿では,医学的事実を外部知識ベースから抽出し,LLMのクエリプロンプトに注入するための総合的検索手法を提案する。 Vicuna-7Bは44.46%から48.54%の精度向上を示した。
  論文  参考訳（メタデータ） (2023-09-27T21:26:03Z)
• Challenges of GPT-3-based Conversational Agents for Healthcare [11.517862889784293]
  本稿では,GPT-3に基づく医療質問応答モデル(MedQA)の課題とリスクについて検討する。 MedQA システムにおける LLM の高リスク制約をストレステストするために,患者クエリを手動で設計する手法を提案する。 分析の結果、LSMはこれらのクエリに適切に対応できず、誤った医療情報、安全でないレコメンデーション、攻撃的と考えられるコンテンツを生成することがわかった。
  論文  参考訳（メタデータ） (2023-08-28T15:12:34Z)
• Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
  大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。 正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。 本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
  論文  参考訳（メタデータ） (2023-05-30T22:05:11Z)
• On the Risk of Misinformation Pollution with Large Language Models [127.1107824751703]
  本稿では,現代大規模言語モデル (LLM) の誤用の可能性について検討する。 本研究は, LLMが効果的な誤情報発生器として機能し, DOQAシステムの性能が著しく低下することを明らかにする。
  論文  参考訳（メタデータ） (2023-05-23T04:10:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。