論文の概要: Wait, but Tylenol is Acetaminophen... Investigating and Improving Language Models' Ability to Resist Requests for Misinformation

• arxiv url: http://arxiv.org/abs/2409.20385v1
• Date: Mon, 30 Sep 2024 15:20:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-02 07:46:26.870521
• Title: Wait, but Tylenol is Acetaminophen... Investigating and Improving Language Models' Ability to Resist Requests for Misinformation
• Title（参考訳）: チレノールはアセトアミノフェンである... 言語モデルの調査と改善
• Authors: Shan Chen, Mingye Gao, Kuleen Sasse, Thomas Hartvigsen, Brian Anthony, Lizhou Fan, Hugo Aerts, Jack Gallifant, Danielle Bitterman,
• Abstract要約: 大きな言語モデル(LLM)は指示に従うように訓練されているが、これはユーザ要求に盲目的に準拠する脆弱性をもたらす。 これは、人間の健康に影響を与える誤報の発生を加速させる可能性がある。 コンプライアンスよりも論理的推論を優先するLLMのコンテキスト内方向と命令調整が誤情報リスクを低減させるかどうかを検討した。
• 参考スコア（独自算出の注目度）: 9.60930317405781
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Background: Large language models (LLMs) are trained to follow directions, but this introduces a vulnerability to blindly comply with user requests even if they generate wrong information. In medicine, this could accelerate the generation of misinformation that impacts human well-being. Objectives/Methods: We analyzed compliance to requests to generate misleading content about medications in settings where models know the request is illogical. We investigated whether in-context directions and instruction-tuning of LLMs to prioritize logical reasoning over compliance reduced misinformation risk. Results: While all frontier LLMs complied with misinformation requests, both prompt-based and parameter-based approaches can improve the detection of logic flaws in requests and prevent the dissemination of medical misinformation. Conclusion: Shifting LLMs to prioritize logic over compliance could reduce risks of exploitation for medical misinformation.
• Abstract（参考訳）: 背景: 大規模言語モデル(LLM)は指示に従うように訓練されているが、誤った情報を生成しても、ユーザの要求に盲目的に準拠する脆弱性が生じる。 医学では、これは人間の健康に影響を与える誤報の発生を加速させる可能性がある。 目的/方法: 要求が非論理的であることをモデルが知っている設定において、医薬品に関する誤解を招くコンテンツを生成するために、要求に対するコンプライアンスを分析した。 コンプライアンスよりも論理的推論を優先するLLMのコンテキスト内方向と命令調整が誤情報リスクを低減させるかどうかを検討した。 結果:全てのフロンティアLSMは誤報要求を遵守するが,プロンプトベースとパラメータベースの両方のアプローチは,要求における論理的欠陥の検出を改善し,医療的誤報の拡散を防止する。 結論: コンプライアンスよりもロジックを優先するようにLCMをシフトすることで、医療上の誤情報に対する搾取のリスクを低減できる。

関連論文リスト

• Mitigating Hallucinations of Large Language Models in Medical Information Extraction via Contrastive Decoding [92.32881381717594]
  医療情報抽出タスクにおける幻覚の問題を解決するために,ALCD(ALternate Contrastive Decoding)を導入する。 ALCDは, 従来の復号法に比べて幻覚の解消に有意な改善が見られた。
  論文  参考訳（メタデータ） (2024-10-21T07:19:19Z)
• Can Editing LLMs Inject Harm? [122.83469484328465]
  我々は,大規模言語モデルに対する新しいタイプの安全脅威として,知識編集を再構築することを提案する。 誤情報注入の危険性については,まずコモンセンス誤情報注入とロングテール誤情報注入に分類する。 偏見注入のリスクに対して, 偏見文をLLMに高効率で注入できるだけでなく, 1つの偏見文注入で偏見が増大することを発見した。
  論文  参考訳（メタデータ） (2024-07-29T17:58:06Z)
• Understanding the Relationship between Prompts and Response Uncertainty in Large Language Models [55.332004960574004]
  大規模言語モデル(LLM)は意思決定に広く使用されているが、特に医療などの重要なタスクにおける信頼性は十分に確立されていない。 本稿では,LSMが生成する応答の不確実性が,入力プロンプトで提供される情報とどのように関連しているかを検討する。 本稿では,LLMが応答を生成する方法を説明し,プロンプトと応答の不確実性の関係を理解するためのプロンプト応答の概念モデルを提案する。
  論文  参考訳（メタデータ） (2024-07-20T11:19:58Z)
• Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
  大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。 本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。 これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
  論文  参考訳（メタデータ） (2024-02-05T08:25:22Z)
• LLM on FHIR -- Demystifying Health Records [0.32985979395737786]
  本研究では,大規模言語モデル(LLM)を用いた健康記録と対話可能なアプリを開発した。 このアプリは、医療データを患者フレンドリーな言語に効果的に翻訳し、その反応を異なる患者プロファイルに適応させることができた。
  論文  参考訳（メタデータ） (2024-01-25T17:45:34Z)
• MKRAG: Medical Knowledge Retrieval Augmented Generation for Medical Question Answering [45.84961106102445]
  大規模言語モデル(LLM)は、医療質問応答(QA)のようなドメイン固有のタスクでよく機能しないことが多い。 本稿では,医学的事実を外部知識ベースから抽出し,LLMのクエリプロンプトに注入するための総合的検索手法を提案する。 Vicuna-7Bは44.46%から48.54%の精度向上を示した。
  論文  参考訳（メタデータ） (2023-09-27T21:26:03Z)
• Can LLM-Generated Misinformation Be Detected? [18.378744138365537]
  大型言語モデル(LLM)は誤情報を生成するために利用することができる。 LLMが生成した誤報は、人間が書いた誤報よりも有害か?
  論文  参考訳（メタデータ） (2023-09-25T00:45:07Z)
• Challenges of GPT-3-based Conversational Agents for Healthcare [11.517862889784293]
  本稿では,GPT-3に基づく医療質問応答モデル(MedQA)の課題とリスクについて検討する。 MedQA システムにおける LLM の高リスク制約をストレステストするために,患者クエリを手動で設計する手法を提案する。 分析の結果、LSMはこれらのクエリに適切に対応できず、誤った医療情報、安全でないレコメンデーション、攻撃的と考えられるコンテンツを生成することがわかった。
  論文  参考訳（メタデータ） (2023-08-28T15:12:34Z)
• Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
  大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。 正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。 本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
  論文  参考訳（メタデータ） (2023-05-30T22:05:11Z)
• On the Risk of Misinformation Pollution with Large Language Models [127.1107824751703]
  本稿では,現代大規模言語モデル (LLM) の誤用の可能性について検討する。 本研究は, LLMが効果的な誤情報発生器として機能し, DOQAシステムの性能が著しく低下することを明らかにする。
  論文  参考訳（メタデータ） (2023-05-23T04:10:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。