論文の概要: How to Protect Yourself from 5G Radiation? Investigating LLM Responses to Implicit Misinformation
- arxiv url: http://arxiv.org/abs/2503.09598v2
- Date: Tue, 27 May 2025 16:40:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-28 14:37:19.265404
- Title: How to Protect Yourself from 5G Radiation? Investigating LLM Responses to Implicit Misinformation
- Title(参考訳): 5G放射線から身を守る方法 : 誤報に対するLSM反応の調査
- Authors: Ruohao Guo, Wei Xu, Alan Ritter,
- Abstract要約: 大規模言語モデル(LLM)は多様なシナリオに広くデプロイされている。
彼らが誤報をうまく広める程度は、重大な安全上の懸念として浮かび上がっている。
私たちは、暗黙の誤報の最初のベンチマークであるEchoMistをキュレートしました。
- 参考スコア(独自算出の注目度): 24.355564722047244
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As Large Language Models (LLMs) are widely deployed in diverse scenarios, the extent to which they could tacitly spread misinformation emerges as a critical safety concern. Current research primarily evaluates LLMs on explicit false statements, overlooking how misinformation often manifests subtly as unchallenged premises in real-world interactions. We curated EchoMist, the first comprehensive benchmark for implicit misinformation, where false assumptions are embedded in the query to LLMs. EchoMist targets circulated, harmful, and ever-evolving implicit misinformation from diverse sources, including realistic human-AI conversations and social media interactions. Through extensive empirical studies on 15 state-of-the-art LLMs, we find that current models perform alarmingly poorly on this task, often failing to detect false premises and generating counterfactual explanations. We also investigate two mitigation methods, i.e., Self-Alert and RAG, to enhance LLMs' capability to counter implicit misinformation. Our findings indicate that EchoMist remains a persistent challenge and underscore the critical need to safeguard against the risk of implicit misinformation.
- Abstract(参考訳): 大規模言語モデル(LLM)は多様なシナリオに広くデプロイされているため、誤情報を積極的に広める程度は、重大な安全上の懸念として現れます。
現在の研究は、実世界の相互作用において、誤報が無意味な前提として如何に現れるかを見越して、明示的な虚偽の言明についてLLMを評価している。
暗黙の誤情報に対する最初の包括的なベンチマークであるEchoMistを、LLMへのクエリに偽の仮定を埋め込んだ。
EchoMistのターゲットは、リアルな人間とAIの会話やソーシャルメディアのやりとりなど、さまざまなソースから広まり、有害で、進化を続ける暗黙の誤報だ。
15の最先端のLCMに関する広範な実証研究を通して、現在のモデルは、このタスクに対して驚くほど貧弱に動作し、しばしば偽の前提を検知せず、反実的な説明を起こさないことが判明した。
また,LLMの暗黙的誤報対策能力を高めるために,自己アラートとRAGの2つの緩和手法についても検討した。
以上の結果から,EchoMistは依然として永続的な課題であり,暗黙的な誤報のリスクから保護する上で重要な必要性を浮き彫りにしている。
関連論文リスト
- How does Misinformation Affect Large Language Model Behaviors and Preferences? [37.06385727015972]
大きな言語モデル(LLM)は、知識集約的なタスクにおいて顕著な能力を示している。
我々は,LLMの行動と誤情報に対する知識嗜好を評価するための,現在最大かつ最も包括的なベンチマークであるMisBenchを紹介する。
実証的な結果から、LLMは誤報を識別する能力に匹敵する能力を示すが、知識の衝突やスタイルのバリエーションの影響を受けやすいままであることが明らかとなった。
論文 参考訳(メタデータ) (2025-05-27T17:57:44Z) - Accommodate Knowledge Conflicts in Retrieval-augmented LLMs: Towards Reliable Response Generation in the Wild [11.058848731627233]
大規模言語モデル (LLM) には高度な情報検索システムがある。
LLMは、しばしば内部記憶と検索された外部情報の間の知識の衝突に直面している。
スウィンVIBは,変分情報ボトルネックモデルのパイプラインを,検索した情報の適応的拡張に統合する新しいフレームワークである。
論文 参考訳(メタデータ) (2025-04-17T14:40:31Z) - An Empirical Analysis of LLMs for Countering Misinformation [4.832131829290864]
LLM(Large Language Models)は、オンラインの誤報を増幅するが、誤報に対処することを約束する。
我々は、政治的誤報に対処する3つのLDM(ChatGPT、Gemini、Claude)の能力を実証的に研究する。
以上の結果から,モデルが実際のニュースソースで回答を得るのに苦労し,左利きの情報源を引用する傾向が示唆された。
論文 参考訳(メタデータ) (2025-02-28T07:12:03Z) - Evaluation of LLM Vulnerabilities to Being Misused for Personalized Disinformation Generation [0.5070610131852027]
大型言語モデル(LLM)は、偽ニュース記事を生成するために効果的に誤用することができる。
本研究は,近年のオープンおよびクローズドLCMの脆弱性評価により,このギャップを埋めるものである。
以上の結果から,より強力な安全フィルターとディファイラの必要性が示された。
論文 参考訳(メタデータ) (2024-12-18T09:48:53Z) - Information Anxiety in Large Language Models [21.574677910096735]
大規模言語モデル(LLM)は知識リポジトリとして高いパフォーマンスを示している。
本研究は, LLMの内部推論と検索機構を包括的に分析することにより, さらなる調査を行う。
我々の研究は、エンティティの人気の影響、クエリの定式化における語彙変化に対するモデルの感度、隠された状態表現の進行という3つの重要な側面に焦点を当てている。
論文 参考訳(メタデータ) (2024-11-16T14:28:33Z) - LLM-PBE: Assessing Data Privacy in Large Language Models [111.58198436835036]
大規模言語モデル(LLM)は多くのドメインに不可欠なものとなり、データ管理、マイニング、分析におけるアプリケーションを大幅に進歩させた。
この問題の批判的な性質にもかかわらず、LLMにおけるデータプライバシのリスクを総合的に評価する文献は存在しない。
本稿では,LLMにおけるデータプライバシリスクの体系的評価を目的としたツールキットであるLLM-PBEを紹介する。
論文 参考訳(メタデータ) (2024-08-23T01:37:29Z) - Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。
11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。
最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
論文 参考訳(メタデータ) (2024-07-23T15:31:26Z) - Understanding the Relationship between Prompts and Response Uncertainty in Large Language Models [55.332004960574004]
大規模言語モデル(LLM)は意思決定に広く使用されているが、特に医療などの重要なタスクにおける信頼性は十分に確立されていない。
本稿では,LSMが生成する応答の不確実性が,入力プロンプトで提供される情報とどのように関連しているかを検討する。
本稿では,LLMが応答を生成する方法を説明し,プロンプトと応答の不確実性の関係を理解するためのプロンプト応答の概念モデルを提案する。
論文 参考訳(メタデータ) (2024-07-20T11:19:58Z) - CLAMBER: A Benchmark of Identifying and Clarifying Ambiguous Information Needs in Large Language Models [60.59638232596912]
大規模言語モデル(LLM)を評価するベンチマークであるCLAMBERを紹介する。
分類を基盤として12Kの高品質なデータを構築し, 市販のLCMの強度, 弱点, 潜在的なリスクを評価する。
本研究は, あいまいなユーザクエリの特定と明確化において, 現在のLCMの実用性に限界があることを示唆する。
論文 参考訳(メタデータ) (2024-05-20T14:34:01Z) - LLMs' Reading Comprehension Is Affected by Parametric Knowledge and Struggles with Hypothetical Statements [59.71218039095155]
言語モデルの自然言語理解(NLU)能力を評価するための主要な手段として、読解理解(RC)があげられる。
文脈がモデルの内部知識と一致している場合、モデルの回答がコンテキスト理解に由来するのか、あるいは内部情報から生じるのかを識別することは困難である。
この問題に対処するために、架空の事実や実体に基づいて、想像上のデータにRCを使うことを提案する。
論文 参考訳(メタデータ) (2024-04-09T13:08:56Z) - Disinformation Capabilities of Large Language Models [0.564232659769944]
本稿では,現在世代の大言語モデル(LLM)の非情報化能力について述べる。
20個の偽情報物語を用いた10個のLDMの能力評価を行った。
LLMは、危険な偽情報の物語に一致する説得力のあるニュース記事を生成することができると結論付けている。
論文 参考訳(メタデータ) (2023-11-15T10:25:30Z) - The Perils & Promises of Fact-checking with Large Language Models [55.869584426820715]
大規模言語モデル(LLM)は、学術論文、訴訟、ニュース記事を書くことをますます信頼されている。
語句検索,文脈データ検索,意思決定などにより,実検におけるLLMエージェントの使用状況を評価する。
本研究は, 文脈情報を用いたLLMの高度化を示すものである。
LLMは事実チェックにおいて有望であるが、不整合の正確性のため注意が必要である。
論文 参考訳(メタデータ) (2023-10-20T14:49:47Z) - Survey on Factuality in Large Language Models: Knowledge, Retrieval and
Domain-Specificity [61.54815512469125]
本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。
LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
論文 参考訳(メタデータ) (2023-10-11T14:18:03Z) - Can LLM-Generated Misinformation Be Detected? [18.378744138365537]
大型言語モデル(LLM)は誤情報を生成するために利用することができる。
LLMが生成した誤報は、人間が書いた誤報よりも有害か?
論文 参考訳(メタデータ) (2023-09-25T00:45:07Z) - Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。
検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。
本稿では,文書を動的に活用するための簡易な手法を提案する。
論文 参考訳(メタデータ) (2023-07-20T16:46:10Z) - On the Risk of Misinformation Pollution with Large Language Models [127.1107824751703]
本稿では,現代大規模言語モデル (LLM) の誤用の可能性について検討する。
本研究は, LLMが効果的な誤情報発生器として機能し, DOQAシステムの性能が著しく低下することを明らかにする。
論文 参考訳(メタデータ) (2023-05-23T04:10:26Z) - Influence of External Information on Large Language Models Mirrors
Social Cognitive Patterns [51.622612759892775]
社会的認知理論は、人々が他人を観察して知識を習得する方法を説明する。
近年,大規模言語モデル(LLM)の急速な発展を目撃している。
LLMは、AIエージェントとして、その認知と行動を形成する外部情報を観察することができる。
論文 参考訳(メタデータ) (2023-05-08T16:10:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。