論文の概要: Fighting Fire with Fire: Adversarial Prompting to Generate a
Misinformation Detection Dataset
- arxiv url: http://arxiv.org/abs/2401.04481v1
- Date: Tue, 9 Jan 2024 10:38:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-10 16:10:46.179733
- Title: Fighting Fire with Fire: Adversarial Prompting to Generate a
Misinformation Detection Dataset
- Title(参考訳): 火災との戦い: 誤情報検出データセットの作成を敵に促す
- Authors: Shrey Satapara, Parth Mehta, Debasis Ganguly, Sandip Modha
- Abstract要約: 誤報を識別するために, LLM を用いた銀標準地下構造データセットの作成手法を提案する。
具体的には、信頼できるニュース記事を考えると、我々の提案するアプローチは、LLMが元の記事の要約されたバージョンを自動的に生成するように促すことである。
本データセットの有用性を検討するために,誤情報検出のタスクに対して,教師付きモデルの範囲をトレーニングする一連の実験を行った。
- 参考スコア(独自算出の注目度): 10.860133543817659
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The recent success in language generation capabilities of large language
models (LLMs), such as GPT, Bard, Llama etc., can potentially lead to concerns
about their possible misuse in inducing mass agitation and communal hatred via
generating fake news and spreading misinformation. Traditional means of
developing a misinformation ground-truth dataset does not scale well because of
the extensive manual effort required to annotate the data. In this paper, we
propose an LLM-based approach of creating silver-standard ground-truth datasets
for identifying misinformation. Specifically speaking, given a trusted news
article, our proposed approach involves prompting LLMs to automatically
generate a summarised version of the original article. The prompts in our
proposed approach act as a controlling mechanism to generate specific types of
factual incorrectness in the generated summaries, e.g., incorrect quantities,
false attributions etc. To investigate the usefulness of this dataset, we
conduct a set of experiments where we train a range of supervised models for
the task of misinformation detection.
- Abstract(参考訳): gpt、bard、llamaなどの大規模言語モデル(llm)の言語生成能力の最近の成功は、フェイクニュースの生成と誤情報の拡散を通じて、集団の扇動や共同的な憎悪を引き起こす際の誤用を懸念する可能性がある。
従来の誤った情報基盤トラスデータセットの開発方法は、データアノテートに必要な広範囲な手作業のため、うまくスケールしない。
本稿では,誤情報を特定するために,LLMに基づく銀標準地中真実データセットを作成する手法を提案する。
具体的には、信頼できるニュース記事が与えられた場合、提案手法では、llmsにオリジナルの記事の要約バージョンを自動的に生成するように促す。
提案手法のプロンプトは,生成したサマリー,例えば不正確な量,誤った帰属などにおいて,特定のタイプの事実的不正確性を生成するための制御機構として機能する。
本データセットの有用性を検討するために,誤情報検出のタスクに対して,教師付きモデルの範囲をトレーニングする一連の実験を行った。
関連論文リスト
- ExaRanker-Open: Synthetic Explanation for IR using Open-Source LLMs [60.81649785463651]
ExaRanker-Openを導入し、オープンソース言語モデルを適用して、説明を生成する。
以上の結果から,LLMのサイズが大きくなるにつれて,説明の組み込みが神経ランク付けを継続的に促進することが明らかとなった。
論文 参考訳(メタデータ) (2024-02-09T11:23:14Z) - Generative Context-aware Fine-tuning of Self-supervised Speech Models [54.389711404209415]
生成型大規模言語モデル(LLM)生成コンテキスト情報の利用について検討する。
自己教師型音声モデルの微調整中に生成した情報を抽出する手法を提案する。
本稿では,SLUE と Libri-light のベンチマークを用いて,自動音声認識,名前付きエンティティ認識,感情分析を行う手法を提案する。
論文 参考訳(メタデータ) (2023-12-15T15:46:02Z) - A Glitch in the Matrix? Locating and Detecting Language Model Grounding
with Fakepedia [68.00056517461402]
大規模言語モデル(LLM)は、そのコンテキストで提供される新しい情報を引き出すという印象的な能力を持つ。
しかし、この文脈的基盤のメカニズムはいまだに不明である。
本稿では,Fakepedia を用いたグラウンドディング能力の研究手法を提案する。
論文 参考訳(メタデータ) (2023-12-04T17:35:42Z) - Disinformation Capabilities of Large Language Models [0.564232659769944]
本稿では,現在世代の大言語モデル(LLM)の非情報化能力について述べる。
20個の偽情報物語を用いた10個のLDMの能力評価を行った。
LLMは、危険な偽情報の物語に一致する説得力のあるニュース記事を生成することができると結論付けている。
論文 参考訳(メタデータ) (2023-11-15T10:25:30Z) - Automatic Hallucination Assessment for Aligned Large Language Models via
Transferable Adversarial Attacks [98.22864957942821]
本稿では,大規模言語モデルが忠実に振る舞う既存データを適切に修正し,評価データを自動的に生成する手法を開発することを目的とする。
具体的には,LLM ベースのフレームワークである Auto Debug について述べる。
実験結果から, LLMは, インプロンプトに与えられた知識とパラメトリック知識との間に矛盾がある場合, 質問応答シナリオの2つのカテゴリに幻覚を与える可能性が示唆された。
論文 参考訳(メタデータ) (2023-10-19T06:37:32Z) - Enhancing LLM with Evolutionary Fine Tuning for News Summary Generation [2.1828601975620257]
本稿では,強力な自然言語理解と生成機能を備えたLLMを用いたニュース要約生成のための新しいパラダイムを提案する。
LLMを用いて、ニュース段落に含まれる事象から複数の構造化イベントパターンを抽出し、遺伝的アルゴリズムを用いてイベントパターンの集団を進化させ、LLMに入力する最も適応性の高いイベントパターンを選択し、ニュース要約を生成する。
ニュース概要生成装置(NSG)は、イベントパターンの集団を選択し、進化させ、ニュース要約を生成するように設計されている。
論文 参考訳(メタデータ) (2023-07-06T08:13:53Z) - On the Risk of Misinformation Pollution with Large Language Models [127.1107824751703]
本稿では,現代大規模言語モデル (LLM) の誤用の可能性について検討する。
本研究は, LLMが効果的な誤情報発生器として機能し, DOQAシステムの性能が著しく低下することを明らかにする。
論文 参考訳(メタデータ) (2023-05-23T04:10:26Z) - Mixture of Soft Prompts for Controllable Data Generation [21.84489422361048]
直接予測ではなく,データ拡張のためのツールとして,ソフトプロンプトの混合(MSP)を提案する。
提案手法は, 強いベースラインと比較した場合の3つのベンチマークに対して, 最先端の結果を得る。
論文 参考訳(メタデータ) (2023-03-02T21:13:56Z) - Towards Fine-Grained Information: Identifying the Type and Location of
Translation Errors [80.22825549235556]
既存のアプローチでは、エラーの位置と型を同期的に考慮することはできない。
我々はtextbf の追加と textbfomission エラーを予測するために FG-TED モデルを構築した。
実験により,本モデルではエラータイプと位置の同時同定が可能であり,最先端の結果が得られた。
論文 参考訳(メタデータ) (2023-02-17T16:20:33Z) - The Surprising Performance of Simple Baselines for Misinformation
Detection [4.060731229044571]
我々は、現代のトランスフォーマーベースの言語モデルの広いセットのパフォーマンスを調べます。
誤情報検出の新たな手法の創出と評価のベースラインとして,本フレームワークを提案する。
論文 参考訳(メタデータ) (2021-04-14T16:25:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。