Fugu-MT 論文翻訳(概要): Fighting Fire with Fire: The Dual Role of LLMs in Crafting and Detecting Elusive Disinformation

論文の概要: Fighting Fire with Fire: The Dual Role of LLMs in Crafting and Detecting Elusive Disinformation

arxiv url: http://arxiv.org/abs/2310.15515v1
Date: Tue, 24 Oct 2023 04:50:29 GMT
ステータス: 処理完了
システム内更新日: 2023-10-25 20:29:29.322572
Title: Fighting Fire with Fire: The Dual Role of LLMs in Crafting and Detecting Elusive Disinformation
Title（参考訳）: 火災と闘う - 誤情報の作りと検出におけるllmの2つの役割
Authors: Jason Lucas, Adaku Uchendu, Michiharu Yamashita, Jooyoung Lee, Shaurya Rohatgi, Dongwon Lee
Abstract要約: 大規模言語モデル(LLM)の最近のユビキティと破壊的な影響は、それらが誤用される可能性を懸念している。本稿では,近代LLMの創発的・創発的推論能力を活用する新しい「火災を伴う火災(Fighting Fire with Fire)」戦略を提案する。 GPT-3.5-turboの精度は68-72%であった。
参考スコア（独自算出の注目度）: 7.782551258221384
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Recent ubiquity and disruptive impacts of large language models (LLMs) have raised concerns about their potential to be misused (.i.e, generating large-scale harmful and misleading content). To combat this emerging risk of LLMs, we propose a novel "Fighting Fire with Fire" (F3) strategy that harnesses modern LLMs' generative and emergent reasoning capabilities to counter human-written and LLM-generated disinformation. First, we leverage GPT-3.5-turbo to synthesize authentic and deceptive LLM-generated content through paraphrase-based and perturbation-based prefix-style prompts, respectively. Second, we apply zero-shot in-context semantic reasoning techniques with cloze-style prompts to discern genuine from deceptive posts and news articles. In our extensive experiments, we observe GPT-3.5-turbo's zero-shot superiority for both in-distribution and out-of-distribution datasets, where GPT-3.5-turbo consistently achieved accuracy at 68-72%, unlike the decline observed in previous customized and fine-tuned disinformation detectors. Our codebase and dataset are available at https://github.com/mickeymst/F3.
Abstract（参考訳）: 大規模言語モデル(LLM)の最近のユビキティと破壊的な影響は、誤用される可能性(大規模な有害かつ誤解を招くコンテンツを生成すること)を懸念している。 LLMの新たなリスクに対処するために,現代LSMの創発的・創発的推論能力を活用して人文・LLM生成の偽情報に対抗する新しいFighting Fire with Fire(F3)戦略を提案する。まず, GPT-3.5-turboを用いて, パラフレーズベースおよび摂動型プレフィックススタイルのプロンプトを用いて, 真偽LLM生成コンテンツを合成する。第2に,ゼロショットの文脈内意味推論手法をclozeスタイルのプロンプトに適用し,偽記事やニュース記事から真偽を識別する。我々は,GPT-3.5-turboの分布内および分布外両方のゼロショット優位性を観測し,GPT-3.5-turboの精度は従来より68-72%向上した。私たちのコードベースとデータセットはhttps://github.com/mickeymst/f3で利用可能です。

関連論文リスト

LLM Robustness Against Misinformation in Biomedical Question Answering [50.98256373698759]
探索拡張生成(RAG)アプローチは,質問応答のための大規模言語モデル(LLM)の折り畳みを低減するために用いられる。バイオメディカル質問に対する誤報に対する4つのLDMの有効性とロバスト性を評価した。
論文参考訳（メタデータ） (2024-10-27T16:23:26Z)
Are LLMs Good Zero-Shot Fallacy Classifiers? [24.3005882003251]
ゼロショット誤字分類にLarge Language Models(LLM)を活用することに注力する。ベンチマークデータセットに関する総合的な実験により、LLMはゼロショット誤り分類器となる可能性が示唆された。我々の新しいマルチラウンドプロンプト方式は、特に小型LLMにおいて、効果的にさらなる改善をもたらすことができる。
論文参考訳（メタデータ） (2024-10-19T09:38:55Z)
LLM Self-Correction with DeCRIM: Decompose, Critique, and Refine for Enhanced Following of Instructions with Multiple Constraints [86.59857711385833]
実世界のマルチ制約命令に従うLLMの能力を評価するために設計された最初のベンチマークであるRealInstructを紹介する。オープンソースモデルとプロプライエタリモデルのパフォーマンスギャップを解決するため,Decompose, Critique and Refine(DeCRIM)自己補正パイプラインを提案する。この結果から,DeCRIMはフィードバックが弱い場合でも,RealInstructでは7.3%,IFEvalでは8.0%,Mistralでは7.3%向上した。
論文参考訳（メタデータ） (2024-10-09T01:25:10Z)
Rumour Evaluation with Very Large Language Models [2.6861033447765217]
本研究は,誤報に対処するために,プロンプトに依存しない大規模言語モデルの進歩を活用することを提案する。我々は2つのRumourEvalサブタスクを拡張するために2つのプロンプトベースのLLM変種を用いる。精度予測のために、GPT変種ごとに3つの分類スキームが実験され、各スキームはゼロ、ワンショット、および少数ショット設定で試験される。スタンス分類では、プロンプトベースのアパッチは先行結果に匹敵する性能を示し、微調整法に比較して改善はない。
論文参考訳（メタデータ） (2024-04-11T19:38:22Z)
Mitigating Object Hallucination in Large Vision-Language Models via Classifier-Free Guidance [56.04768229686853]
LVLM(Large Vision-Language Models)は、画像中の既存の物体を幻覚させる傾向がある。私たちはclassifieR-Free guIdaNcE (MARINE)を介してMitigating HallucinAtionと呼ばれるフレームワークを導入する。 MARINEはトレーニングフリーかつAPIフリーであり、生成プロセス中のオブジェクト幻覚を効果的かつ効率的に低減することができる。
論文参考訳（メタデータ） (2024-02-13T18:59:05Z)
Fighting Fire with Fire: Adversarial Prompting to Generate a Misinformation Detection Dataset [10.860133543817659]
誤報を識別するために, LLM を用いた銀標準地下構造データセットの作成手法を提案する。具体的には、信頼できるニュース記事を考えると、我々の提案するアプローチは、LLMが元の記事の要約されたバージョンを自動的に生成するように促すことである。本データセットの有用性を検討するために,誤情報検出のタスクに対して,教師付きモデルの範囲をトレーニングする一連の実験を行った。
論文参考訳（メタデータ） (2024-01-09T10:38:13Z)
Prompt Highlighter: Interactive Control for Multi-Modal LLMs [50.830448437285355]
本研究では,マルチモーダル LLM (LLMs&VLMs) 推論における重要な側面として,明示的な制御可能なテキスト生成を目標とする。本稿では,新しい推論手法であるPrompt Highlighterを導入し,ユーザが特定のプロンプトスパンをハイライトし,生成中のフォーカスをインタラクティブに制御できるようにする。推論中、注意重みを通して強調されたトークンでモデルを導くことで、より望ましい出力が得られます。
論文参考訳（メタデータ） (2023-12-07T13:53:29Z)
RankVicuna: Zero-Shot Listwise Document Reranking with Open-Source Large Language Models [56.51705482912727]
ゼロショット設定で高品質なリストワイドのランク付けを行うことができる初の完全オープンソースLCMである RankVicuna を提示する。 TREC 2019と2020 Deep Learning Tracksの実験結果から,GPT-4のゼロショットリランクに匹敵する効果が得られ,GPT-3.5よりもはるかに小さい7Bパラメータモデルが得られた。
論文参考訳（メタデータ） (2023-09-26T17:31:57Z)
Semantic Compression With Large Language Models [1.0874100424278175]
大規模言語モデル(LLM)は、情報検索、質問応答、要約、コード生成タスクに革命をもたらしている。 LLMは本質的に、一度に処理できる入力トークンと出力トークンの数によって制限される。本稿では,LLMの研究への3つの貢献について述べる。
論文参考訳（メタデータ） (2023-04-25T01:47:05Z)
Is ChatGPT Good at Search? Investigating Large Language Models as Re-Ranking Agents [56.104476412839944]
大規模言語モデル(LLM)は、様々な言語関連タスクにまたがる顕著なゼロショットの一般化を実証している。本稿では、情報検索(IR)における関連性ランキングのためのジェネレーティブLLMについて検討する。 LLMのデータ汚染に関する懸念に対処するため,我々はNovereEvalという新しいテストセットを収集した。実世界のアプリケーションの効率を向上させるため、ChatGPTのランキング能力を小さな特殊モデルに蒸留する可能性を探る。
論文参考訳（メタデータ） (2023-04-19T10:16:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。