論文の概要: Catching Chameleons: Detecting Evolving Disinformation Generated using Large Language Models
- arxiv url: http://arxiv.org/abs/2406.17992v1
- Date: Wed, 26 Jun 2024 00:21:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-27 14:57:54.681582
- Title: Catching Chameleons: Detecting Evolving Disinformation Generated using Large Language Models
- Title（参考訳）: キャッチ・シャメレオン:大規模言語モデルを用いて生成した情報の進化を検出する
- Authors: Bohan Jiang, Chengshuai Zhao, Zhen Tan, Huan Liu,
- Abstract要約: 我々は,事前学習した言語モデルの一般的な事実チェック機能と協調的に活用するパラメータ効率の高いDLD(Detecting Evolving LLM-Generative Disinformation)を提案する。
実験の結果, TextitDELD は最先端の手法よりも優れていた。
- 参考スコア（独自算出の注目度）: 16.408611714514976
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite recent advancements in detecting disinformation generated by large language models (LLMs), current efforts overlook the ever-evolving nature of this disinformation. In this work, we investigate a challenging yet practical research problem of detecting evolving LLM-generated disinformation. Disinformation evolves constantly through the rapid development of LLMs and their variants. As a consequence, the detection model faces significant challenges. First, it is inefficient to train separate models for each disinformation generator. Second, the performance decreases in scenarios when evolving LLM-generated disinformation is encountered in sequential order. To address this problem, we propose DELD (Detecting Evolving LLM-generated Disinformation), a parameter-efficient approach that jointly leverages the general fact-checking capabilities of pre-trained language models (PLM) and the independent disinformation generation characteristics of various LLMs. In particular, the learned characteristics are concatenated sequentially to facilitate knowledge accumulation and transformation. DELD addresses the issue of label scarcity by integrating the semantic embeddings of disinformation with trainable soft prompts to elicit model-specific knowledge. Our experiments show that \textit{DELD} significantly outperforms state-of-the-art methods. Moreover, our method provides critical insights into the unique patterns of disinformation generation across different LLMs, offering valuable perspectives in this line of research.
- Abstract（参考訳）: 大規模言語モデル(LLM)が生成する偽情報の検出は近年進歩しているが、現在の研究は、この偽情報の絶え間ない性質を見落としている。
本研究では, LLM生成した偽情報の進化を検出する上で, 困難かつ実用的な研究課題について検討する。
情報化は、LSMとその変異体を急速に発展させ、常に進化する。
その結果、検出モデルは重大な課題に直面している。
第一に、各偽情報生成装置に対して個別のモデルを訓練するのは非効率である。
第2に、LLM生成した偽情報を逐次的に発生する場合のシナリオの性能は低下する。
この問題に対処するために,プレトレーニング言語モデル(PLM)の一般的な事実チェック機能と,各種LLMの独立情報生成特性を併用したパラメータ効率の高いDLD(Detecting Evolving LLM-Generative Disinformation)を提案する。
特に、学習した特徴は、知識の蓄積と変換を容易にするために連続的に連結される。
DELDは、偽情報のセマンティック埋め込みと訓練可能なソフトプロンプトを統合することで、モデル固有の知識を引き出すことでラベル不足の問題に対処する。
実験の結果, <textit{DELD} は最先端の手法よりも優れていた。
さらに,本手法は,異なるLLMにおける情報生成のユニークなパターンに対する重要な洞察を与え,この研究の行において貴重な視点を提供する。
関連論文リスト
- Improving Logits-based Detector without Logits from Black-box LLMs [56.234109491884126]
大規模言語モデル(LLM)はテキスト生成に革命をもたらし、人間の文章を忠実に模倣する出力を生成する。
我々は、ブラックボックステキスト検出における最先端性能を再定義する革新的なフレームワークであるDLD(Dis Distribution-Aligned LLMs Detection)を提案する。
DALDは、サロゲートモデルの分布を未知の目標LLMの分布と整合させ、高速モデルの反復に対する検出能力とレジリエンスを向上するように設計されている。
論文 参考訳（メタデータ） (2024-06-07T19:38:05Z) - Evolving Knowledge Distillation with Large Language Models and Active
Learning [46.85430680828938]
大規模言語モデル(LLM)は、様々なNLPタスクにまたがる顕著な機能を示している。
従来の研究は、注釈付きデータを生成してLPMの知識をより小さなモデルに抽出しようと試みてきた。
EvoKD: Evolving Knowledge Distillationを提案する。これは、アクティブラーニングの概念を利用して、大規模言語モデルを用いたデータ生成のプロセスをインタラクティブに強化する。
論文 参考訳（メタデータ） (2024-03-11T03:55:24Z) - Data Augmentation using Large Language Models: Data Perspectives, Learning Paradigms and Challenges [47.45993726498343]
データ強化(DA)は、データ収集を必要とせずにトレーニング例を多様化することにより、モデルパフォーマンスを向上させる重要な手法として登場した。
本調査では,大規模言語モデル(LLM)がDAに与える影響,特に自然言語処理(NLP)以降の文脈において,それらが持つ固有の課題と機会に対処する。
論文 参考訳（メタデータ） (2024-03-05T14:11:54Z) - Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
InFO-RAG という情報改質訓練手法を提案する。
InFO-RAGは低コストで、様々なタスクにまたがっている。
LLaMA2の性能を平均9.39%向上させる。
論文 参考訳（メタデータ） (2024-02-28T08:24:38Z) - Characterizing Truthfulness in Large Language Model Generations with
Local Intrinsic Dimension [63.330262740414646]
大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。
モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
論文 参考訳（メタデータ） (2024-02-28T04:56:21Z) - Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳（メタデータ） (2023-12-26T07:24:46Z) - From Text to Source: Results in Detecting Large Language Model-Generated Content [17.306542392779445]
大きな言語モデル(LLM)は、人間に似たテキストを生成する能力によって祝われる。
本稿では,LLM生成テキストと人文テキストを区別するために訓練された分類器が,それ以上の訓練を行なわずに目標LLMからテキストを検出することができるかどうかを評価することで,Cross-Model Detectionについて検討する。
この研究では、量化と透かし検出に加えて、ソースモデル識別、モデルファミリー、モデルサイズ分類を含むモデル属性についても検討している。
論文 参考訳（メタデータ） (2023-09-23T09:51:37Z) - On the Risk of Misinformation Pollution with Large Language Models [127.1107824751703]
本稿では,現代大規模言語モデル (LLM) の誤用の可能性について検討する。
本研究は, LLMが効果的な誤情報発生器として機能し, DOQAシステムの性能が著しく低下することを明らかにする。
論文 参考訳（メタデータ） (2023-05-23T04:10:26Z) - Large Language Models Are Latent Variable Models: Explaining and Finding
Good Demonstrations for In-Context Learning [104.58874584354787]
近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。
本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
論文 参考訳（メタデータ） (2023-01-27T18:59:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。