論文の概要: FDLLM: A Text Fingerprint Detection Method for LLMs in Multi-Language, Multi-Domain Black-Box Environments

• arxiv url: http://arxiv.org/abs/2501.16029v1
• Date: Mon, 27 Jan 2025 13:18:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:57:38.667861
• Title: FDLLM: A Text Fingerprint Detection Method for LLMs in Multi-Language, Multi-Domain Black-Box Environments
• Title（参考訳）: FDLLM:多言語マルチドメインブラックボックス環境におけるLCMのテキスト指紋検出手法
• Authors: Zhiyuan Fu, Junfan Chen, Hongyu Sun, Ting Yang, Ruidong Li, Yuqing Zhang,
• Abstract要約: 大きな言語モデル(LLM)を使用することで、潜在的なセキュリティリスクが生じる可能性がある。 攻撃者は、このブラックボックスシナリオを利用して悪意のあるモデルをデプロイし、ユーザに提供されるコードにウイルスを埋め込むことができる。 本稿では,Qwen2.5-7Bに基づく最初のLLMGT指紋検出モデルである textbfFDLLM を提案する。
• 参考スコア（独自算出の注目度）: 18.755880639770755
• License:
• Abstract: Using large language models (LLMs) integration platforms without transparency about which LLM is being invoked can lead to potential security risks. Specifically, attackers may exploit this black-box scenario to deploy malicious models and embed viruses in the code provided to users. In this context, it is increasingly urgent for users to clearly identify the LLM they are interacting with, in order to avoid unknowingly becoming victims of malicious models. However, existing studies primarily focus on mixed classification of human and machine-generated text, with limited attention to classifying texts generated solely by different models. Current research also faces dual bottlenecks: poor quality of LLM-generated text (LLMGT) datasets and limited coverage of detectable LLMs, resulting in poor detection performance for various LLMGT in black-box scenarios. We propose the first LLMGT fingerprint detection model, \textbf{FDLLM}, based on Qwen2.5-7B and fine-tuned using LoRA to address these challenges. FDLLM can more efficiently handle detection tasks across multilingual and multi-domain scenarios. Furthermore, we constructed a dataset named \textbf{FD-Datasets}, consisting of 90,000 samples that span multiple languages and domains, covering 20 different LLMs. Experimental results demonstrate that FDLLM achieves a macro F1 score 16.7\% higher than the best baseline method, LM-D.
• Abstract（参考訳）: 大規模な言語モデル(LLM)統合プラットフォームを使用することで、LLMが呼び出されているかの透明性がなくなると、潜在的なセキュリティリスクが発生する可能性がある。 具体的には、攻撃者はこのブラックボックスのシナリオを利用して悪意のあるモデルをデプロイし、ユーザに提供されるコードにウイルスを埋め込む。 この文脈では、悪意あるモデルの犠牲者になるのを無意識に避けるため、ユーザが対話しているLCMを明確に識別することがますます急務になっている。 しかし、既存の研究は主に人間と機械が生成したテキストの混成分類に焦点を当てており、異なるモデルによってのみ生成されるテキストの分類に限られている。 LLM生成テキスト(LLMGT)データセットの品質の低下と、検出可能なLLMのカバレッジの制限により、ブラックボックスシナリオにおけるさまざまなLLMGTの検出性能が低下する、という2つのボトルネックに直面している。 本稿では,Qwen2.5-7Bに基づく最初のLLMGT指紋検出モデルである \textbf{FDLLM} を提案する。 FDLLMは、多言語および多ドメインシナリオにおける検出タスクをより効率的に処理できる。 さらに、複数の言語やドメインにまたがる90,000のサンプルからなり、20種類のLLMをカバーしたデータセットである、textbf{FD-Datasets}を構築した。 実験結果から,FDLLMは最良基準法であるLM-DよりもF1スコアが16.7%高い値が得られることがわかった。

関連論文リスト

• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• ASTRAL: Automated Safety Testing of Large Language Models [6.1050306667733185]
  大規模言語モデル(LLM)は、人間のような洗練されたコンテンツを理解し、生成する能力によって最近注目を集めている。 LLMの安全性をテストするためのテストケース(即ちプロンプト)の生成と実行を自動化するツールであるASTRALを提案する。
  論文  参考訳（メタデータ） (2025-01-28T18:25:11Z)
• Beyond Binary: Towards Fine-Grained LLM-Generated Text Detection via Role Recognition and Involvement Measurement [51.601916604301685]
  大規模言語モデル(LLM)は、オンライン談話における信頼を損なう可能性のあるコンテンツを生成する。 現在の手法はバイナリ分類に重点を置いており、人間とLLMのコラボレーションのような現実のシナリオの複雑さに対処できないことが多い。 バイナリ分類を超えてこれらの課題に対処するために,LLM生成コンテンツを検出するための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-10-18T08:14:10Z)
• LLMmap: Fingerprinting For Large Language Models [15.726286532500971]
  LLMmapは、わずか8つのインタラクションで、95%以上の精度で42の異なるLLMバージョンを正確に識別することができる。 潜在的な軽減策について議論し、資源に満ちた敵に対して、効果的な対策が困難か、あるいは実現不可能であることを実証する。
  論文  参考訳（メタデータ） (2024-07-22T17:59:45Z)
• Towards Reliable Detection of LLM-Generated Texts: A Comprehensive Evaluation Framework with CUDRT [9.682499180341273]
  大規模言語モデル(LLM)はテキスト生成が大幅に進歩しているが、その出力の人間的な品質は大きな課題を呈している。 中国語と英語の総合的な評価フレームワークとバイリンガルベンチマークであるCUDRTを提案する。 このフレームワークは、スケーラブルで再現可能な実験をサポートし、運用の多様性、多言語トレーニングセット、LLMアーキテクチャが検出性能に与える影響を分析する。
  論文  参考訳（メタデータ） (2024-06-13T12:43:40Z)
• Are you still on track!? Catching LLM Task Drift with Activations [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)
• LM-Polygraph: Uncertainty Estimation for Language Models [71.21409522341482]
  不確実性推定(UE)手法は、大規模言語モデル(LLM)の安全性、責任性、効果的な利用のための1つの経路である。 テキスト生成タスクにおけるLLMの最先端UEメソッドのバッテリを実装したフレームワークであるLM-PolygraphをPythonで統一したプログラムインタフェースで導入する。 研究者によるUEテクニックの一貫した評価のための拡張可能なベンチマークと、信頼スコア付き標準チャットダイアログを強化するデモWebアプリケーションを導入している。
  論文  参考訳（メタデータ） (2023-11-13T15:08:59Z)
• How to Bridge the Gap between Modalities: Survey on Multimodal Large Language Model [12.358079352117699]
  テキストや画像,音声などを含むマルチモーダルデータの処理にLLMを統合したマルチモーダル大規模言語モデル(MLLM)について検討する。 MLLMはマルチモーダルデータのセマンティックギャップに対処する上で、誤った出力につながる可能性がある。 効果的なモダリティアライメントの実装は、LLMが環境問題に対処し、アクセシビリティを高めるのに役立つ。
  論文  参考訳（メタデータ） (2023-11-10T09:51:24Z)
• Red Teaming Language Model Detectors with Language Models [114.36392560711022]
  大規模言語モデル(LLM)は、悪意のあるユーザによって悪用された場合、重大な安全性と倫理的リスクをもたらす。 近年,LLM生成テキストを検出し,LLMを保護するアルゴリズムが提案されている。 1) LLMの出力中の特定の単語を, 文脈が与えられたシノニムに置き換えること, 2) 生成者の書き方を変更するための指示プロンプトを自動で検索すること,である。
  論文  参考訳（メタデータ） (2023-05-31T10:08:37Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。