論文の概要: AIDBench: A benchmark for evaluating the authorship identification capability of large language models

• arxiv url: http://arxiv.org/abs/2411.13226v1
• Date: Wed, 20 Nov 2024 11:41:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:12:38.907513
• Title: AIDBench: A benchmark for evaluating the authorship identification capability of large language models
• Title（参考訳）: AIDBench: 大規模言語モデルのオーサシップ識別能力を評価するためのベンチマーク
• Authors: Zichen Wen, Dadi Guo, Huishuai Zhang,
• Abstract要約: 我々は、大きな言語モデル(LLM)が匿名テキストの作者を特定するのに役立つ、特定のプライバシーリスクに焦点を当てる。 AIDBenchは、メール、ブログ、レビュー、記事、研究論文など、いくつかの著者識別データセットを組み込んだ新しいベンチマークである。 AIDBenchによる我々の実験は、LLMがランダムな確率よりもはるかに高い確率で著者を推測できることを示し、これらの強力なモデルによって引き起こされる新たなプライバシーリスクを明らかにした。
• 参考スコア（独自算出の注目度）: 14.866356328321126
• License:
• Abstract: As large language models (LLMs) rapidly advance and integrate into daily life, the privacy risks they pose are attracting increasing attention. We focus on a specific privacy risk where LLMs may help identify the authorship of anonymous texts, which challenges the effectiveness of anonymity in real-world systems such as anonymous peer review systems. To investigate these risks, we present AIDBench, a new benchmark that incorporates several author identification datasets, including emails, blogs, reviews, articles, and research papers. AIDBench utilizes two evaluation methods: one-to-one authorship identification, which determines whether two texts are from the same author; and one-to-many authorship identification, which, given a query text and a list of candidate texts, identifies the candidate most likely written by the same author as the query text. We also introduce a Retrieval-Augmented Generation (RAG)-based method to enhance the large-scale authorship identification capabilities of LLMs, particularly when input lengths exceed the models' context windows, thereby establishing a new baseline for authorship identification using LLMs. Our experiments with AIDBench demonstrate that LLMs can correctly guess authorship at rates well above random chance, revealing new privacy risks posed by these powerful models. The source code and data will be made publicly available after acceptance.
• Abstract（参考訳）: 大きな言語モデル(LLM)が急速に進歩し、日々の生活に統合されるにつれて、それらが引き起こすプライバシーリスクが注目を集めている。 我々は、LLMが匿名テキストの著者を特定するのに役立つ特定のプライバシーリスクに焦点を当て、匿名ピアレビューシステムのような現実世界のシステムにおける匿名性の有効性に挑戦する。 これらのリスクを調査するために、メール、ブログ、レビュー、記事、研究論文など、いくつかの著者識別データセットを組み込んだ新しいベンチマークであるAIDBenchを紹介する。 AIDBenchは、2つのテキストが同一著者のものであるかどうかを判定する1対1の著者識別と、クエリテキストと候補テキストのリストを与えられた1対1の著者識別と、クエリテキストと同じ著者が書いた可能性が高い候補を特定する。 また,LLMの大規模オーサシップ識別機能,特に入力長がモデルのコンテキストウインドウを超えた場合,LLMを用いたオーサシップ識別のための新たなベースラインを確立するために,Retrieval-Augmented Generation (RAG) ベースの手法を導入する。 AIDBenchによる我々の実験は、LLMがランダムな確率よりもはるかに高い確率で著者を推測できることを示し、これらの強力なモデルによって引き起こされる新たなプライバシーリスクを明らかにした。 ソースコードとデータは受理後に公開される。

関連論文リスト

• A Bayesian Approach to Harnessing the Power of LLMs in Authorship Attribution [57.309390098903]
  著者の属性は、文書の起源または著者を特定することを目的としている。 大きな言語モデル(LLM)とその深い推論能力と長距離テキストアソシエーションを維持する能力は、有望な代替手段を提供する。 IMDbおよびブログデータセットを用いた結果, 著者10名を対象に, 著者1名に対して, 85%の精度が得られた。
  論文  参考訳（メタデータ） (2024-10-29T04:14:23Z)
• Robust Utility-Preserving Text Anonymization Based on Large Language Models [80.5266278002083]
  テキストの匿名化は、プライバシーを維持しながら機密データを共有するために重要である。 既存の技術は、大規模言語モデルの再識別攻撃能力の新たな課題に直面している。 本稿では,3つのLCMベースコンポーネント – プライバシ評価器,ユーティリティ評価器,最適化コンポーネント – で構成されるフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-16T14:28:56Z)
• Identifying the Source of Generation for Large Language Models [21.919661430250798]
  LLM(Large Language Model)は、複数の文書ソースからのテキストを記憶する言語である。 LLMは生成されたコンテンツに関する文書情報を提供できない。 この研究は、デコードステップでトークンレベルのソース識別を導入する。
  論文  参考訳（メタデータ） (2024-07-05T08:52:15Z)
• SPOT: Text Source Prediction from Originality Score Thresholding [6.790905400046194]
  対策は誤報を検出することを目的としており、通常、あらゆる情報の関連性を認識するために訓練されたドメイン固有モデルを含む。 情報の有効性を評価する代わりに,信頼の観点からLLM生成テキストを調べることを提案する。
  論文  参考訳（メタデータ） (2024-05-30T21:51:01Z)
• Protecting Copyrighted Material with Unique Identifiers in Large Language Model Training [55.321010757641524]
  大きな言語モデル(LLM)のトレーニングに関する主要な公的な懸念は、著作権のあるオンラインテキストを悪用するかどうかである。 事前の会員推定法は、大量のトレーニングデータに類似した例によって誤解されることがある。 本稿では,Webユーザとコンテンツプラットフォームがtextbftextitunique 識別子を使用することを推奨する代替のtextitinsert-and-detection 手法を提案する。
  論文  参考訳（メタデータ） (2024-03-23T06:36:32Z)
• Source Attribution for Large Language Model-Generated Data [57.85840382230037]
  合成テキストの生成に寄与したデータプロバイダを特定することで、ソース属性を実行できることが不可欠である。 我々はこの問題を透かしによって取り組めることを示した。 本稿では,アルゴリズム設計により,これらの重要な特性を満足する情報源属性フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-01T12:02:57Z)
• MAGE: Machine-generated Text Detection in the Wild [82.70561073277801]
  大規模言語モデル(LLM)は人間レベルのテキスト生成を実現し、効果的なAI生成テキスト検出の必要性を強調している。 我々は、異なるLLMによって生成される多様な人文やテキストからテキストを収集することで、包括的なテストベッドを構築する。 問題にもかかわらず、トップパフォーマンス検出器は、新しいLCMによって生成された86.54%のドメイン外のテキストを識別することができ、アプリケーションシナリオの実現可能性を示している。
  論文  参考訳（メタデータ） (2023-05-22T17:13:29Z)
• Unsupervised Text Deidentification [101.2219634341714]
  個人識別情報を漏洩する単語を隠蔽する教師なしの識別手法を提案する。 K匿名性に基づくプライバシによって動機づけられた私たちは、最小の再識別ランクを保証するリアクションを生成します。
  論文  参考訳（メタデータ） (2022-10-20T18:54:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。