論文の概要: Can Large Language Models Identify Authorship?
- arxiv url: http://arxiv.org/abs/2403.08213v1
- Date: Wed, 13 Mar 2024 03:22:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 15:49:59.221696
- Title: Can Large Language Models Identify Authorship?
- Title(参考訳): 大規模言語モデルはオーサシップを識別できるか?
- Authors: Baixiang Huang, Canyu Chen, Kai Shu
- Abstract要約: 大規模言語モデル(LLM)は、推論と問題解決に非常に優れた能力を示している。
本稿では,著者分析におけるLLMの包括的評価を行う。
- 参考スコア(独自算出の注目度): 18.378744138365537
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The ability to accurately identify authorship is crucial for verifying
content authenticity and mitigating misinformation. Large Language Models
(LLMs) have demonstrated exceptional capacity for reasoning and
problem-solving. However, their potential in authorship analysis, encompassing
authorship verification and attribution, remains underexplored. This paper
conducts a comprehensive evaluation of LLMs in these critical tasks.
Traditional studies have depended on hand-crafted stylistic features, whereas
state-of-the-art approaches leverage text embeddings from pre-trained language
models. These methods, which typically require fine-tuning on labeled data,
often suffer from performance degradation in cross-domain applications and
provide limited explainability. This work seeks to address three research
questions: (1) Can LLMs perform zero-shot, end-to-end authorship verification
effectively? (2) Are LLMs capable of accurately attributing authorship among
multiple candidates authors (e.g., 10 and 20)? (3) How can LLMs provide
explainability in authorship analysis, particularly through the role of
linguistic features? Moreover, we investigate the integration of explicit
linguistic features to guide LLMs in their reasoning processes. Our extensive
assessment demonstrates LLMs' proficiency in both tasks without the need for
domain-specific fine-tuning, providing insights into their decision-making via
a detailed analysis of linguistic features. This establishes a new benchmark
for future research on LLM-based authorship analysis. The code and data are
available at https://github.com/baixianghuang/authorship-llm.
- Abstract(参考訳): 著者を正確に識別する能力は、コンテンツの信頼性を検証し、誤情報を緩和するために不可欠である。
大規模言語モデル(LLM)は、推論と問題解決に非常に優れた能力を示している。
しかし、著者の検証と帰属を包含する著者分析の可能性はいまだ未解明のままである。
本稿では,これらの重要な課題におけるLLMの包括的評価を行う。
伝統的な研究は手作りのスタイリスティックな特徴に依存してきたが、最先端のアプローチは事前訓練された言語モデルのテキスト埋め込みを利用する。
これらの手法は通常ラベル付きデータの微調整を必要とするが、しばしばクロスドメインアプリケーションの性能劣化に悩まされ、説明可能性に制限がある。
1) LLM はゼロショット・エンド・ツー・エンドのオーサシップ検証を効果的に行うことができるか?
2) LLM は,複数の候補作家(例えば,10,20)の著者を正確に帰属させることができるか?
(3) LLMは、特に言語機能の役割を通して、著者分析における説明可能性をどのように提供できるか。
さらに,LLMを推論過程に導くために,明示的な言語的特徴の統合について検討する。
両課題におけるLLMの熟練度は,ドメイン固有の微調整を必要とせず,言語的特徴の詳細な分析を通じて,その意思決定に関する知見を提供する。
これにより、LLMベースのオーサシップ分析に関する今後の研究のための新しいベンチマークが確立される。
コードとデータはhttps://github.com/baixianghuang/authorship-llm.comで公開されている。
関連論文リスト
- FAC$^2$E: Better Understanding Large Language Model Capabilities by
Dissociating Language and Cognition [57.747888532651]
大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。
FAC$2$E, FAC$2$Eについて述べる。
論文 参考訳(メタデータ) (2024-02-29T21:05:37Z) - From Understanding to Utilization: A Survey on Explainability for Large
Language Models [27.295767173801426]
この調査は、Large Language Models (LLMs) における説明可能性の向上を示唆している。
主に、トレーニング済みの Transformer ベースの LLM に重点を置いています。
説明可能性の活用を考える際に、モデル編集、制御生成、モデル拡張に集中するいくつかの魅力的な方法を検討する。
論文 参考訳(メタデータ) (2024-01-23T16:09:53Z) - CLOMO: Counterfactual Logical Modification with Large Language Models [113.72984199026094]
本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。
生成モデルのカウンターファクトの能力を効果的に評価するために,革新的な評価指標であるLogicAware Counterfactual Scoreを提案する。
分析の結果,提案手法は人間の好みとよく一致していることがわかった。
論文 参考訳(メタデータ) (2023-11-29T08:29:54Z) - A Closer Look at the Self-Verification Abilities of Large Language
Models in Logical Reasoning [79.14479982371984]
論理的推論の文脈において,大規模言語モデル(LLM)の自己検証能力について詳しく検討する。
本研究の主目的は,既存のLCMが誤った推論手順を正確に識別するのに苦労し,自己検証法の有効性を保証できないことにある。
論文 参考訳(メタデータ) (2023-11-14T07:13:10Z) - Learning To Teach Large Language Models Logical Reasoning [33.88499005859982]
大規模言語モデル(LLM)は、学術と産業の両方から大きな注目を集めている。
しかし、現在のLLMは、その固有の問題のために、実用的な推論タスクにおいて信頼性の低いコンテンツを出力している。
論文 参考訳(メタデータ) (2023-10-13T14:53:06Z) - Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical
Reasoning Capabilities of Language Models [58.76688462256284]
大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。
一つのタスクトレーニング,複数タスクトレーニング,および思考知識の蒸留微調整手法の連鎖について検討し,異なる論理的推論カテゴリにおけるモデルの性能を評価する。
論文 参考訳(メタデータ) (2023-10-02T01:00:50Z) - Towards LLM-based Autograding for Short Textual Answers [4.853810201626855]
この写本は、自動階調のための大きな言語モデルの評価である。
のLCMは貴重なツールであるが、独立した自動グルーピングのための準備がまだ進行中であることを示唆している。
論文 参考訳(メタデータ) (2023-09-09T22:25:56Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳(メタデータ) (2023-09-07T01:35:24Z) - Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。
26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
論文 参考訳(メタデータ) (2023-05-24T10:45:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。