論文の概要: How Well Can Large Language Models Impersonate Individual Authors? A Comparative Evaluation
- arxiv url: http://arxiv.org/abs/2611.05771v1
- Date: Wed, 04 Nov 2026 00:22:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:57.907535
- Title: How Well Can Large Language Models Impersonate Individual Authors? A Comparative Evaluation
- Title（参考訳）: 大規模言語モデルが個々の著者をどう認識できるか : 比較評価
- Abstract要約: 本研究では,ジェミニ3 Pro,クロードオプス,GPT 5.2,GPT 5.2 Pro,DeepSeek 3.2,Grok 4.1 Fastの6つの大言語モデル(LLM)の著者の偽造能力について検討した。
- 参考スコア（独自算出の注目度）: 2.735801286587348
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This study investigates the authorship impersonation capacity of six widely used large language models (LLMs): Gemini 3 Pro, Claude Opus, GPT 5.2, GPT 5.2 Pro, DeepSeek 3.2, and Grok 4.1 Fast. The evaluation was conducted using short product review texts selected to ensure high within author consistency in individual writing style. Two types of in context prompt were designed: a simple prompt with minimal instruction and a complex prompt incorporating explicit stylometric guidance for mimicry. Authorship mimicry was evaluated using a cosine distance based distance to training metric, supplemented by visual analyses of embedding distributions. The results indicate that authorship impersonation remained challenging for most LLMs, with Gemini 3 Pro showing the strongest apparent mimicry performance. However, subsequent overlap analysis revealed that Gemini 3 Pro extensively copied and reused sentences and phrases from the training texts, at levels far exceeding those observed among human authors. Follow up factor analyses showed that training set consistency was the most robust predictor of mimicry success across models, whereas author distinctiveness did not generalise as a reliable predictor. Global embedding visualisations further revealed a consistent macro level pattern: for most models, generated texts occupied regions of the embedding space that were largely separated from the corresponding human training clusters. This indicates limited convergence towards target author style and suggests the presence of model specific lexical and phraseological preferences. The findings highlight the importance of distinguishing genuine stylistic imitation from direct textual reuse and have implications for the forensic analysis of textual evidence involving potential LLM enabled impersonation.
- Abstract（参考訳）: 本研究では,ジェミニ3 Pro,クロードオプス,GPT 5.2,GPT 5.2 Pro,DeepSeek 3.2,Grok 4.1 Fastの6つの大言語モデル(LLM)の著者の偽造能力について検討した。
評価は,個々の筆記スタイルにおける著者の一貫性を高めるために選択された短い製品レビューテキストを用いて行った。
2種類のコンテキストプロンプトが設計され、最小限の命令を持つ単純なプロンプトと、模倣のための明示的なスタイル的ガイダンスを組み込んだ複雑なプロンプトである。
埋め込み分布の視覚的解析によって補足した,コサイン距離に基づくトレーニング距離を用いたオーサシップ模倣の評価を行った。
その結果、ほとんどのLLMでは著者の偽装は困難であり、Gemini 3 Proは最も顕著な模倣性能を示した。
しかし、その後の重複分析により、ジェミニ3 Proは、人間の著作者の間で観察されたものよりもはるかに高い水準で、訓練テキストから広範囲にコピーされ、再利用された文やフレーズが発見された。
Follow up factor analysisは、トレーニングセットの一貫性がモデル間での模倣成功の最も堅牢な予測因子であることを示したが、著者の独特性は信頼性のある予測因子として一般化しなかった。
グローバルな埋め込み視覚化により、一貫したマクロレベルのパターンが明らかにされた: ほとんどのモデルでは、生成されたテキストが埋め込み空間の領域を占有し、対応する人間のトレーニングクラスタから大きく分離された。
これは、ターゲットの著者スタイルへの限定的な収束を示し、モデル固有の語彙や句的嗜好の存在を示唆している。
本研究は, 真正の文体模倣と直接の文体再利用を区別することの重要性を強調し, LLMを有効化した文体証拠の法医学的分析に影響を及ぼすものである。
関連論文リスト
- Local Brushstroke Quality Assessment via Vision-Language Feedback [16.561215035945423]
本稿では,マルチモーダルLLMが書道における局所的な筆跡品質を評価し,教育的に有用な自然言語フィードバックを生成できるかどうかを考察する。
本研究では、3つのマルチモーダル LLM が5点順序尺度を用いて事前画像ペアの評価を行い、その出力を3人の専門書家によって割り当てられたスコアと比較する評価枠組みを構築した。
さらに,予備条件としてClaudeのRAG(Retrieval-Augmented Generation)を検討した結果,GPT-4oが最高性能(MAE=0.885)の絶対スコア精度(MAE)が得られた。
論文 参考訳（メタデータ） (2026-07-15T18:22:21Z) - Benchmarking Large Language Models for Personalized Guidance in AI-Enhanced Learning [4.990353320509215]
大規模言語モデル(LLM)は、パーソナライズされた学習のためのインテリジェントアシスタントとしてますます考えられている。
本研究では,現実的な学習環境を模擬した学習課題における3つの最先端LLMの実証的比較を行った。
論文 参考訳（メタデータ） (2025-09-02T14:21:59Z) - Evaluating Large Language Models as Expert Annotators [17.06186816803593]
本稿では,トップパフォーマンス言語モデルが,人間の専門家アノテータの直接的な代替として機能するかどうかを考察する。
我々は、金融、バイオメディシン、法という3つの専門分野にまたがる個別のLCMとマルチエージェントのアプローチを評価した。
実験結果から,推定時間的手法を具備した個々のLSMは,限界あるいは負の利得しか示さないことが明らかとなった。
論文 参考訳（メタデータ） (2025-08-11T10:19:10Z) - AI-Facilitated Analysis of Abstracts and Conclusions: Flagging Unsubstantiated Claims and Ambiguous Pronouns [0.0]
我々は,人間のような階層的推論を引き出すために設計された概念証明プロンプトを提示し,評価する。
アカデミック・サマリーにおける2つの非自明な分析課題(要約と結論)をターゲットにしたプロンプト
我々は,異なる状況下で2つのモデル(Gemini Pro 2.5 Pro と ChatGPT Plus o3)について,系統的,マルチラン評価を行った。
論文 参考訳（メタデータ） (2025-06-16T07:34:31Z) - Accuracy is Not Agreement: Expert-Aligned Evaluation of Crash Narrative Classification Models [2.1797343876622097]
本研究では,Deep Learning(DL)モデルの精度と,クラッシュ物語の分類における専門家合意との関係について検討した。
専門家のラベルや物語に対して5つのDLモデルを評価し、分析を4つの大言語モデル(LLM)に拡張する。
高い精度のモデルでは、人間の専門家との一致度が低い場合が多いが、LSMでは精度が低いにもかかわらず、専門家のアライメントが強い場合が多い。
論文 参考訳（メタデータ） (2025-04-17T16:29:08Z) - A Bayesian Approach to Harnessing the Power of LLMs in Authorship Attribution [57.309390098903]
著者の属性は、文書の起源または著者を特定することを目的としている。
大きな言語モデル(LLM)とその深い推論能力と長距離テキストアソシエーションを維持する能力は、有望な代替手段を提供する。
IMDbおよびブログデータセットを用いた結果, 著者10名を対象に, 著者1名に対して, 85%の精度が得られた。
論文 参考訳（メタデータ） (2024-10-29T04:14:23Z) - Inclusivity in Large Language Models: Personality Traits and Gender Bias in Scientific Abstracts [49.97673761305336]
我々は,3つの大きな言語モデル (LLM) を,人間の物語スタイルと潜在的な性別バイアスに適合させることで評価した。
以上の結果から,これらのモデルは一般的にヒトの投稿内容によく似たテキストを生成するが,スタイル的特徴の変化は有意な性差を示すことが示唆された。
論文 参考訳（メタデータ） (2024-06-27T19:26:11Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [51.26815896167173]
本稿では,3つの相補的な側面からPAMIレビューを総合的に分析する。
我々の分析は、現在のレビューの実践において、独特の組織パターンと永続的なギャップを明らかにします。
最後に、最先端のAI生成レビューの評価は、コヒーレンスと組織の進歩を奨励していることを示している。
論文 参考訳（メタデータ） (2024-02-20T11:28:50Z) - Gemini vs GPT-4V: A Preliminary Comparison and Combination of
Vision-Language Models Through Qualitative Cases [98.35348038111508]
本稿では,Google の Gemini と OpenAI の GPT-4V(ision) の2つのパイオニアモデルについて,詳細な比較研究を行った。
分析の核となるのは、各モデルの視覚的理解能力である。
両モデルのユニークな強みとニッチを照らし出した。
論文 参考訳（メタデータ） (2023-12-22T18:59:58Z) - "You Are An Expert Linguistic Annotator": Limits of LLMs as Analyzers of
Abstract Meaning Representation [60.863629647985526]
文意味構造の解析において, GPT-3, ChatGPT, および GPT-4 モデルの成功と限界について検討した。
モデルはAMRの基本形式を確実に再現でき、しばしばコアイベント、引数、修飾子構造をキャプチャできる。
全体としては,これらのモデルではセマンティック構造の側面を捉えることができるが,完全に正確なセマンティック解析や解析をサポートする能力には重要な制限が残されている。
論文 参考訳（メタデータ） (2023-10-26T21:47:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。