論文の概要: PersonalBench: Measuring the Authorship Gap in LLM Personalization

• arxiv url: http://arxiv.org/abs/2608.19746v1
• Date: Thu, 20 Aug 2026 07:48:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-21 20:28:51.486763
• Title: PersonalBench: Measuring the Authorship Gap in LLM Personalization
• Title（参考訳）: PersonalBench: LLMパーソナライゼーションにおけるオーサシップギャップの測定
• Abstract要約: 推論時パーソナライズ手法を評価するベンチマークであるPersonalBenchを紹介する。 著者50名、世代1,000名、モデルファミリー2名を対象に、パーソナライズ手法が著者差分出力を生み出すことを発見した。 すべての手法は実際の著者とLUARの類似性を0.484-0.508の範囲で達成し、その下層は0.626である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Personalized text generation aims to make LLMs write in a specific individual's style, yet existing benchmarks measure task accuracy or preference alignment rather than whether the model's output actually resembles the target author's writing. We introduce PersonalBench, a benchmark that evaluates inference-time personalization methods through three independent lenses: LUAR (a trained authorship verification model), an LLM-as-judge, and automated stylometrics. Across 50 authors, 1,000 generations, and two model families (Qwen 3, GLM-4), we find that personalization methods do produce author-differentiated output (LUAR discriminates target authors within generated text at AUC=0.918) but this differentiation never crosses the human-LLM boundary. All methods achieve LUAR similarity to real authors in the range 0.484-0.508, below the cross-author human floor of 0.626 (ceiling 0.756). The LLM's own authorship fingerprint dominates: generated text is more distant from any human author than random humans are from each other. Methods are statistically indistinguishable from each other on LUAR (spread 0.024) despite appearing differentiated on the LLM judge, a discrepancy we trace to circularity between trait extraction and profile extraction. We validate that LUAR reliably measures authorship in our corpus (AUC=0.76 single-post, 0.96 multi-post). We release PersonalBench as a calibrated measuring stick: inference-time personalization modulates the LLM's style but does not bridge the gap to human authorship.
• Abstract（参考訳）: パーソナライズされたテキスト生成は、LLMを特定の個人のスタイルで書くことを目的としているが、既存のベンチマークは、モデルの出力がターゲットの著者の書き込みと実際に似ているかどうかではなく、タスクの正確さまたは優先順位の調整を測定する。 LUAR(トレーニングされたオーサシップ検証モデル)、LSM-as-judge、自動スタイリクスの3つの独立したレンズによる推論時パーソナライズ手法を評価するベンチマークであるPersonalBenchを紹介する。 50人以上の著者、1000世代、および2つのモデルファミリー(Qwen 3, GLM-4)において、パーソナライズ手法が著者微分出力を生成する(LUARはAUC=0.918で生成されたテキスト内でターゲット著者を識別する)が、この区別は人間とLLMの境界を越えることはない。 すべての手法は実際の著者とLUARの類似性を0.484-0.508の範囲で達成し、その下層は0.626(0.756)である。 生成されたテキストは、ランダムな人間が互いに離れているよりも、いかなる著作者からも遠く離れている。 LUAR (spread 0.024) では, LLM 判定器で区別されるが, 特徴抽出とプロファイル抽出の円形性に類似している。 AUC=0.76シングルポスト、0.96マルチポスト)において、LUARが確実にオーサリングを計測できることを検証する。 推論時パーソナライゼーションはLLMのスタイルを変調するが、人間の作者とのギャップを埋めるものではない。

関連論文リスト

• Theory-Grounded Evaluation Exposes the Authorship Gap in LLM Personalization [0.0]
  著者検証理論の基盤評価は,どのベンチマークを計測できるかを変換することを示した。 我々は50人の著者と1000世代にわたる4つの推論時パーソナライズ手法を評価した。
  論文  参考訳（メタデータ） (2026-04-29T09:17:01Z)
• Can LLMs Predict Academic Collaboration? Topology Heuristics vs. LLM-Based Link Prediction on Real Co-authorship Networks [4.675202949988315]
  本研究では,大規模言語モデル(LLM)が,グラフ構造にアクセスせずに著者プロファイルのみを用いて将来の科学的コラボレーションを予測できるかどうかを考察する。 Qwen-722.5B-Instructは、AI研究の3つの歴史的時代において、LLMとトポロジーが異なる信号を捉え、補完的な設定で最強であることがわかった。
  論文  参考訳（メタデータ） (2026-04-01T20:39:12Z)
• Can We Hide Machines in the Crowd? Quantifying Equivalence in LLM-in-the-loop Annotation Tasks [8.246529401043128]
  我々は、人間とLLMの両方によるラベル付け決定が、個人間で統計的に評価される方法について検討することを目指している。 Krippendorffの$alpha$, paired bootstrapping, and the Two One-Sided t-Tests (TOST) equivalence test procedureに基づく統計的評価法を開発した。 このアプローチをMovieLens 100K と PolitiFact という2つのデータセットに適用すると、LCM が前者の人間のアノテーションと統計的に区別できないことが分かる。
  論文  参考訳（メタデータ） (2025-10-08T05:17:33Z)
• How Well Do LLMs Imitate Human Writing Style? [2.3754840025365183]
  大規模言語モデル(LLM)は、流動的なテキストを生成することができるが、特定の人間の作者の独特のスタイルを再現する能力は、まだ不明である。 著者の検証とスタイルの模倣分析のための,高速かつトレーニング不要なフレームワークを提案する。 学術エッセイでは97.5%、クロスドメイン評価では94.5%の精度を達成している。
  論文  参考訳（メタデータ） (2025-09-29T15:34:40Z)
• Evaluating Style-Personalized Text Generation: Challenges and Directions [13.84471733325089]
  スタイルのパーソナライゼーションは、すべてのユーザに対して非常に具体的であり、実用的コンテキストに強く依存する。 BLEU, 埋め込み, LLMs-as-judgesなど, この分野で最も一般的な測定値の有効性について検討した。 多様な評価指標のアンサンブルを用いることで、単一評価手法よりも一貫して優れているという強い証拠が得られます。
  論文  参考訳（メタデータ） (2025-08-08T15:07:31Z)
• A Bayesian Approach to Harnessing the Power of LLMs in Authorship Attribution [57.309390098903]
  著者の属性は、文書の起源または著者を特定することを目的としている。 大きな言語モデル(LLM)とその深い推論能力と長距離テキストアソシエーションを維持する能力は、有望な代替手段を提供する。 IMDbおよびブログデータセットを用いた結果, 著者10名を対象に, 著者1名に対して, 85%の精度が得られた。
  論文  参考訳（メタデータ） (2024-10-29T04:14:23Z)
• DALD: Improving Logits-based Detector without Logits from Black-box LLMs [56.234109491884126]
  大規模言語モデル(LLM)はテキスト生成に革命をもたらし、人間の文章を忠実に模倣する出力を生成する。 我々は、ブラックボックステキスト検出における最先端性能を再定義する革新的なフレームワークであるDLD(Dis Distribution-Aligned LLMs Detection)を提案する。 DALDは、サロゲートモデルの分布を未知の目標LLMの分布と整合させ、高速モデルの反復に対する検出能力とレジリエンスを向上するように設計されている。
  論文  参考訳（メタデータ） (2024-06-07T19:38:05Z)
• Who Wrote This? The Key to Zero-Shot LLM-Generated Text Detection Is GECScore [51.65730053591696]
  我々は,人文テキストがLLM生成テキストよりも文法的誤りを多く含んでいるという観察に基づく,シンプルで効果的なブラックボックスゼロショット検出手法を提案する。 実験結果から,本手法はゼロショット法や教師あり手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-05-07T12:57:01Z)
• Beyond Traditional Benchmarks: Analyzing Behaviors of Open LLMs on Data-to-Text Generation [0.0]
  データ・トゥ・テキスト(D2T)生成タスクにおけるオープン・大規模言語モデル(LLM)の挙動を解析する。 オープン LLM は,Quintd で収集した共通フォーマットのデータから,ゼロショット設定で,ゆるやかで一貫性のあるテキストを生成することができる。
  論文  参考訳（メタデータ） (2024-01-18T18:15:46Z)
• Generating Benchmarks for Factuality Evaluation of Language Models [61.69950787311278]
  FACTOR: Factual Assessment via Corpus Transformation, a scalable approach for LM factuality。 FACTORは、興味のある事実のコーパスをLMの正当性を評価するベンチマークに自動的に変換し、コーパスから真事実を生成する。 その結果, (i) ベンチマークスコアはモデルサイズに応じて増加し, LMが検索によって拡張されたときに向上する; (ii) ベンチマークスコアとパープレキシティは必ずしもモデルランキングに一致しない; (iii) パープレキシティとベンチマークスコアが一致しない場合, 後者はオープンエンド世代における事実性を反映する。
  論文  参考訳（メタデータ） (2023-07-13T17:14:38Z)
• Statistical Knowledge Assessment for Large Language Models [79.07989821512128]
  ファクトイドの問題に関する様々なプロンプトを考慮すれば、大きな言語モデル(LLM)は事実的に正しい答えを確実に生成できるだろうか? LLMの事実知識を評価する統計的手法であるKaRRを提案する。 この結果から,同じバックボーン構造を持つLLMの知識はスケーリング法則に則っており,命令追従データに基づくチューニングは,実際に正しいテキストを確実に生成するモデルの能力を損なう場合があることがわかった。
  論文  参考訳（メタデータ） (2023-05-17T18:54:37Z)
• Self-Refine: Iterative Refinement with Self-Feedback [62.78755306241981]
  Self-Refineは、反復的なフィードバックと改善を通じて、大きな言語モデル(LLM)からの初期出力を改善するアプローチである。 GPT-3.5, ChatGPT, および GPT-4) LLM を用いて, 対話応答生成から数学的推論に至るまで, 7 つのタスクにまたがる自己決定性を評価する。 我々の研究は、GPT-4のような最先端のLCMでさえ、単純でスタンドアロンなアプローチを使用してテスト時にさらに改善できることを示します。
  論文  参考訳（メタデータ） (2023-03-30T18:30:01Z)
• PART: Pre-trained Authorship Representation Transformer [52.623051272843426]
  文書を書く著者は、自分のテキストに識別情報を印字する。 以前の作品では、手作りの機能や分類タスクを使って著者モデルを訓練していた。 セマンティクスの代わりにテキストの埋め込みを学習するために、対照的に訓練されたモデルを提案する。
  論文  参考訳（メタデータ） (2022-09-30T11:08:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。