論文の概要: IMPersona: Evaluating Individual Level LM Impersonation

• arxiv url: http://arxiv.org/abs/2504.04332v1
• Date: Sun, 06 Apr 2025 02:57:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:15:04.378940
• Title: IMPersona: Evaluating Individual Level LM Impersonation
• Title（参考訳）: IMPersona: 個人レベルのLM偽装の評価
• Authors: Quan Shi, Carlos Jimenez, Stephen Dong, Brian Seo, Caden Yao, Adam Kelch, Karthik Narasimhan,
• Abstract要約: 本稿では,特定の個人の書き方や個人の知識を擬人化するためのLM評価フレームワークであるIMPersonaを紹介する。 我々は、Llama-3.1-8B-Instructのような、わずかにサイズのオープンソースモデルでさえ、関連するレベルでの偽造能力を達成することを実証した。
• 参考スコア（独自算出の注目度）: 24.66335793601619
• License:
• Abstract: As language models achieve increasingly human-like capabilities in conversational text generation, a critical question emerges: to what extent can these systems simulate the characteristics of specific individuals? To evaluate this, we introduce IMPersona, a framework for evaluating LMs at impersonating specific individuals' writing style and personal knowledge. Using supervised fine-tuning and a hierarchical memory-inspired retrieval system, we demonstrate that even modestly sized open-source models, such as Llama-3.1-8B-Instruct, can achieve impersonation abilities at concerning levels. In blind conversation experiments, participants (mis)identified our fine-tuned models with memory integration as human in 44.44% of interactions, compared to just 25.00% for the best prompting-based approach. We analyze these results to propose detection methods and defense strategies against such impersonation attempts. Our findings raise important questions about both the potential applications and risks of personalized language models, particularly regarding privacy, security, and the ethical deployment of such technologies in real-world contexts.
• Abstract（参考訳）: 言語モデルが会話テキスト生成において人間のような能力を達成するにつれて、批判的な疑問が浮かび上がってくる:これらのシステムは特定の個人の特徴をどの程度シミュレートできるか? これを評価するために,特定個人の書き方や個人の知識を擬人化するためのLM評価フレームワークであるIMPersonaを紹介した。 教師付き微調整と階層型メモリインスパイアされた検索システムを用いて,Llama-3.1-8B-Instructのような中小のオープンソースモデルでも,関連するレベルでの偽造能力が得られることを示した。 盲目の会話実験では、参加者(誤)は、最高のプロンプトベースのアプローチでは25.00%に過ぎず、44.44%のインタラクションにおいて、メモリ統合を人間として微調整したモデルを識別した。 これらの結果を分析し,このような不正行為に対する検出手法と防御戦略を提案する。 我々の発見は、パーソナライズされた言語モデルの潜在的な応用とリスク、特にプライバシ、セキュリティ、現実世界の文脈におけるそのような技術の倫理的展開に関する重要な疑問を提起する。

関連論文リスト

• Beyond Profile: From Surface-Level Facts to Deep Persona Simulation in LLMs [50.0874045899661]
  本稿では,キャラクタの言語パターンと特徴的思考過程の両方を再現するモデルであるキャラクタボットを紹介する。 ケーススタディとしてLu Xunを用いて、17冊のエッセイコレクションから得られた4つのトレーニングタスクを提案する。 これには、外部の言語構造と知識を習得することに焦点を当てた事前訓練タスクと、3つの微調整タスクが含まれる。 言語的正確性と意見理解の3つのタスクにおいて、キャラクタボットを評価し、適応されたメトリクスのベースラインを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2025-02-18T16:11:54Z)
• Personalized Visual Instruction Tuning [30.677058613937067]
  MLLM(Multimodal large language model)は、一般的な会話を行うが、特定の個人をターゲットにした対話を行うことができない。 この欠陥は、モバイルデバイスのカスタマイズされた視覚アシスタントなど、パーソナライズされた設定におけるMLLMの適用を妨げる。 我々は、MLLMが画像内のターゲット個人を識別できるように設計された新しいデータキュレーションおよびトレーニングフレームワークである、パーソナライズド・ビジュアル・インストラクション・チューニング(PVIT)を紹介する。
  論文  参考訳（メタデータ） (2024-10-09T17:46:53Z)
• PersoBench: Benchmarking Personalized Response Generation in Large Language Models [6.8046587254152735]
  我々はペルソベンチ(PersoBench)という,ペルソベンチ(PersoBench)という,個人認識対話生成における大規模言語モデル(LLM)のパーソナライズ能力を評価するベンチマークを提案する。 本分析は, 3つの人格認識データセットを用いて, 流布度, 多様性, 一貫性, パーソナライゼーションなど, 応答品質の多次元性を評価する。
  論文  参考訳（メタデータ） (2024-10-04T07:29:41Z)
• Multimodal Fusion with LLMs for Engagement Prediction in Natural Conversation [70.52558242336988]
  我々は,不関心や混乱の兆候を検出することを目的として,言語的および非言語的手がかりを精査することにより,ダイアディック的相互作用における係り合いを予測することに焦点を当てた。 本研究では,カジュアルなダイアディック会話に携わる34人の参加者を対象に,各会話の最後に自己報告されたエンゲージメント評価を行うデータセットを収集する。 大規模言語モデル(LLMs)を用いた新たな融合戦略を導入し,複数行動モダリティをマルチモーダル・トランスクリプトに統合する。
  論文  参考訳（メタデータ） (2024-09-13T18:28:12Z)
• PersLLM: A Personified Training Approach for Large Language Models [66.16513246245401]
  社会実践, 一貫性, 動的発達という, 心理学に根ざした個性の原則を統合したPersLLMを提案する。 モデルパラメータに直接パーソナリティ特性を組み込み、誘導に対するモデルの抵抗性を高め、一貫性を高め、パーソナリティの動的進化を支援する。
  論文  参考訳（メタデータ） (2024-07-17T08:13:22Z)
• Human Simulacra: Benchmarking the Personification of Large Language Models [38.21708264569801]
  大規模言語モデル(LLM)は、人間の知性の側面を忠実に模倣するシステムとして認識されている。 本稿では,仮想キャラクタのライフストーリーをゼロから構築するためのフレームワークを提案する。 実験により, 構築したシミュラクラは, 対象キャラクタと一致した擬人化応答を生成できることが実証された。
  論文  参考訳（メタデータ） (2024-02-28T09:11:14Z)
• PsyCoT: Psychological Questionnaire as Powerful Chain-of-Thought for Personality Detection [50.66968526809069]
  PsyCoTと呼ばれる新しい人格検出手法を提案する。これは、個人がマルチターン対話方式で心理的質問を完遂する方法を模倣するものである。 実験の結果,PsyCoTは人格検出におけるGPT-3.5の性能とロバスト性を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2023-10-31T08:23:33Z)
• Unraveling ChatGPT: A Critical Analysis of AI-Generated Goal-Oriented Dialogues and Annotations [1.7969777786551426]
  大規模な事前訓練された言語モデルは、プロンプトを通じて高品質なテキストを生成するという前例のない能力を示した。 本稿では,これらのモデルが目標指向対話を生成・注釈する可能性を探究し,その品質を評価するための詳細な分析を行う。 広範囲な人間による評価に基づいて、生成した対話やアノテーションの質が、人間が生成したものと同等であることを示す。
  論文  参考訳（メタデータ） (2023-05-23T22:31:01Z)
• Estimating the Personality of White-Box Language Models [0.589889361990138]
  大規模なテキストコーパスで訓練された大規模言語モデルは、至る所で広範囲のアプリケーションで使用されている。 既存の研究は、これらのモデルが人間の偏見を捉え、捉えていることを示している。 これらのバイアス、特に害を引き起こす可能性のあるバイアスの多くは、十分に調査されている。 しかし、これらのモデルによって受け継がれた人間の性格特性を推測し、変化させる研究は、ほとんど、あるいは存在しない。
  論文  参考訳（メタデータ） (2022-04-25T23:53:53Z)
• Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy Evaluation Approach [84.02388020258141]
  強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。 ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。 実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-02-20T03:29:20Z)
• You Impress Me: Dialogue Generation via Mutual Persona Perception [62.89449096369027]
  認知科学の研究は、理解が高品質なチャット会話に不可欠なシグナルであることを示唆している。 そこで我々は,P2 Botを提案する。このP2 Botは,理解を明示的にモデル化することを目的とした送信機受信者ベースのフレームワークである。
  論文  参考訳（メタデータ） (2020-04-11T12:51:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。