論文の概要: Tailoring Personality Traits in Large Language Models via
Unsupervisedly-Built Personalized Lexicons
- arxiv url: http://arxiv.org/abs/2310.16582v1
- Date: Wed, 25 Oct 2023 12:16:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-26 14:52:24.392680
- Title: Tailoring Personality Traits in Large Language Models via
Unsupervisedly-Built Personalized Lexicons
- Title（参考訳）: 教師なしパーソナライズドレキシコンによる大規模言語モデルにおけるパーソナリティ特性の評価
- Authors: Tianlong Li, Xiaoqing Zheng and Xuanjing Huang
- Abstract要約: 人格は人間の表現パターンを形成する上で重要な役割を果たしている。
本稿では,大型言語モデル (LLM) のパーソナリティ特性をプラガブルな方法で調整するための新しいアプローチを提案する。
- 参考スコア（独自算出の注目度）: 36.61892856628794
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Personality plays a pivotal role in shaping human expression patterns, and
empowering and manipulating large language models (LLMs) with personality
traits holds significant promise in enhancing the user experience of LLMs.
However, prior approaches either rely on fine-tuning LLMs on a corpus enriched
with personalized expressions or necessitate the manual crafting of prompts to
induce LLMs to produce personalized responses. The former approaches demand
substantial time and resources for collecting sufficient training examples
while the latter might fail in enabling the precise manipulation of the
personality traits at a fine-grained level (e.g., achieving high agreeableness
while reducing openness). In this study, we introduce a novel approach for
tailoring personality traits within LLMs, allowing for the incorporation of any
combination of the Big Five factors (i.e., openness, conscientiousness,
extraversion, agreeableness, and neuroticism) in a pluggable manner. This is
achieved by employing a set of Unsupervisedly-Built Personalized Lexicons
(UBPL) that are utilized to adjust the probability of the next token predicted
by the original LLMs during the decoding phase. This adjustment encourages the
models to generate words present in the personalized lexicons while preserving
the naturalness of the generated texts. Extensive experimentation demonstrates
the effectiveness of our approach in finely manipulating LLMs' personality
traits. Furthermore, our method can be seamlessly integrated into other LLMs
without necessitating updates to their parameters.
- Abstract（参考訳）: パーソナリティは、人間の表現パターンを形成する上で重要な役割を担い、大きな言語モデル(LLM)にパーソナリティ特性を付与し、操作することは、LLMのユーザエクスペリエンスを高める上で大きな可能性を秘めている。
しかし、従来のアプローチでは、パーソナライズされた表現に富んだコーパスの微調整 LLM に依存するか、パーソナライズされた応答を生成するために LLM を誘導するプロンプトの手作業が必要であった。
前者のアプローチでは十分なトレーニングサンプルの収集に十分な時間とリソースを必要とする一方で、後者では、パーソナリティ特性をきめ細かいレベルで正確に操作できない可能性がある(例えば、オープンネスを減らしながら高い満足度を達成するなど)。
本研究では,LLM内の人格特性を調整するための新しいアプローチを導入し,開放性,良心性,外向性,同意性,神経症などの5つの要素の組み合わせをプラガブルな方法で組み込むことを可能にした。
これは、復号フェーズ中に元のLLMによって予測される次のトークンの確率を調整するために使用されるUnsupervisedly-Built Personalized Lexicons (UBPL) を用いて達成される。
この調整は、生成したテキストの自然性を保ちながら、パーソナライズされた語彙に存在する単語を生成することをモデルに促す。
広汎な実験により, LLMの性格特性を微調整する手法の有効性が示された。
さらに,パラメータの更新を必要とせずに,他のLSMにシームレスに統合することができる。
関連論文リスト
- LMLPA: Language Model Linguistic Personality Assessment [11.599282127259736]
大規模言語モデル(LLM)は、日常の生活や研究にますます利用されている。
与えられたLLMの性格を測定することは、現在課題である。
言語モデル言語パーソナリティアセスメント(LMLPA)は,LLMの言語的パーソナリティを評価するシステムである。
論文 参考訳（メタデータ） (2024-10-23T07:48:51Z) - zsLLMCode: An Effective Approach for Functional Code Embedding via LLM with Zero-Shot Learning [6.976968804436321]
大型言語モデル(LLM)はゼロショット学習の能力を持ち、訓練や微調整を必要としない。
LLMを用いた関数型コード埋め込みを生成する新しいアプローチであるzsLLMCodeを提案する。
論文 参考訳（メタデータ） (2024-09-23T01:03:15Z) - LLMvsSmall Model? Large Language Model Based Text Augmentation Enhanced
Personality Detection Model [58.887561071010985]
パーソナリティ検出は、ソーシャルメディア投稿に根ざした性格特性を検出することを目的としている。
既存のほとんどのメソッドは、事前訓練された言語モデルを微調整することで、ポスト機能を直接学習する。
本稿では,大規模言語モデル (LLM) に基づくテキスト拡張強化人格検出モデルを提案する。
論文 参考訳（メタデータ） (2024-03-12T12:10:18Z) - Characterizing Truthfulness in Large Language Model Generations with
Local Intrinsic Dimension [63.330262740414646]
大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。
モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
論文 参考訳（メタデータ） (2024-02-28T04:56:21Z) - Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。
SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。
このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
論文 参考訳（メタデータ） (2024-01-02T18:53:13Z) - Psychometric Predictive Power of Large Language Models [32.31556074470733]
命令チューニングは、認知モデルの観点から、必ずしも人間のような大きな言語モデルを作るとは限らない。
命令調整 LLM で推定される次の単語確率は、基本 LLM で推定されるものよりも、人間の読み動作をシミュレートする場合には、しばしば悪化する。
論文 参考訳（メタデータ） (2023-11-13T17:19:14Z) - Let Models Speak Ciphers: Multiagent Debate through Embeddings [84.20336971784495]
この問題を解決するためにCIPHER(Communicative Inter-Model Protocol Through Embedding Representation)を導入する。
自然言語から逸脱することで、CIPHERはモデルの重みを変更することなく、より広い範囲の情報を符号化する利点を提供する。
このことは、LLM間の通信における代替の"言語"としての埋め込みの優越性と堅牢性を示している。
論文 参考訳（メタデータ） (2023-10-10T03:06:38Z) - Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。
より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。
この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
論文 参考訳（メタデータ） (2023-09-20T09:23:46Z) - Personality Traits in Large Language Models [44.908741466152215]
コミュニケーションの有効性を決定する重要な要因は人格である。
広範に使われている大規模言語モデルにおいて,パーソナリティテストの管理と検証を行う包括的手法を提案する。
本稿では,計測・形成手法の応用と倫理的意義,特に責任あるAIについて論じる。
論文 参考訳（メタデータ） (2023-07-01T00:58:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。