論文の概要: Personalized Large Language Models
- arxiv url: http://arxiv.org/abs/2402.09269v1
- Date: Wed, 14 Feb 2024 15:55:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-15 14:44:02.620236
- Title: Personalized Large Language Models
- Title(参考訳): 個人化大規模言語モデル
- Authors: Stanis{\l}aw Wo\'zniak, Bart{\l}omiej Koptyra, Arkadiusz Janz,
Przemys{\l}aw Kazienko, Jan Koco\'n
- Abstract要約: 本稿では,大規模言語モデル(LLM)のパーソナライズ手法について検討する。
その結果、パーソナライズされた微調整は、非パーソナライズされたモデルと比較してモデル推論を改善することが示された。
感情認識とヘイトスピーチ検出のためのデータセットの実験は、パーソナライズされた方法で一貫したパフォーマンス向上を示す。
- 参考スコア(独自算出の注目度): 8.714932744665958
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have significantly advanced Natural Language
Processing (NLP) tasks in recent years. However, their universal nature poses
limitations in scenarios requiring personalized responses, such as
recommendation systems and chatbots. This paper investigates methods to
personalize LLMs, comparing fine-tuning and zero-shot reasoning approaches on
subjective tasks. Results demonstrate that personalized fine-tuning improves
model reasoning compared to non-personalized models. Experiments on datasets
for emotion recognition and hate speech detection show consistent performance
gains with personalized methods across different LLM architectures. These
findings underscore the importance of personalization for enhancing LLM
capabilities in subjective text perception tasks.
- Abstract(参考訳): 大規模言語モデル(LLM)は近年,自然言語処理(NLP)タスクが大幅に進歩している。
しかし、それらの普遍的な性質は、レコメンデーションシステムやチャットボットのようなパーソナライズされた応答を必要とするシナリオに制限をもたらす。
本稿では,LLMのパーソナライズ手法について検討し,微調整とゼロショット推論を主観的タスクで比較する。
その結果、パーソナライズされた微調整は、非パーソナライズされたモデルと比較してモデル推論を改善することが示された。
感情認識とヘイトスピーチ検出のためのデータセットの実験は、異なるLLMアーキテクチャでパーソナライズされた手法で一貫したパフォーマンス向上を示す。
これらの結果は、主観的テキスト知覚課題におけるllm能力向上におけるパーソナライズの重要性を強調するものである。
関連論文リスト
- Optimization Methods for Personalizing Large Language Models through Retrieval Augmentation [23.174810143027234]
本稿では,大規模言語モデル(LLM)のパーソナライズのための検索強化アプローチについて検討する。
パーソナライズされた生成を目的とした,限られた数の個人文書を大規模言語モデルに配信する検索モデルを最適化するための最初の試みを提案する。
論文 参考訳(メタデータ) (2024-04-09T02:58:05Z) - The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。
LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。
以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
論文 参考訳(メタデータ) (2024-03-25T19:07:32Z) - Unveiling the Generalization Power of Fine-Tuned Large Language Models [81.70754292058258]
大規模言語モデル(LLM)に固有の内在的一般化能力に微調整が及ぼす影響について検討する。
本研究の主目的は、生成タスクと分類タスクを微調整したモデルが、異なる領域やタスクに一般化する際に異なる振る舞いを示すことである。
生成タスクの微調整中にコンテキスト内学習戦略を統合することで、モデルの一般化能力を高めることができる。
論文 参考訳(メタデータ) (2024-03-14T08:18:59Z) - LLMvsSmall Model? Large Language Model Based Text Augmentation Enhanced
Personality Detection Model [58.887561071010985]
パーソナリティ検出は、ソーシャルメディア投稿に根ざした性格特性を検出することを目的としている。
既存のほとんどのメソッドは、事前訓練された言語モデルを微調整することで、ポスト機能を直接学習する。
本稿では,大規模言語モデル (LLM) に基づくテキスト拡張強化人格検出モデルを提案する。
論文 参考訳(メタデータ) (2024-03-12T12:10:18Z) - Characterizing Truthfulness in Large Language Model Generations with
Local Intrinsic Dimension [63.330262740414646]
大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。
モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
論文 参考訳(メタデータ) (2024-02-28T04:56:21Z) - I Learn Better If You Speak My Language: Enhancing Large Language Model
Fine-Tuning with Style-Aligned Response Adjustments [25.910151136027064]
本研究では,微調整過程における接地構造応答のスタイルの影響について検討した。
提案手法は,モデルの既存応答を最小限に修正して誤りを訂正する手法である。
この技術は、モデルのネイティブレスポンススタイルに合わせて正確な修正を可能にし、モデルのコア能力を保護し、過剰な適合を避ける。
論文 参考訳(メタデータ) (2024-02-17T05:05:31Z) - Customising General Large Language Models for Specialised Emotion
Recognition Tasks [24.822342337306363]
言語感情認識において,大規模言語モデル (LLM) がどのように機能するかを検討する。
具体的には、公開され、広く使われているLLM -- Chat General Language Modelを例示します。
我々は2つの異なるモーダル適応手法、すなわちディープ・プロンプト・チューニングと低ランク適応を用いてターゲットにカスタマイズする。
実験結果から, 適応型LLMは, 他の最先端の深層モデルよりも容易に優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2023-10-22T08:09:13Z) - Evaluating the Deductive Competence of Large Language Models [0.2218292673050528]
本稿では,いくつかの大規模言語モデル (LLM) が,古典的な帰納的推論問題を解くことができるかどうかを考察する。
性能は条件によって異なるが、全体的な性能は改善されない。
人的パフォーマンスとは違って,プレゼンテーション形式やコンテンツとのインタラクションが予期せぬ形で行われていることが判明した。
論文 参考訳(メタデータ) (2023-09-11T13:47:07Z) - Unlocking the Potential of User Feedback: Leveraging Large Language
Model as User Simulator to Enhance Dialogue System [65.93577256431125]
本稿では,ユーザガイド応答最適化 (UGRO) という代替手法を提案し,タスク指向の対話モデルと組み合わせる。
このアプローチでは、アノテーションのないユーザシミュレータとしてLLMを使用して対話応答を評価し、より小型のエンドツーエンドTODモデルと組み合わせる。
提案手法は従来のSOTA(State-of-the-art)よりも優れている。
論文 参考訳(メタデータ) (2023-06-16T13:04:56Z) - Benchmarking Large Language Models for News Summarization [79.37850439866938]
大規模言語モデル(LLM)は自動要約を約束しているが、その成功の背景にある理由はよく分かっていない。
LLMのゼロショット要約能力の鍵は、モデルサイズではなく、命令チューニングにある。
論文 参考訳(メタデータ) (2023-01-31T18:46:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。