論文の概要: Less but Better: Parameter-Efficient Fine-Tuning of Large Language Models for Personality Detection

• arxiv url: http://arxiv.org/abs/2504.05411v1
• Date: Mon, 07 Apr 2025 18:30:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-09 13:31:31.307454
• Title: Less but Better: Parameter-Efficient Fine-Tuning of Large Language Models for Personality Detection
• Title（参考訳）: パーソナリティ検出のための大規模言語モデルのパラメータ効率の良い微調整
• Authors: Lingzhi Shen, Yunfei Long, Xiaohao Cai, Guanming Chen, Imran Razzak, Shoaib Jameel,
• Abstract要約: パーソナリティ検出は、ソーシャルメディアのテキストなど、さまざまなデータソースから個人の個性を自動的に識別する。 言語モデルのパラメータスケールが拡大するにつれて、計算コストの管理がますます困難になる。 これらの課題に対処するために、パラメータ効率の良い新しい微調整フレームワークPersLLMを紹介した。
• 参考スコア（独自算出の注目度）: 14.829868031954266
• License:
• Abstract: Personality detection automatically identifies an individual's personality from various data sources, such as social media texts. However, as the parameter scale of language models continues to grow, the computational cost becomes increasingly difficult to manage. Fine-tuning also grows more complex, making it harder to justify the effort and reliably predict outcomes. We introduce a novel parameter-efficient fine-tuning framework, PersLLM, to address these challenges. In PersLLM, a large language model (LLM) extracts high-dimensional representations from raw data and stores them in a dynamic memory layer. PersLLM then updates the downstream layers with a replaceable output network, enabling flexible adaptation to various personality detection scenarios. By storing the features in the memory layer, we eliminate the need for repeated complex computations by the LLM. Meanwhile, the lightweight output network serves as a proxy for evaluating the overall effectiveness of the framework, improving the predictability of results. Experimental results on key benchmark datasets like Kaggle and Pandora show that PersLLM significantly reduces computational cost while maintaining competitive performance and strong adaptability.
• Abstract（参考訳）: パーソナリティ検出は、ソーシャルメディアのテキストなど、さまざまなデータソースから個人の個性を自動的に識別する。 しかし、言語モデルのパラメータスケールが拡大し続ければ、計算コストの管理がますます困難になる。 微調整も複雑になり、努力を正当化し、結果を確実に予測することが難しくなります。 これらの課題に対処するために、パラメータ効率の良い新しい微調整フレームワークPersLLMを紹介した。 PersLLMでは、大きな言語モデル(LLM)が生データから高次元表現を抽出し、動的メモリ層に格納する。 PersLLMはその後、下流層を交換可能な出力ネットワークで更新し、様々なパーソナリティ検出シナリオへの柔軟な適応を可能にする。 メモリ層に特徴を格納することで、LLMによる複雑な計算を繰り返す必要がなくなる。 一方、軽量出力ネットワークは、フレームワークの全体的な有効性を評価するプロキシとして機能し、結果の予測可能性を向上させる。 KaggleやPandoraといった主要なベンチマークデータセットの実験結果から、PersLLMは競争性能と高い適応性を維持しながら、計算コストを著しく削減することが示された。

関連論文リスト

• DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [70.91804882618243]
  本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。 我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。 LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-18T02:37:26Z)
• iTool: Boosting Tool Use of Large Language Models via Iterative Reinforced Fine-Tuning [39.65877861652369]
  大規模な言語モデルを外部ツールで拡張することは、その能力を強化するための有望なアプローチである。 その結果, 合成データの増加に伴い, トレーニングは著しく低下することがわかった。 本稿では,これらの課題を軽減するために,反復的に強化された微調整戦略を提案する。
  論文  参考訳（メタデータ） (2025-01-15T04:52:34Z)
• QPruner: Probabilistic Decision Quantization for Structured Pruning in Large Language Models [3.093903491123962]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクを大幅に進歩させた。 構造化プルーニングはモデルサイズの削減に有効な手法であるが、しばしば精度を著しく低下させる。 我々は、微調整と推論の両方でメモリ消費を減らすために、構造化プルーニングフレームワークに量子化を導入する。 モデルサイズの削減に構造化プルーニングを用いた新しいフレームワークQPrunerを提案する。
  論文  参考訳（メタデータ） (2024-12-16T10:14:01Z)
• Uncertainty-aware Parameter-Efficient Self-training for Semi-supervised Language Understanding [38.11411155621616]
  我々は,主に半教師あり学習の手法として,自己学習について研究している。 我々は,新しい不確かさを意識した自己学習フレームワークであるUPETを紹介する。 UPETは性能と効率の面で大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2023-10-19T02:18:29Z)
• To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
  大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。 本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。 第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
  論文  参考訳（メタデータ） (2023-05-22T17:02:15Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• Transformer-based Context Condensation for Boosting Feature Pyramids in Object Detection [77.50110439560152]
  現在の物体検出器は、通常マルチレベル特徴融合(MFF)のための特徴ピラミッド(FP)モジュールを持つ。 我々は,既存のFPがより優れたMFF結果を提供するのに役立つ,新しい,効率的なコンテキストモデリング機構を提案する。 特に,包括的文脈を2種類の表現に分解・凝縮して高効率化を図っている。
  論文  参考訳（メタデータ） (2022-07-14T01:45:03Z)
• Improving Classifier Training Efficiency for Automatic Cyberbullying Detection with Feature Density [58.64907136562178]
  言語支援の異なる特徴前処理手法を用いて特徴密度(FD)の有効性を検討した。 データセットの複雑さを推定することで、必要な実験の数を削減できると仮定する。 データセットの言語的複雑さの違いにより、言語的に支援された単語前処理の有効性を議論することが可能になる。
  論文  参考訳（メタデータ） (2021-11-02T15:48:28Z)
• SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
  自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。 既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
  論文  参考訳（メタデータ） (2021-01-02T01:15:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。