論文の概要: Personalized Text Generation with Contrastive Activation Steering

• arxiv url: http://arxiv.org/abs/2503.05213v1
• Date: Fri, 07 Mar 2025 08:07:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 12:22:21.653578
• Title: Personalized Text Generation with Contrastive Activation Steering
• Title（参考訳）: コントラストアクティブステアリングを用いたパーソナライズされたテキスト生成
• Authors: Jinghao Zhang, Yuting Liu, Wenjie Wang, Qiang Liu, Shu Wu, Liang Wang, Tat-Seng Chua,
• Abstract要約: そこで本研究では,ベクタとしてパーソナライズされた書体スタイルを分離し,表現する学習自由フレームワークを提案する。 本フレームワークは,PEFT法よりも1700倍のストレージ要求を削減しつつ,パーソナライズ生成において,8%の相対的な改善を実現している。
• 参考スコア（独自算出の注目度）: 63.60368120937822
• License:
• Abstract: Personalized text generation aims to infer users' writing style preferences from their historical texts and generate outputs that faithfully reflect these stylistic characteristics. Existing solutions primarily adopt two paradigms: retrieval-augmented generation (RAG) and parameter-efficient fine-tuning (PEFT). While these approaches have advanced the field, they suffer from two critical limitations: (1) the entanglement of content semantics and stylistic patterns in historical texts impedes accurate modeling of user-specific writing preferences; and (2) scalability challenges arising from both RAG's inference latency by retrieval operations and PEFT's parameter storage requirements for per user model. To overcome these limitations, we propose StyleVector, a training-free framework that disentangles and represents personalized writing style as a vector in LLM's activation space, enabling style-steered generation during inference without requiring costly retrieval or parameter storage. Comprehensive experiments demonstrate that our framework achieves a significant 8% relative improvement in personalized generation while reducing storage requirements by 1700 times over PEFT method.
• Abstract（参考訳）: パーソナライズされたテキスト生成は、ユーザの履歴テキストからスタイルの好みを推測し、これらのスタイルの特徴を忠実に反映したアウトプットを生成することを目的としている。 既存のソリューションは主に、検索拡張生成(RAG)とパラメータ効率の微調整(PEFT)の2つのパラダイムを採用している。 これらのアプローチは分野を進歩させてきたが、(1)歴史的テキストにおけるコンテンツセマンティクスとスタイリスティックなパターンの絡み合いは、ユーザ固有の書き込み嗜好の正確なモデリングを妨げること、(2)検索操作によるRAGの推論遅延とPEFTのユーザモデル毎のパラメータ記憶要求の両方から生じるスケーラビリティの課題である。 これらの制限を克服するために,LLMのアクティベーション空間におけるベクトルとしてパーソナライズされた書き込みスタイルを表現し,コストのかかる検索やパラメータ記憶を必要とせずに,推論中のスタイルステアリング生成を可能にするトレーニングフリーフレームワークであるStyleVectorを提案する。 包括的実験により, PEFT法よりも1700倍のストレージ要求を低減し, パーソナライズ生成において, 8%の相対的な改善が達成された。

関連論文リスト

• Training Sparse Mixture Of Experts Text Embedding Models [0.0]
  トランスフォーマーベースのテキスト埋め込みモデルは、パラメータ数を増やすことで、MIRACLやBEIRのようなベンチマークのパフォーマンスを改善した。 このスケーリングアプローチでは、推論レイテンシやメモリ使用量の増加など、デプロイメント上の大きな課題が導入されている。 最初の汎用MoEテキスト埋め込みモデルであるNomic Embed v2を紹介する。
  論文  参考訳（メタデータ） (2025-02-11T21:36:31Z)
• Detecting Document-level Paraphrased Machine Generated Content: Mimicking Human Writing Style and Involving Discourse Features [57.34477506004105]
  機械生成コンテンツは、学術プラジャリズムや誤報の拡散といった課題を提起する。 これらの課題を克服するために、新しい方法論とデータセットを導入します。 人間の筆記スタイルをエミュレートするエンコーダデコーダモデルであるMhBARTを提案する。 また,PDTB前処理による談話解析を統合し,構造的特徴を符号化するモデルであるDTransformerを提案する。
  論文  参考訳（メタデータ） (2024-12-17T08:47:41Z)
• Refining Joint Text and Source Code Embeddings for Retrieval Task with Parameter-Efficient Fine-Tuning [0.0]
  そこで本研究では,それを利用した微調整フレームワークを提案する。 PEFT(Efficient Fine-Tuning)技術。 提案する微調整フレームワークは,最大で0.4%のパラメータをチューニングすることで,コードテキスト検索性能を向上させる可能性を実証した。
  論文  参考訳（メタデータ） (2024-05-07T08:50:25Z)
• Successor Features for Efficient Multisubject Controlled Text Generation [48.37713738712319]
  本稿では,後継機能 (SF) と言語モデル修正の2つの基本概念を基礎とするSF-GENを紹介する。 SF-GENはこの2つをシームレスに統合し、LCMのパラメータを変更することなくテキスト生成の動的ステアリングを可能にする。 我々の知る限り、本研究はテキスト生成における後継機能の最初の応用である。
  論文  参考訳（メタデータ） (2023-11-03T00:17:08Z)
• Advancing Precise Outline-Conditioned Text Generation with Task Duality and Explicit Outline Control [15.881568820009797]
  そこで我々は,Precise Outline-conditioned Generationと呼ばれる新しいテキスト生成タスクを導入する。 このタスクは、特定の文レベルのアウトラインに基づいてストーリーを生成する必要がある。 本稿では,要約と生成のタスク双対性を生かした,明示的なアウトライン利用制御手法と新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-23T18:33:52Z)
• Stylized Data-to-Text Generation: A Case Study in the E-Commerce Domain [53.22419717434372]
  本稿では,特定のスタイルに従ってコヒーレントテキストを生成することを目的とした新しいタスク,すなわちスタイル化されたデータ・テキスト生成を提案する。 このタスクは、生成されたテキストのロジック、構造化されていないスタイル参照、バイアスのあるトレーニングサンプルという3つの課題のため、簡単ではない。 本稿では,論理計画型データ埋め込み,マスク型スタイル埋め込み,非バイアス型スタイリングテキスト生成の3つのコンポーネントからなる,新しいスタイル付きデータ・テキスト生成モデルであるStyleD2Tを提案する。
  論文  参考訳（メタデータ） (2023-05-05T03:02:41Z)
• Unsupervised Neural Stylistic Text Generation using Transfer learning and Adapters [66.17039929803933]
  応答生成のためのスタイル特化属性を学習するために,モデルパラメータの0.3%しか更新しない新しい転送学習フレームワークを提案する。 我々はPERSONALITY-CAPTIONSデータセットからスタイル固有の属性を学習する。
  論文  参考訳（メタデータ） (2022-10-07T00:09:22Z)
• COLD Decoding: Energy-based Constrained Text Generation with Langevin Dynamics [69.8062252611486]
  コールドデコーディングは、既製の左から右の言語モデルに直接適用可能なフレキシブルなフレームワークである。 制約付き生成タスクの実験は、自動評価と人的評価の両方の観点から、我々のアプローチの有効性を示している。
  論文  参考訳（メタデータ） (2022-02-23T18:59:27Z)
• Novelty Controlled Paraphrase Generation with Retrieval Augmented Conditional Prompt Tuning [8.142947808507367]
  パラフレーズ生成は自然言語処理における基本的かつ長年の課題である。 パラフレーズ生成のための大規模事前学習言語モデルに適用するためのパラメータ効率向上手法として,Retrieval Augmented Prompt Tuning (RAPT)を提案する。 また, 新規条件付きRAPT (NC-RAPT) は, 制御されたパラフレーズ生成のために, 特別なプロンプトトークンを使用する単純なモデルに依存しない方法として提案する。
  論文  参考訳（メタデータ） (2022-02-01T16:26:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。