論文の概要: Towards Lightweight, Adaptive and Attribute-Aware Multi-Aspect Controllable Text Generation with Large Language Models

• arxiv url: http://arxiv.org/abs/2502.13474v1
• Date: Wed, 19 Feb 2025 06:56:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 14:00:21.099630
• Title: Towards Lightweight, Adaptive and Attribute-Aware Multi-Aspect Controllable Text Generation with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いた軽量・適応型・属性対応多視点テキスト生成に向けて
• Authors: Chenyu Zhu, Yefeng Liu, Chenyang Lyu, Xue Yang, Guanhua Chen, Longyue Wang, Weihua Luo, Kaifu Zhang,
• Abstract要約: マルチアスペクト制御可能なテキスト生成は、属性のテキスト生成を複数の側面から制御することを目的としている。 改良された微調整手法は、単純さと有効性のためにしばしばこの課題に使用される。 マルチアスペクト制御可能なテキスト生成のための軽量で適応的で属性対応のフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 40.54453001537357
• License:
• Abstract: Multi-aspect controllable text generation aims to control text generation in attributes from multiple aspects, making it a complex but powerful task in natural language processing. Supervised fine-tuning methods are often employed for this task due to their simplicity and effectiveness. However, they still have some limitations: low rank adaptation (LoRA) only fine-tunes a few parameters and has suboptimal control effects, while full fine-tuning (FFT) requires significant computational resources and is susceptible to overfitting, particularly when data is limited. Moreover, existing works typically train multi-aspect controllable text generation models using only single-aspect annotated data, which results in discrepancies in data distribution; at the same time, accurately generating text with specific attributes is a challenge that requires strong attribute-aware capabilities. To address these limitations, we propose a lightweight, adaptive and attribute-aware framework for multi-aspect controllable text generation. Our framework can dynamically adjust model parameters according to different aspects of data to achieve controllable text generation, aiming to optimize performance across multiple aspects. Experimental results show that our framework outperforms other strong baselines, achieves state-of-the-art performance, adapts well to data discrepancies, and is more accurate in attribute perception.
• Abstract（参考訳）: マルチアスペクト制御可能なテキスト生成は、属性のテキスト生成を複数の側面から制御することを目的としており、自然言語処理において複雑だが強力なタスクとなっている。 改良された微調整手法は、単純さと有効性のためにしばしばこの課題に使用される。 ローランク適応(LoRA)はいくつかのパラメータのみを微調整し、最適以下の制御効果を持つ一方、完全な微調整(FFT)は重要な計算資源を必要とし、特にデータが制限されている場合、過度に適合する可能性がある。 さらに、既存の研究では、単一アスペクトアノテートされたデータのみを使用して、マルチアスペクト制御可能なテキスト生成モデルをトレーニングしている。 これらの制約に対処するため、マルチアスペクト制御可能なテキスト生成のための軽量で適応的で属性対応のフレームワークを提案する。 本フレームワークは,データの種類に応じてモデルパラメータを動的に調整し,制御可能なテキスト生成を実現する。 実験結果から,我々のフレームワークは,他の強靭なベースラインよりも優れ,最先端の性能を達成し,データの相違によく適応し,属性認識においてより正確であることがわかった。

関連論文リスト

• Multi-Attribute Constraint Satisfaction via Language Model Rewriting [67.5778646504987]
  マルチ属性制約満足度(英: Multi-Attribute Constraint Satisfaction, MACS)は、言語モデルを微調整して、複数の外部実値属性に対するユーザ指定制約を満たす手法である。 我々の研究は、NLPやバイオインフォマティクスにまたがる多様な応用に影響を及ぼす、一般化および実値多属性制御のための新しい道を開く。
  論文  参考訳（メタデータ） (2024-12-26T12:36:39Z)
• P-Masking: Power Law Masking Improves Multi-attribute Controlled Generation [14.763505073094779]
  LingGenは、制御されたテキスト生成のための新しいアプローチであり、幅広い言語属性の正確な制御を提供する。 LingGenは動的P-MASKing戦略を採用しており、トレーニング中の電力法分布からマスクレートをサンプリングする。 実験によると、LingGenは属性制御の精度とテキストの流速の両方で現在の最先端モデルを上回っている。
  論文  参考訳（メタデータ） (2024-10-31T17:55:45Z)
• Text2Data: Low-Resource Data Generation with Textual Control [100.5970757736845]
  Text2Dataは、ラベルのないデータを使って基盤となるデータ配布を理解する新しいアプローチである。 制御性を確保し、破滅的な忘れを効果的に防止する、制約最適化に基づく新たな学習目標を通じて微調整を行う。
  論文  参考訳（メタデータ） (2024-02-08T03:41:39Z)
• Successor Features for Efficient Multisubject Controlled Text Generation [48.37713738712319]
  本稿では,後継機能 (SF) と言語モデル修正の2つの基本概念を基礎とするSF-GENを紹介する。 SF-GENはこの2つをシームレスに統合し、LCMのパラメータを変更することなくテキスト生成の動的ステアリングを可能にする。 我々の知る限り、本研究はテキスト生成における後継機能の最初の応用である。
  論文  参考訳（メタデータ） (2023-11-03T00:17:08Z)
• Air-Decoding: Attribute Distribution Reconstruction for Decoding-Time Controllable Text Generation [58.911255139171075]
  制御可能なテキスト生成(CTG)は、望ましい属性を持つテキストを生成することを目的としている。 本研究では,Air-Decoding という新しい軽量デコーディングフレームワークを提案する。 提案手法は,新しい最先端制御性能を実現する。
  論文  参考訳（メタデータ） (2023-10-23T12:59:11Z)
• MacLaSa: Multi-Aspect Controllable Text Generation via Efficient Sampling from Compact Latent Space [110.85888003111653]
  マルチアスペクト制御可能なテキスト生成は、複数の望ましい属性を同時に持つ流動文を生成することを目的としている。 マルチアスペクト制御のための新しいアプローチ、すなわちMacLaSaを導入し、複数の側面に対してコンパクトな潜在空間を推定する。 また,MacLaSaは,高い推論速度を維持しつつ,属性関連性やテキスト品質を高いベースラインで向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-22T07:30:35Z)
• Semantic Space Grounded Weighted Decoding for Multi-Attribute Controllable Dialogue Generation [41.23970507903113]
  本稿では,重み付き復号法で強い制御性を持つDASCという新しいフレームワークを提案する。 複数属性の生成は、複数の属性の埋め込みの発話で直感的に実装される。 実験の結果,DASCは3つの側面を同時に制御することで,生成タスクにおいて高い制御精度を達成できることがわかった。
  論文  参考訳（メタデータ） (2023-05-04T13:35:27Z)
• Controlled Text Generation as Continuous Optimization with Multiple Constraints [23.71027518888138]
  事前学習したモデルから制御可能な推論を行うためのフレキシブルでモジュラーなアルゴリズムを提案する。 所望のテキストを生成するために,ラグランジアン乗算器と勾配差に基づく手法を用いる。 我々は,複数の文レベル属性を用いた制御可能な機械翻訳とスタイル変換のアプローチを評価する。
  論文  参考訳（メタデータ） (2021-08-04T05:25:20Z)
• Attribute Alignment: Controlling Text Generation from Pre-trained Language Models [46.19190007510232]
  本論文では, テキスト生成を簡便かつ柔軟に制御する手法を提案する。 属性のトークンレベル分布を乱すように識別器を訓練する最近の取り組みとは対照的に、同じデータを用いてアライメント関数を学習し、トレーニング済みの非制御言語モデルを誘導し、元の言語モデルパラメータを変更することなく、ターゲット属性を持つテキストを生成する。
  論文  参考訳（メタデータ） (2021-03-20T01:51:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。