論文の概要: Controlled Text Generation for Large Language Model with Dynamic Attribute Graphs

• arxiv url: http://arxiv.org/abs/2402.11218v1
• Date: Sat, 17 Feb 2024 08:14:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 22:36:46.723276
• Title: Controlled Text Generation for Large Language Model with Dynamic Attribute Graphs
• Title（参考訳）: 動的属性グラフを用いた大規模言語モデルのためのテキスト生成制御
• Authors: Xun Liang, Hanyu Wang, Shichao Song, Mengting Hu, Xunzhi Wang, Zhiyu Li, Feiyu Xiong, Bo Tang
• Abstract要約: 制御されたテキスト生成(CTG)は、特定の望ましい属性を示すテキストを作成することを目的としている。 本研究では,動的属性グラフに基づく制御テキスト生成という,大規模言語モデルのためのプラグイン可能なCTGフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 18.602512935139245
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Controlled Text Generation (CTG) aims to produce texts that exhibit specific desired attributes. In this study, we introduce a pluggable CTG framework for Large Language Models (LLMs) named Dynamic Attribute Graphs-based controlled text generation (DATG). This framework utilizes an attribute scorer to evaluate the attributes of sentences generated by LLMs and constructs dynamic attribute graphs. DATG modulates the occurrence of key attribute words and key anti-attribute words, achieving effective attribute control without compromising the original capabilities of the model. We conduct experiments across four datasets in two tasks: toxicity mitigation and sentiment transformation, employing five LLMs as foundational models. Our findings highlight a remarkable enhancement in control accuracy, achieving a peak improvement of 19.29% over baseline methods in the most favorable task across four datasets. Additionally, we observe a significant decrease in perplexity, markedly improving text fluency.
• Abstract（参考訳）: 制御テキスト生成(ctg)は、特定の望ましい属性を示すテキストを作成することを目的としている。 本研究では,DATG(Dynamic Attribute Graphs-based Control Text Generation)という,Large Language Models (LLMs) 用のプラグイン可能なCTGフレームワークを提案する。 このフレームワークは属性スコアを用いてllmsによって生成された文の属性を評価し、動的属性グラフを構築する。 DATGは、キー属性語とキーアンチ属性語の発生を変調し、モデルの本来の能力を損なうことなく効果的な属性制御を実現する。 5つのllmを基礎モデルとして,毒性緩和と感情変容の2つの課題で実験を行った。 その結果、制御精度が著しく向上し、4つのデータセットで最も好ましいタスクにおいて、ベースラインメソッドよりも19.29%向上した。 さらに,重度の低下が顕著に観察され,テキストフラレンシが著しく向上した。

関連論文リスト

• Towards Lightweight, Adaptive and Attribute-Aware Multi-Aspect Controllable Text Generation with Large Language Models [40.54453001537357]
  マルチアスペクト制御可能なテキスト生成は、属性のテキスト生成を複数の側面から制御することを目的としている。 改良された微調整手法は、単純さと有効性のためにしばしばこの課題に使用される。 マルチアスペクト制御可能なテキスト生成のための軽量で適応的で属性対応のフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-19T06:56:02Z)
• Detecting Document-level Paraphrased Machine Generated Content: Mimicking Human Writing Style and Involving Discourse Features [57.34477506004105]
  機械生成コンテンツは、学術プラジャリズムや誤報の拡散といった課題を提起する。 これらの課題を克服するために、新しい方法論とデータセットを導入します。 人間の筆記スタイルをエミュレートするエンコーダデコーダモデルであるMhBARTを提案する。 また,PDTB前処理による談話解析を統合し,構造的特徴を符号化するモデルであるDTransformerを提案する。
  論文  参考訳（メタデータ） (2024-12-17T08:47:41Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• DTGB: A Comprehensive Benchmark for Dynamic Text-Attributed Graphs [28.340416573162898]
  動的テキスト分散グラフ(DyTAG)は、様々な実世界のシナリオで一般的である。 幅広い適用性にもかかわらず、DyTAGに合わせたベンチマークデータセットは、顕著に不足している。 大規模な時間進化グラフのコレクションである動的テキスト分散グラフベンチマーク(DTGB)を導入する。
  論文  参考訳（メタデータ） (2024-06-17T20:16:12Z)
• Evaluating the Smooth Control of Attribute Intensity in Text Generation with LLMs [36.89780636600556]
  大規模言語モデル(LLM)はテキスト生成に革命をもたらした。 生成したテキストの属性強度の範囲,キャリブレーション,一貫性を評価する指標を提案する。
  論文  参考訳（メタデータ） (2024-06-06T19:35:51Z)
• Exploiting Contextual Target Attributes for Target Sentiment Classification [53.30511968323911]
  TSCの既存のPTLMベースモデルは、1)PTLMをコンテキストエンコーダとして採用した微調整ベースモデル、2)テキスト/単語生成タスクに分類タスクを転送するプロンプトベースモデル、の2つのグループに分類される。 我々は,PTLM を TSC に活用する新たな視点として,言語モデリングと文脈的ターゲット属性による明示的ターゲットコンテキスト相互作用の利点を同時に活用する。
  論文  参考訳（メタデータ） (2023-12-21T11:45:28Z)
• Successor Features for Efficient Multisubject Controlled Text Generation [48.37713738712319]
  本稿では,後継機能 (SF) と言語モデル修正の2つの基本概念を基礎とするSF-GENを紹介する。 SF-GENはこの2つをシームレスに統合し、LCMのパラメータを変更することなくテキスト生成の動的ステアリングを可能にする。 我々の知る限り、本研究はテキスト生成における後継機能の最初の応用である。
  論文  参考訳（メタデータ） (2023-11-03T00:17:08Z)
• Evaluating Generative Models for Graph-to-Text Generation [0.0]
  ゼロショット設定でグラフデータから記述テキストを生成するための生成モデルの能力について検討する。 この結果から, 生成モデルにより, 流動的で一貫性のあるテキストを生成できることが示唆された。 しかし, 誤り解析の結果, 生成モデルは実体間の意味的関係の理解に苦慮していることが明らかとなった。
  論文  参考訳（メタデータ） (2023-07-27T09:03:05Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)
• Controlled Text Generation with Hidden Representation Transformations [12.576140288264835]
  CHRTは、特定の属性(毒性など)に関連するテキストを生成するために、大きな言語モデルを操縦する コントラスト学習フレームワークを使ってこれらの変換を学習し、それを組み合わせてマルチ属性制御を実現します。 CHRTは、解毒、ポジティブな感情のステアリング、テキストの単純化といったタスクにおいて、すべてのベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-05-30T17:21:17Z)
• Investigating Pretrained Language Models for Graph-to-Text Generation [55.55151069694146]
  Graph-to-text生成は、グラフベースのデータから流動的なテキストを生成することを目的としている。 本稿では,3つのグラフ領域,つまり表現,ウィキペディア知識グラフ(KG),科学的なKGについて検討する。 我々は, PLM の BART と T5 が新たな最先端の成果を達成し, タスク適応型事前学習戦略が性能をさらに向上することを示す。
  論文  参考訳（メタデータ） (2020-07-16T16:05:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。