論文の概要: Controlled Text Generation for Large Language Model with Dynamic Attribute Graphs

• arxiv url: http://arxiv.org/abs/2402.11218v1
• Date: Sat, 17 Feb 2024 08:14:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 22:36:46.723276
• Title: Controlled Text Generation for Large Language Model with Dynamic Attribute Graphs
• Title（参考訳）: 動的属性グラフを用いた大規模言語モデルのためのテキスト生成制御
• Authors: Xun Liang, Hanyu Wang, Shichao Song, Mengting Hu, Xunzhi Wang, Zhiyu Li, Feiyu Xiong, Bo Tang
• Abstract要約: 制御されたテキスト生成(CTG)は、特定の望ましい属性を示すテキストを作成することを目的としている。 本研究では,動的属性グラフに基づく制御テキスト生成という,大規模言語モデルのためのプラグイン可能なCTGフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 18.602512935139245
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Controlled Text Generation (CTG) aims to produce texts that exhibit specific desired attributes. In this study, we introduce a pluggable CTG framework for Large Language Models (LLMs) named Dynamic Attribute Graphs-based controlled text generation (DATG). This framework utilizes an attribute scorer to evaluate the attributes of sentences generated by LLMs and constructs dynamic attribute graphs. DATG modulates the occurrence of key attribute words and key anti-attribute words, achieving effective attribute control without compromising the original capabilities of the model. We conduct experiments across four datasets in two tasks: toxicity mitigation and sentiment transformation, employing five LLMs as foundational models. Our findings highlight a remarkable enhancement in control accuracy, achieving a peak improvement of 19.29% over baseline methods in the most favorable task across four datasets. Additionally, we observe a significant decrease in perplexity, markedly improving text fluency.
• Abstract（参考訳）: 制御テキスト生成(ctg)は、特定の望ましい属性を示すテキストを作成することを目的としている。 本研究では,DATG(Dynamic Attribute Graphs-based Control Text Generation)という,Large Language Models (LLMs) 用のプラグイン可能なCTGフレームワークを提案する。 このフレームワークは属性スコアを用いてllmsによって生成された文の属性を評価し、動的属性グラフを構築する。 DATGは、キー属性語とキーアンチ属性語の発生を変調し、モデルの本来の能力を損なうことなく効果的な属性制御を実現する。 5つのllmを基礎モデルとして,毒性緩和と感情変容の2つの課題で実験を行った。 その結果、制御精度が著しく向上し、4つのデータセットで最も好ましいタスクにおいて、ベースラインメソッドよりも19.29%向上した。 さらに,重度の低下が顕著に観察され,テキストフラレンシが著しく向上した。

関連論文リスト

• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• DTGB: A Comprehensive Benchmark for Dynamic Text-Attributed Graphs [28.340416573162898]
  動的テキスト分散グラフ(DyTAG)は、様々な実世界のシナリオで一般的である。 幅広い適用性にもかかわらず、DyTAGに合わせたベンチマークデータセットは、顕著に不足している。 大規模な時間進化グラフのコレクションである動的テキスト分散グラフベンチマーク(DTGB)を導入する。
  論文  参考訳（メタデータ） (2024-06-17T20:16:12Z)
• Evaluating the Smooth Control of Attribute Intensity in Text Generation with LLMs [36.89780636600556]
  大規模言語モデル(LLM)はテキスト生成に革命をもたらした。 生成したテキストの属性強度の範囲,キャリブレーション,一貫性を評価する指標を提案する。
  論文  参考訳（メタデータ） (2024-06-06T19:35:51Z)
• Exploiting Contextual Target Attributes for Target Sentiment Classification [53.30511968323911]
  TSCの既存のPTLMベースモデルは、1)PTLMをコンテキストエンコーダとして採用した微調整ベースモデル、2)テキスト/単語生成タスクに分類タスクを転送するプロンプトベースモデル、の2つのグループに分類される。 我々は,PTLM を TSC に活用する新たな視点として,言語モデリングと文脈的ターゲット属性による明示的ターゲットコンテキスト相互作用の利点を同時に活用する。
  論文  参考訳（メタデータ） (2023-12-21T11:45:28Z)
• Successor Features for Efficient Multisubject Controlled Text Generation [48.37713738712319]
  本稿では,後継機能 (SF) と言語モデル修正の2つの基本概念を基礎とするSF-GENを紹介する。 SF-GENはこの2つをシームレスに統合し、LCMのパラメータを変更することなくテキスト生成の動的ステアリングを可能にする。 我々の知る限り、本研究はテキスト生成における後継機能の最初の応用である。
  論文  参考訳（メタデータ） (2023-11-03T00:17:08Z)
• ExtractGPT: Exploring the Potential of Large Language Models for Product Attribute Value Extraction [52.14681890859275]
  電子商取引プラットフォームは、属性と値のペアという形で構造化された製品データを必要とする。 BERTベースの抽出法では,タスク固有の大量のトレーニングデータを必要とする。 本稿では,大規模言語モデル (LLM) を,より訓練的かつ堅牢な代替手段として活用することを検討する。
  論文  参考訳（メタデータ） (2023-10-19T07:39:00Z)
• Empower Text-Attributed Graphs Learning with Large Language Models (LLMs) [5.920353954082262]
  本稿では,Large Language Models (LLMs) を用いたノード生成によるテキスト分散グラフの強化のためのプラグイン・アンド・プレイ手法を提案する。 エッジ予測器を用いて、生のデータセットに固有の構造情報をキャプチャし、新たに生成されたサンプルを元のグラフに統合する。 実験では、特に低ショットシナリオにおいて、提案したパラダイムの卓越した性能を示す。
  論文  参考訳（メタデータ） (2023-10-15T16:04:28Z)
• Evaluating Generative Models for Graph-to-Text Generation [0.0]
  ゼロショット設定でグラフデータから記述テキストを生成するための生成モデルの能力について検討する。 この結果から, 生成モデルにより, 流動的で一貫性のあるテキストを生成できることが示唆された。 しかし, 誤り解析の結果, 生成モデルは実体間の意味的関係の理解に苦慮していることが明らかとなった。
  論文  参考訳（メタデータ） (2023-07-27T09:03:05Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)
• Controlled Text Generation with Hidden Representation Transformations [12.576140288264835]
  CHRTは、特定の属性(毒性など)に関連するテキストを生成するために、大きな言語モデルを操縦する コントラスト学習フレームワークを使ってこれらの変換を学習し、それを組み合わせてマルチ属性制御を実現します。 CHRTは、解毒、ポジティブな感情のステアリング、テキストの単純化といったタスクにおいて、すべてのベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-05-30T17:21:17Z)
• Investigating Pretrained Language Models for Graph-to-Text Generation [55.55151069694146]
  Graph-to-text生成は、グラフベースのデータから流動的なテキストを生成することを目的としている。 本稿では,3つのグラフ領域,つまり表現,ウィキペディア知識グラフ(KG),科学的なKGについて検討する。 我々は, PLM の BART と T5 が新たな最先端の成果を達成し, タスク適応型事前学習戦略が性能をさらに向上することを示す。
  論文  参考訳（メタデータ） (2020-07-16T16:05:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。