論文の概要: Distilling Text Style Transfer With Self-Explanation From LLMs
- arxiv url: http://arxiv.org/abs/2403.01106v2
- Date: Sat, 4 May 2024 17:23:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-07 23:26:12.930537
- Title: Distilling Text Style Transfer With Self-Explanation From LLMs
- Title（参考訳）: LLMからの自己説明によるテキストスタイルの蒸留
- Authors: Chiyu Zhang, Honglong Cai, Yuezhang, Li, Yuexin Wu, Le Hou, Muhammad Abdul-Mageed,
- Abstract要約: Text Style Transfer (TST)は、中核的なコンテンツを保持しながら、テキストのスタイルを変えようとしている。
大型言語モデル(LLM)とチェーン・オブ・シント(CoT)を併用したフレームワークを提案する。
Coは従来の微調整法や知識蒸留法を超越していることが示されている。
- 参考スコア（独自算出の注目度）: 28.595450029172124
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Text Style Transfer (TST) seeks to alter the style of text while retaining its core content. Given the constraints of limited parallel datasets for TST, we propose CoTeX, a framework that leverages large language models (LLMs) alongside chain-of-thought (CoT) prompting to facilitate TST. CoTeX distills the complex rewriting and reasoning capabilities of LLMs into more streamlined models capable of working with both non-parallel and parallel data. Through experimentation across four TST datasets, CoTeX is shown to surpass traditional supervised fine-tuning and knowledge distillation methods, particularly in low-resource settings. We conduct a comprehensive evaluation, comparing CoTeX against current unsupervised, supervised, in-context learning (ICL) techniques, and instruction-tuned LLMs. Furthermore, CoTeX distinguishes itself by offering transparent explanations for its style transfer process.
- Abstract（参考訳）: Text Style Transfer (TST)は、中核的なコンテンツを保持しながら、テキストのスタイルを変えようとしている。
TSTの限られた並列データセットの制約を考慮し,TSTの促進を促すために,大型言語モデル(LLM)とチェーン・オブ・シント(CoT)を併用したフレームワークであるCoTeXを提案する。
CoTeXは、LLMの複雑な書き換えと推論能力を、非並列データと並列データの両方を扱うことができるより合理化されたモデルに蒸留する。
4つのTSTデータセットにわたる実験により、CoTeXは、特に低リソース環境において、従来の微調整および知識蒸留法を超越していることが示されている。
我々は、CoTeXを現在の教師なし、教師なし、コンテキスト内学習(ICL)技術と命令調整LLMと比較し、包括的な評価を行う。
さらに、CoTeXは、そのスタイル転送プロセスに対して透過的な説明を提供することで、自分自身を区別する。
関連論文リスト
- CoT-ST: Enhancing LLM-based Speech Translation with Multimodal Chain-of-Thought [33.32415197728357]
音声言語モデル(SLM)は,音声翻訳タスクにおいて印象的な性能を示した。
本研究では,SLMのチェーン・オブ・シークレット機能を活性化する3段階のトレーニングフレームワークを提案する。
本稿では,マルチモーダルCoTを用いた音声翻訳モデルであるCoT-STを提案する。
論文 参考訳（メタデータ） (2024-09-29T01:48:09Z) - AnyTrans: Translate AnyText in the Image with Large Scale Models [88.5887934499388]
本稿では、画像中のタスク翻訳AnyText(TATI)のためのオール・エンコンパス・フレームワークであるAnyTransを紹介する。
我々のフレームワークは、翻訳中にテキスト要素と視覚要素の両方から文脈的手がかりを取り入れている。
6つの言語対の多言語テキスト画像翻訳データからなるMTIT6というテストデータセットを精巧にコンパイルした。
論文 参考訳（メタデータ） (2024-06-17T11:37:48Z) - Text-Tuple-Table: Towards Information Integration in Text-to-Table Generation via Global Tuple Extraction [36.915250638481986]
リアルタイムのコメンタリーテキストに基づいたコンペの要約表を生成するためのベンチマークデータセットであるLiveSumを紹介する。
我々は,このタスクにおける最先端の大規模言語モデルの性能を,微調整とゼロショットの両方で評価する。
さらに、パフォーマンスを改善するために、$T3$(Text-Tuple-Table)と呼ばれる新しいパイプラインを提案する。
論文 参考訳（メタデータ） (2024-04-22T14:31:28Z) - Deja vu: Contrastive Historical Modeling with Prefix-tuning for Temporal Knowledge Graph Reasoning [16.408149489677154]
ChapTERは、テンポラル推論のためのプレフィックスチューニングを備えたコントラスト歴史モデリングフレームワークである。
我々は4つのトランスダクティブと3つの数ショットインダクティブTKGRベンチマークでChapTERを評価した。
論文 参考訳（メタデータ） (2024-03-25T17:25:40Z) - Unsupervised Text Style Transfer via LLMs and Attention Masking with
Multi-way Interactions [18.64326057581588]
非教師付きテキストスタイル転送(UTST)が自然言語処理(NLP)分野における重要な課題として浮上している。
本稿では,命令を調整したパイプライン・フレームワークであるLarge Language Models (LLMs) から注目マスキング・モデルへの知識蒸留,構築された並列例を用いたコンテキスト内学習の4つの方法を提案する。
これらのマルチウェイインタラクションは、スタイルの強さ、コンテンツ保存、テキストの流布といった観点から、ベースラインを改善することを実証的に示しています。
論文 参考訳（メタデータ） (2024-02-21T09:28:02Z) - Contextualization Distillation from Large Language Model for Knowledge
Graph Completion [51.126166442122546]
我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。
提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。
多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
論文 参考訳（メタデータ） (2024-01-28T08:56:49Z) - TAT-LLM: A Specialized Language Model for Discrete Reasoning over Tabular and Textual Data [73.29220562541204]
我々は,言語モデル(LLM)の驚くべきパワーを活用して課題を解決することを検討する。
LLaMA2を微調整し,既存のエキスパートアノテートデータセットから自動生成したトレーニングデータを用いてTAT-LLM言語モデルを開発する。
論文 参考訳（メタデータ） (2024-01-24T04:28:50Z) - Cross-Modal Multi-Tasking for Speech-to-Text Translation via Hard
Parameter Sharing [72.56219471145232]
ハードパラメータ共有を伴うST/MTマルチタスクフレームワークを提案する。
本手法は,事前処理による音声文のモダリティギャップを低減する。
我々は,注意エンコーダ・デコーダ,コネクショニスト時間分類(CTC),トランスデューサ,共同CTC/アテンションモデルを平均+0.5BLEUで改善することを示す。
論文 参考訳（メタデータ） (2023-09-27T17:48:14Z) - Instruction Tuning for Large Language Models: A Survey [52.86322823501338]
本稿では,インストラクションチューニング(IT)の急速な発展分野における研究成果について調査する。
本稿では、指定しない場合を除き、命令チューニング(IT)は教師付き微調整(SFT)と等価である。
論文 参考訳（メタデータ） (2023-08-21T15:35:16Z) - VAE based Text Style Transfer with Pivot Words Enhancement Learning [5.717913255287939]
本稿では,VT-STOWER法(PivOt Words Enhancement leaRning)を用いたVAEベースのテキストスタイル転送を提案する。
本稿では,特定のスタイルで決定的な単語を学習するためのピボット・ワード・ラーニングを紹介する。
提案したVT-STOWERは、新しいフレキシブルなスタイルの強度制御機構により、異なるTSTシナリオにスケールすることができる。
論文 参考訳（メタデータ） (2021-12-06T16:41:26Z) - POINTER: Constrained Progressive Text Generation via Insertion-based
Generative Pre-training [93.79766670391618]
ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。
提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。
結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
論文 参考訳（メタデータ） (2020-05-01T18:11:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。