論文の概要: Are Large Language Models Actually Good at Text Style Transfer?

• arxiv url: http://arxiv.org/abs/2406.05885v1
• Date: Sun, 9 Jun 2024 18:45:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 17:28:18.830495
• Title: Are Large Language Models Actually Good at Text Style Transfer?
• Title（参考訳）: 大規模言語モデルは本当にテキストスタイルの転送が得意か?
• Authors: Sourabrata Mukherjee, Atul Kr. Ojha, Ondřej Dušek,
• Abstract要約: テキストスタイル転送(TST)を用いた大規模言語モデル(LLM)の性能解析を行う。 TSTは、中核的な内容を保持しながら、テキストの言語スタイルを変更することを含む。 我々は、ゼロショットと少数ショットのプロンプトと、公開されているデータセットに対するパラメータ効率の微調整を用いて、事前訓練されたLLMの能力を評価する。
• 参考スコア（独自算出の注目度）: 0.17751300245073598
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We analyze the performance of large language models (LLMs) on Text Style Transfer (TST), specifically focusing on sentiment transfer and text detoxification across three languages: English, Hindi, and Bengali. Text Style Transfer involves modifying the linguistic style of a text while preserving its core content. We evaluate the capabilities of pre-trained LLMs using zero-shot and few-shot prompting as well as parameter-efficient finetuning on publicly available datasets. Our evaluation using automatic metrics, GPT-4 and human evaluations reveals that while some prompted LLMs perform well in English, their performance in on other languages (Hindi, Bengali) remains average. However, finetuning significantly improves results compared to zero-shot and few-shot prompting, making them comparable to previous state-of-the-art. This underscores the necessity of dedicated datasets and specialized models for effective TST.
• Abstract（参考訳）: テキストスタイル転送(TST)における大規模言語モデル(LLM)の性能を解析し、特に3言語(英語、ヒンディー語、ベンガル語)の感情伝達とテキストデトキシ化に着目した。 テキストスタイル転送は、中核的な内容を保持しながら、テキストの言語スタイルを変更することを含む。 我々は、ゼロショットと少数ショットのプロンプトと、公開されているデータセットに対するパラメータ効率の微調整を用いて、事前訓練されたLLMの能力を評価する。 自動測定, GPT-4, 人体評価を用いて評価した結果, LLMは英語でよく機能するものもあるが, 他の言語(ヒンディー語, ベンガル語)での性能は依然として平均的であることがわかった。 しかし、ファインタニングはゼロショットや少数ショットのプロンプトに比べて結果が大幅に改善され、従来の最先端に匹敵する。 このことは、効率的なTSTのための専用のデータセットと特別なモデルの必要性を浮き彫りにしている。

関連論文リスト

• Exploring the Role of Transliteration in In-Context Learning for Low-resource Languages Written in Non-Latin Scripts [50.40191599304911]
  非ラテン文字で書かれた低リソース言語に対するLLMの性能向上にも効果があるか検討する。 本稿では,(1) の原文,(2) ラテン文字,(3) の両文を対象とする3つのプロンプトテンプレートを提案する。 本研究の結果から,翻訳の有効性はタスクタイプやモデルサイズによって異なることが明らかとなった。
  論文  参考訳（メタデータ） (2024-07-02T14:51:20Z)
• Breaking the Script Barrier in Multilingual Pre-Trained Language Models with Transliteration-Based Post-Training Alignment [50.27950279695363]
  転送性能は、低リソースのターゲット言語が高リソースのソース言語とは異なるスクリプトで書かれている場合、しばしば妨げられる。 本論文は,この問題に対処するために翻訳を用いた最近の研究に触発されて,翻訳に基づくポストプレトレーニングアライメント(PPA)手法を提案する。
  論文  参考訳（メタデータ） (2024-06-28T08:59:24Z)
• Accelerating Multilingual Language Model for Excessively Tokenized Languages [3.5570874721859016]
  大型言語モデル(LLM)のトークン化子は、文字やUnicodeレベルのトークンを非ローマ語アルファベットの言語で断片化することが多い。 このような言語でテキスト生成を高速化する,シンプルで効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-19T12:26:57Z)
• MoSECroT: Model Stitching with Static Word Embeddings for Crosslingual Zero-shot Transfer [50.40191599304911]
  クロスリンガルゼロショット転送のための静的単語埋め込みを用いたMoSECroTモデルスティッチについて紹介する。 本稿では,ソースコードPLMの埋め込みと対象言語の静的単語埋め込みのための共通空間を構築するために,相対表現を利用した最初のフレームワークを提案する。 提案するフレームワークは,MoSECroTに対処する際,弱いベースラインと競合するが,強いベースラインに比べて競合する結果が得られないことを示す。
  論文  参考訳（メタデータ） (2024-01-09T21:09:07Z)
• Specializing Small Language Models towards Complex Style Transfer via Latent Attribute Pre-Training [29.143887057933327]
  複雑なテキストスタイルの転送タスクの概念を導入し、2つの広く適用可能なシナリオに基づいて複雑なテキストデータセットを構築した。 我々のデータセットは、ゲームGenshin Impactの700文と1000文からなる、この種の最初の大規模データセットである。
  論文  参考訳（メタデータ） (2023-09-19T21:01:40Z)
• T3L: Translate-and-Test Transfer Learning for Cross-Lingual Text Classification [50.675552118811]
  言語間テキスト分類は通常、様々な言語で事前訓練された大規模多言語言語モデル(LM)に基づいて構築される。 本稿では,古典的な「翻訳とテスト」パイプラインを再考し,翻訳と分類の段階を適切に分離することを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:33:22Z)
• BUFFET: Benchmarking Large Language Models for Few-shot Cross-lingual Transfer [81.5984433881309]
  本稿では,54言語にまたがる15のタスクをシーケンス・ツー・シーケンス・フォーマットで統一するBUFFETを紹介する。 BUFFETは、数発の言語間移動のための厳密で公平な評価フレームワークを確立するように設計されている。 コンテクスト内言語間移動における改善の余地は極めて大きいことが判明した。
  論文  参考訳（メタデータ） (2023-05-24T08:06:33Z)
• Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [98.60739735409243]
  英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。 並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。 協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T18:46:01Z)
• Compositional Evaluation on Japanese Textual Entailment and Similarity [20.864082353441685]
  自然言語推論(NLI)とセマンティックテキスト類似性(STS)は、事前訓練された言語モデルの合成評価に広く用いられている。 言語普遍論への関心が高まりつつあるにもかかわらず、ほとんどのNLI/STS研究は英語にのみ焦点を絞っている。 日本語で利用可能な多言語NLI/STSデータセットは存在しない。
  論文  参考訳（メタデータ） (2022-08-09T15:10:56Z)
• Translate & Fill: Improving Zero-Shot Multilingual Semantic Parsing with Synthetic Data [2.225882303328135]
  多言語セマンティックパーシングタスクのための銀のトレーニングデータを生成するための新しいTranslate-and-Fill(TaF)手法を提案する。 3つの多言語意味解析データセットの実験結果は、TaFによるデータ拡張が類似システムと競合する精度に達することを示している。
  論文  参考訳（メタデータ） (2021-09-09T14:51:11Z)
• Bilingual Alignment Pre-training for Zero-shot Cross-lingual Transfer [33.680292990007366]
  本稿では,埋め込みの整合性を向上し,ゼロショットの言語間転送性能を向上させることを目的とする。 本稿では,従来の知識として統計アライメント情報を用いて,バイリンガル単語予測を導出するアライメント言語モデル(Alignment Language Model, AlignLM)を提案する。 その結果、AlignLMはMLQAおよびXNLIデータセット上でゼロショット性能を大幅に改善できることが示された。
  論文  参考訳（メタデータ） (2021-06-03T10:18:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。