論文の概要: Balancing Effect of Training Dataset Distribution of Multiple Styles for Multi-Style Text Transfer

• arxiv url: http://arxiv.org/abs/2305.15582v1
• Date: Wed, 24 May 2023 21:36:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 18:31:07.018715
• Title: Balancing Effect of Training Dataset Distribution of Multiple Styles for Multi-Style Text Transfer
• Title（参考訳）: マルチスタイルテキスト転送のための複数スタイルのトレーニングデータセット分布のバランシング効果
• Authors: Debarati Das, David Ma, Dongyeop Kang
• Abstract要約: 本稿では,データ入力の多様性がマルチスタイル転送モデルから生成したテキストの品質に与える影響について検討する。 トレーニングサンプルのスタイル分布を調整するために,擬似並列データセットを構築した。 バランスの取れたデータセットは、バランスの取れていないデータセットや歪んだデータセットよりも、複数のスタイルに対して効果的な制御効果をもたらす。
• 参考スコア（独自算出の注目度）: 8.305622604531074
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text style transfer is an exciting task within the field of natural language generation that is often plagued by the need for high-quality paired datasets. Furthermore, training a model for multi-attribute text style transfer requires datasets with sufficient support across all combinations of the considered stylistic attributes, adding to the challenges of training a style transfer model. This paper explores the impact of training data input diversity on the quality of the generated text from the multi-style transfer model. We construct a pseudo-parallel dataset by devising heuristics to adjust the style distribution in the training samples. We balance our training dataset using marginal and joint distributions to train our style transfer models. We observe that a balanced dataset produces more effective control effects over multiple styles than an imbalanced or skewed one. Through quantitative analysis, we explore the impact of multiple style distributions in training data on style-transferred output. These findings will better inform the design of style-transfer datasets.
• Abstract（参考訳）: テキストスタイル転送は自然言語生成の分野でエキサイティングなタスクであり、高品質なペアデータセットの必要性に悩まされることが多い。 さらに、多属性テキストスタイル転送のためのモデルをトレーニングするには、考慮されたスタイル特性のすべての組み合わせを十分にサポートしたデータセットが必要である。 本稿では,データ入力の多様性がマルチスタイル転送モデルから生成したテキストの品質に与える影響について検討する。 トレーニングサンプルのスタイル分布を調整するためにヒューリスティックを考案し,擬似並列データセットを構築する。 トレーニングデータセットは限界分布とジョイント分布を使ってバランスをとり、スタイル転送モデルをトレーニングします。 バランスの取れたデータセットは、不均衡や歪んだものよりも、複数のスタイルにおいてより効果的な制御効果をもたらすことが観察される。 定量的解析を通じて,複数のスタイル分布がトレーニングデータに与える影響について検討する。 これらの発見は、スタイル転送データセットの設計をより良く知らせる。

関連論文リスト

• Improving General Text Embedding Model: Tackling Task Conflict and Data Imbalance through Model Merging [33.23758947497205]
  高度な埋め込みモデルは、通常、大規模マルチタスクデータと複数のタスクをまたいだ共同トレーニングを用いて開発される。 これらの課題を克服するために、独立に訓練されたモデルを組み合わせて勾配の衝突を緩和し、データ分散のバランスをとるモデルマージングについて検討する。 本稿では,勾配降下を用いたタスクベクトル空間内の最適モデル組合せを効率的に探索する新たな手法であるSelf Positioningを提案する。
  論文  参考訳（メタデータ） (2024-10-19T08:39:21Z)
• Adapt-$\infty$: Scalable Lifelong Multimodal Instruction Tuning via Dynamic Data Selection [89.42023974249122]
  Adapt-$infty$は、Lifelong Instruction Tuningの新しいマルチウェイおよびアダプティブデータ選択アプローチである。 勾配に基づくサンプルベクトルをグループ化して擬似スキルクラスタを構築する。 セレクタエキスパートのプールから各スキルクラスタの最高のパフォーマンスデータセレクタを選択する。
  論文  参考訳（メタデータ） (2024-10-14T15:48:09Z)
• Towards Large-scale 3D Representation Learning with Multi-dataset Point Prompt Training [44.790636524264]
  ポイント・プロンプト・トレーニング(Point Prompt Training)は、3D表現学習の文脈におけるマルチデータセットのシナジスティック学習のための新しいフレームワークである。 シナジスティック学習に関連する負の移動を克服し、一般化可能な表現を生成する。 教師付きマルチデータセットトレーニングを備えた1つの重み付きモデルを用いて、各データセットの最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-08-18T17:59:57Z)
• Fine-grained Text Style Transfer with Diffusion-Based Language Models [50.02698074338317]
  微細テキストスタイル転送の標準ベンチマークであるStylePTBデータセットを用いて拡散モデルを構築した。 本モデルでは, 個人と作曲の両方において, 最先端の性能を達成できた。
  論文  参考訳（メタデータ） (2023-05-31T02:51:26Z)
• Unified Model Learning for Various Neural Machine Translation [63.320005222549646]
  既存の機械翻訳(NMT)研究は主にデータセット固有のモデルの開発に焦点を当てている。 我々は,NMT(UMLNMT)のための統一モデル学習モデル(Unified Model Learning for NMT)を提案する。 OurNMTは、データセット固有のモデルよりも大幅に改善され、モデルデプロイメントコストが大幅に削減される。
  論文  参考訳（メタデータ） (2023-05-04T12:21:52Z)
• Tackling Data Bias in Painting Classification with Style Transfer [12.88476464580968]
  そこで我々は,Kaokoreデータセットのような小さな絵画データセットにおいて,データのバイアスを処理するシステムを提案する。 本システムは,スタイル伝達と分類の2段階からなる。
  論文  参考訳（メタデータ） (2023-01-06T14:33:53Z)
• Curriculum-Based Self-Training Makes Better Few-Shot Learners for Data-to-Text Generation [56.98033565736974]
  テキスト生成の困難さによって決定される並べ替え順序でラベルのないデータを活用するために,カリキュラムベースの自己学習(CBST)を提案する。 提案手法は、微調整およびタスク適応型事前学習法より優れており、データ・テキスト・ジェネレーションのわずかな設定で最先端の性能を実現することができる。
  論文  参考訳（メタデータ） (2022-06-06T16:11:58Z)
• Non-Parallel Text Style Transfer with Self-Parallel Supervision [19.441780035577352]
  大規模言語モデルに基づく新しいテキストスタイル転送フレームワークであるLaMerを提案する。 LaMerはまず、シーングラフで非並列データセットのほぼ並列表現をマイニングし、続いてMLEトレーニングを使用し、続いて模倣学習の改良を行い、データ内の本質的な並列性を活用する。 2つのベンチマークタスク(センチメントとフォーマル性転送)と、新たに提案された課題タスク(政治的スタンス転送)において、我々のモデルは、転送精度、コンテンツ保存および流速の質的な進歩を達成する。
  論文  参考訳（メタデータ） (2022-04-18T01:38:35Z)
• Generating More Pertinent Captions by Leveraging Semantics and Style on Multi-Source Datasets [56.018551958004814]
  本稿では,データソースの非一様結合をトレーニングすることで,流動的な記述を生成するタスクに対処する。 ノイズの多い画像とテキストのペアを持つ大規模データセットは、サブ最適の監視源を提供する。 本稿では,検索コンポーネントから抽出したスタイルトークンとキーワードを組み込むことにより,セマンティクスと記述スタイルを活用・分離することを提案する。
  論文  参考訳（メタデータ） (2021-11-24T19:00:05Z)
• Improving Zero and Few-Shot Abstractive Summarization with Intermediate Fine-tuning and Data Augmentation [101.26235068460551]
  大規模テキストコーパス上での自己教師対象による事前学習モデルは、英語テキスト要約タスクにおける最先端のパフォーマンスを達成する。 モデルは通常、数十万のデータポイントで微調整されるが、これは新しいニッチなドメインに要約を適用する際に、実現不可能な要件である。 我々は、教師なし、データセット固有の方法で要約のための訓練済みモデルを微調整するための、WikiTransferと呼ばれる新しい一般化可能な手法を紹介した。
  論文  参考訳（メタデータ） (2020-10-24T08:36:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。