論文の概要: Benchmarking and Improving Compositional Generalization of Multi-aspect Controllable Text Generation

• arxiv url: http://arxiv.org/abs/2404.04232v2
• Date: Mon, 3 Jun 2024 12:08:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 15:27:55.038975
• Title: Benchmarking and Improving Compositional Generalization of Multi-aspect Controllable Text Generation
• Title（参考訳）: マルチアスペクト制御可能なテキスト生成のベンチマークと構成一般化の改善
• Authors: Tianqi Zhong, Zhaoyi Li, Quan Wang, Linqi Song, Ying Wei, Defu Lian, Zhendong Mao,
• Abstract要約: CompMCTGは多様なマルチアスペクトラベル付きデータセットを含むベンチマークである。 本稿ではメタラーニングを取り入れたトレーニングフレームワークであるMeta-MCTGを紹介する。 94.4%の症例において,Meta-MCTGの有効性を示す。
• 参考スコア（独自算出の注目度）: 56.854968623992214
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Compositional generalization, representing the model's ability to generate text with new attribute combinations obtained by recombining single attributes from the training data, is a crucial property for multi-aspect controllable text generation (MCTG) methods. Nonetheless, a comprehensive compositional generalization evaluation benchmark of MCTG is still lacking. We propose CompMCTG, a benchmark encompassing diverse multi-aspect labeled datasets and a crafted three-dimensional evaluation protocol, to holistically evaluate the compositional generalization of MCTG approaches. We observe that existing MCTG works generally confront a noticeable performance drop in compositional testing. To mitigate this issue, we introduce Meta-MCTG, a training framework incorporating meta-learning, where we enable models to learn how to generalize by simulating compositional generalization scenarios in the training phase. We demonstrate the effectiveness of Meta-MCTG through achieving obvious improvement (by at most 3.64%) for compositional testing performance in 94.4% cases.
• Abstract（参考訳）: 構成一般化は、トレーニングデータから単一属性を再結合することによって得られる新しい属性の組み合わせで、モデルがテキストを生成する能力を表すものであり、マルチアスペクト制御可能なテキスト生成(MCTG)メソッドにとって重要な特性である。 それにもかかわらず、MCTGの総合的な構成一般化評価ベンチマークはいまだに欠落している。 多様なマルチアスペクトラベル付きデータセットと3次元評価プロトコルを含むベンチマークであるCompMCTGを提案する。 MCTGの既存の作業は、一般的に、構成的テストにおいて顕著なパフォーマンス低下に直面している。 そこで,メタラーニングを取り入れたトレーニングフレームワークであるMeta-MCTGを導入し,トレーニングフェーズにおける構成一般化シナリオをシミュレートすることで,モデルによる一般化の方法の学習を可能にする。 94.4%の症例において,Meta-MCTGの作曲試験性能に対する明らかな改善(少なくとも3.64%)を達成し,Meta-MCTGの有効性を実証した。

関連論文リスト

• Automatic Evaluation for Text-to-image Generation: Task-decomposed Framework, Distilled Training, and Meta-evaluation Benchmark [62.58869921806019]
  GPT-4oに基づくタスク分解評価フレームワークを提案し、新しいトレーニングデータセットを自動構築する。 我々は、GPT-4oの評価能力を7BオープンソースMLLM、MiniCPM-V-2.6に効果的に蒸留するための革新的なトレーニング戦略を設計する。 実験結果から,我々の蒸留したオープンソースMLLMは,現在のGPT-4oベースラインよりも有意に優れていた。
  論文  参考訳（メタデータ） (2024-11-23T08:06:06Z)
• SPOR: A Comprehensive and Practical Evaluation Method for Compositional Generalization in Data-to-Text Generation [21.68354181391989]
  本研究では,データ・テキスト生成における合成一般化のための総合的・実践的な評価手法であるSPORを提案する。 2つの異なるデータセット上でSPORを実証し、LLMを含む既存の言語モデルを評価する。
  論文  参考訳（メタデータ） (2024-05-17T09:25:30Z)
• Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
  我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。 提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。 多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
  論文  参考訳（メタデータ） (2024-01-28T08:56:49Z)
• Compositional Generalization for Multi-label Text Classification: A Data-Augmentation Approach [40.879814474959545]
  既存の多ラベルテキスト分類モデルの合成一般化能力を評価する。 以上の結果から,これらのモデルが学習中に頻繁に遭遇する構成概念に一般化できないことが示唆された。 そこで本研究では、2つの革新的なテキスト生成モデルを活用するデータ拡張手法を提案する。
  論文  参考訳（メタデータ） (2023-12-18T15:18:57Z)
• Compositional Generalization for Data-to-Text Generation [86.79706513098104]
  本稿では,群に述語をクラスタ化することで構成一般化に対処する新しいモデルを提案する。 本モデルでは,1つの述語を1度に1つのクラスタに依存して文単位でテキストを生成する。 すべての評価指標でT5ベースラインをはるかに上回る。
  論文  参考訳（メタデータ） (2023-12-05T13:23:15Z)
• T2I-CompBench: A Comprehensive Benchmark for Open-world Compositional Text-to-image Generation [62.71574695256264]
  T2I-CompBenchは、オープンワールドのコンポジションテキスト・ツー・イメージ生成のための包括的なベンチマークである。 合成テキスト・画像生成の評価に特化して設計されたいくつかの評価指標を提案する。 本稿では,ジェネレーティブmOdelファインタニングとReward-driven Sample selection (GORS)を導入することで,合成テキスト・画像生成能力を向上する手法を提案する。
  論文  参考訳（メタデータ） (2023-07-12T17:59:42Z)
• Seen to Unseen: Exploring Compositional Generalization of Multi-Attribute Controllable Dialogue Generation [23.79168163871952]
  既存の制御可能な対話生成作業は、単一属性制御に焦点を当てている。 本稿では, プロンプトベースで制御不能な対話生成モデルDCGを提案する。
  論文  参考訳（メタデータ） (2023-06-17T10:50:19Z)
• TART: Improved Few-shot Text Classification Using Task-Adaptive Reference Transformation [23.02986307143718]
  本稿では,タスク適応参照変換(TART)ネットワークを提案する。 我々のモデルは、20のNewsgroupsデータセット上の1ショットと5ショットの分類において、最先端の手法を7.4%、そして5.4%上回る。
  論文  参考訳（メタデータ） (2023-06-03T18:38:02Z)
• GIFT: Graph-Induced Fine-Tuning for Multi-Party Conversation Understanding [51.37738394062851]
  GIFTは、様々なトランスフォーマーベースの事前訓練言語モデルを適用して、普遍的なMPC理解を実現する。 4種類のエッジは、グラフ誘発信号と注意機構を統合するように設計されている。
  論文  参考訳（メタデータ） (2023-05-16T11:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。