論文の概要: Domain-Oriented Prefix-Tuning: Towards Efficient and Generalizable Fine-tuning for Zero-Shot Dialogue Summarization

• arxiv url: http://arxiv.org/abs/2204.04362v1
• Date: Sat, 9 Apr 2022 02:28:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-12 15:55:05.131558
• Title: Domain-Oriented Prefix-Tuning: Towards Efficient and Generalizable Fine-tuning for Zero-Shot Dialogue Summarization
• Title（参考訳）: ドメイン指向プレフィックスチューニング:ゼロショット対話要約のための効率的かつ一般化可能な微調整を目指して
• Authors: Lulu Zhao, Fujia Zheng, Weihao Zeng, Keqing He, Weiran Xu, Huixing Jiang, Wei Wu, Yanan Wu
• Abstract要約: 本稿では,ドメインの絡み合いを軽減するために,効率的で一般化可能なドメイン指向プレフィックスチューニングモデルを提案する。 我々は、2つのマルチドメイン対話要約データセット上でゼロショット実験を行い、ドメイン適応ベンチマークを構築した。
• 参考スコア（独自算出の注目度）: 29.700113636257544
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The most advanced abstractive dialogue summarizers lack generalization ability on new domains and the existing researches for domain adaptation in summarization generally rely on large-scale pre-trainings. To explore the lightweight fine-tuning methods for domain adaptation of dialogue summarization, in this paper, we propose an efficient and generalizable Domain-Oriented Prefix-tuning model, which utilizes a domain word initialized prefix module to alleviate domain entanglement and adopts discrete prompts to guide the model to focus on key contents of dialogues and enhance model generalization. We conduct zero-shot experiments and build domain adaptation benchmarks on two multi-domain dialogue summarization datasets, TODSum and QMSum. Adequate experiments and qualitative analysis prove the effectiveness of our methods.
• Abstract（参考訳）: 最も先進的な抽象対話要約器は、新しいドメインの一般化能力に欠けており、要約におけるドメイン適応に関する既存の研究は、一般に大規模な事前学習に依存している。 本稿では,対話要約のドメイン適応のための軽量な微調整手法を検討するために,ドメイン語の初期化プレフィックスモジュールを用いてドメインの絡み合いを緩和し,離散的なプロンプトを適用し,対話の重要コンテンツに焦点を当て,モデルの一般化を促進する,効率的で汎用的なドメイン指向プレフィックスチューニングモデルを提案する。 マルチドメイン対話要約データセットであるTODSumとQMSumでゼロショット実験を行い、ドメイン適応ベンチマークを構築した。 実験と定性解析は,本手法の有効性を実証する。

関連論文リスト

• Schema Augmentation for Zero-Shot Domain Adaptation in Dialogue State Tracking [16.67185296899117]
  ゼロショットドメイン適応のための現在の大規模言語モデルアプローチは、ターゲットドメインに関連する知識の導入を促すことに依存している。 本研究では,言語モデルのゼロショット領域適応を微調整により改善する新しいデータ拡張手法であるAugmentationを考案する。 MultiWOZ と SpokenWOZ の実験により,提案手法はベースラインよりも大幅に改善された。
  論文  参考訳（メタデータ） (2024-10-31T18:57:59Z)
• DomainSum: A Hierarchical Benchmark for Fine-Grained Domain Shift in Abstractive Text Summarization [1.7009235747761653]
  DomainSumは抽象的な要約において、きめ細かいドメインシフトをキャプチャするために設計された階層的なベンチマークである。 これらの変化をジャンル,スタイル,トピックという3つのレベルに分類し,階層構造に従うような総合的なベンチマーク分析を通じて示す。
  論文  参考訳（メタデータ） (2024-10-21T06:55:35Z)
• Learning to Generalize Unseen Domains via Multi-Source Meta Learning for Text Classification [71.08024880298613]
  テキスト分類の多元的領域一般化について検討する。 本稿では、複数の参照ドメインを使用して、未知のドメインで高い精度を達成可能なモデルをトレーニングするフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-20T07:46:21Z)
• Unified Language-driven Zero-shot Domain Adaptation [55.64088594551629]
  Unified Language-driven Zero-shot Domain Adaptation (ULDA)は、新しいタスクセットである。 これにより、ドメインIDの知識を明示することなく、単一のモデルを多様なターゲットドメインに適応させることができる。
  論文  参考訳（メタデータ） (2024-04-10T16:44:11Z)
• Role Prompting Guided Domain Adaptation with General Capability Preserve for Large Language Models [55.51408151807268]
  特定のドメインに合わせると、LLM(Large Language Models)は破滅的な忘れを経験する傾向がある。 同時に複数のドメインのための汎用モデルを構築することで、全体的なパフォーマンスが低下することが多い。 RolE Prompting Guided Multi-Domain Adaptation (REGA) 戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-05T08:22:41Z)
• Memory-Efficient Prompt Tuning for Incremental Histopathology Classification [69.46798702300042]
  本稿では,経済的なメモリコストのモデル一般化ポテンシャルを育成するための,メモリ効率の良いプロンプトチューニングフレームワークを提案する。 乳癌転移分類と上皮間質組織分類の2つの病理組織学的タスクにより,我々の枠組みを広く評価した。
  論文  参考訳（メタデータ） (2024-01-22T03:24:45Z)
• Cross Contrasting Feature Perturbation for Domain Generalization [11.863319505696184]
  ドメインの一般化は、目に見えないターゲットドメインをうまく一般化するソースドメインから堅牢なモデルを学ぶことを目的としています。 近年の研究では、ソースドメインに相補的な分布を多様化するための新しいドメインサンプルや特徴の生成に焦点が当てられている。 ドメインシフトをシミュレートするオンラインワンステージクロスコントラスト機能摂動フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-24T03:27:41Z)
• TAL: Two-stream Adaptive Learning for Generalizable Person Re-identification [115.31432027711202]
  我々は、ドメイン固有性とドメイン不変性の両方が、re-idモデルの一般化能力の向上に不可欠であると主張する。 これら2種類の情報を同時にモデル化するために,2ストリーム適応学習 (TAL) を命名した。 我々のフレームワークは、単一ソースとマルチソースの両方のドメイン一般化タスクに適用できる。
  論文  参考訳（メタデータ） (2021-11-29T01:27:42Z)
• Improving Multi-Party Dialogue Discourse Parsing via Domain Integration [25.805553277418813]
  マルチパーティ会話は、対話的なターン間のセマンティックレベルの相関によって暗黙的に組織される。 対話談話分析は,基本談話単位間の係り受け構造と関係の予測に応用できる。 対話談話アノテーションを持つ既存のコーパスは、限られたサンプルサイズを持つ特定のドメインから収集される。
  論文  参考訳（メタデータ） (2021-10-09T09:36:22Z)
• Model-Based Domain Generalization [96.84818110323518]
  本稿では,モデルベースドメイン一般化問題に対する新しいアプローチを提案する。 我々のアルゴリズムは、最新のwildsベンチマークの最先端手法を最大20ポイント上回った。
  論文  参考訳（メタデータ） (2021-02-23T00:59:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。