Fugu-MT 論文翻訳(概要): Flexible and Adaptable Summarization via Expertise Separation

論文の概要: Flexible and Adaptable Summarization via Expertise Separation

arxiv url: http://arxiv.org/abs/2406.05360v1
Date: Sat, 8 Jun 2024 05:31:19 GMT
ステータス: 処理完了
システム内更新日: 2024-06-11 20:14:35.797280
Title: Flexible and Adaptable Summarization via Expertise Separation
Title（参考訳）: エキスパート分離によるフレキシブルで適応可能な要約
Authors: Xiuying Chen, Mingzhe Li, Shen Gao, Xin Cheng, Qingqing Zhu, Rui Yan, Xin Gao, Xiangliang Zhang,
Abstract要約: 熟練した要約モデルは、柔軟性と適応性の両方を示すべきである。我々は,Mixture-of-Expert SummarizationアーキテクチャであるMoeSummを提案する。我々のモデルでは、一般とドメイン固有の要約能力の分離は、顕著な柔軟性と適応性を与えている。
参考スコア（独自算出の注目度）: 59.26639426529827
License: http://creativecommons.org/licenses/by/4.0/
Abstract: A proficient summarization model should exhibit both flexibility -- the capacity to handle a range of in-domain summarization tasks, and adaptability -- the competence to acquire new knowledge and adjust to unseen out-of-domain tasks. Unlike large language models (LLMs) that achieve this through parameter scaling, we propose a more parameter-efficient approach in this study. Our motivation rests on the principle that the general summarization ability to capture salient information can be shared across different tasks, while the domain-specific summarization abilities need to be distinct and tailored. Concretely, we propose MoeSumm, a Mixture-of-Expert Summarization architecture, which utilizes a main expert for gaining the general summarization capability and deputy experts that selectively collaborate to meet specific summarization task requirements. We further propose a max-margin loss to stimulate the separation of these abilities. Our model's distinct separation of general and domain-specific summarization abilities grants it with notable flexibility and adaptability, all while maintaining parameter efficiency. MoeSumm achieves flexibility by managing summarization across multiple domains with a single model, utilizing a shared main expert and selected deputy experts. It exhibits adaptability by tailoring deputy experts to cater to out-of-domain few-shot and zero-shot scenarios. Experimental results on 11 datasets show the superiority of our model compared with recent baselines and LLMs. We also provide statistical and visual evidence of the distinct separation of the two abilities in MoeSumm (https://github.com/iriscxy/MoE_Summ).
Abstract（参考訳）: 熟練した要約モデルは、様々なドメインの要約タスクを扱う能力と、新しい知識を取得してドメイン外のタスクに適応する能力の両方を表現すべきである。パラメータスケーリングによってこれを実現できる大規模言語モデル(LLM)とは異なり、本研究ではよりパラメータ効率の良いアプローチを提案する。我々のモチベーションは、有能な情報をキャプチャする一般的な要約能力が、異なるタスク間で共有可能であるのに対して、ドメイン固有の要約能力は、区別され、調整される必要があるという原則に依拠している。具体的には,Mixture-of-Expert SummarizationのアーキテクチャであるMoeSummを提案する。さらに,これらの能力の分離を刺激する最大損失を提案する。我々のモデルでは、一般とドメイン固有の要約能力の分離により、パラメータ効率を保ちながら、顕著な柔軟性と適応性が得られる。 MoeSummは、複数のドメインにまたがる要約を単一のモデルで管理し、共有されたメインエキスパートと選択された副エキスパートを活用することで、柔軟性を実現する。ドメイン外の少数ショットとゼロショットのシナリオに対応するために、副専門家を調整することで、適応性を示す。 11個のデータセットに対する実験結果から,最近のベースラインやLLMと比較して,モデルが優れていることが示された。また,MoeSumm(https://github.com/iriscxy/MoE_Summ)における2つの能力の分離の統計的および視覚的証拠も提供する。

関連論文リスト

Self-MoE: Towards Compositional Large Language Models with Self-Specialized Experts [49.950419707905944]
本稿では,モノリシックLLMを,自己専門化の専門家による構成的,モジュール的なシステムに変換するアプローチであるSelf-MoEを紹介する。提案手法は, 自己生成合成データを用いて, 専門家モジュールを構成する自己特殊化を利用する。本研究は, モジュール性の重要性, マルチベースLCMへの適用性, 効率的でスケーラブルで適応可能なシステムの実現における自己改善の可能性を明らかにするものである。
論文参考訳（メタデータ） (2024-06-17T19:06:54Z)
Intuition-aware Mixture-of-Rank-1-Experts for Parameter Efficient Finetuning [50.73666458313015]
大規模言語モデル(LLM)はマルチメディアアプリケーションで複数のタスクを実行する上で大きな可能性を証明している。 MoEは、効率的なタスクデカップリングのためのスパースアーキテクチャによる有望なソリューションとして登場した。 Intuition-MoR1Eは14のパブリックデータセットで優れた効率と2.15%の全体的な精度向上を実現している。
論文参考訳（メタデータ） (2024-04-13T12:14:58Z)
Merging Multi-Task Models via Weight-Ensembling Mixture of Experts [64.94129594112557]
異なるタスクでトレーニングされたTransformerベースのモデルを単一の統一モデルにマージすることで、すべてのタスクを同時に実行できる。従来の手法は、タスク演算によって例示され、効率的かつスケーラブルであることが証明されている。本稿では,Transformer層をMoEモジュールにアップスケーリングしながら,ほとんどのパラメータをマージすることを提案する。
論文参考訳（メタデータ） (2024-02-01T08:58:57Z)
SimMMDG: A Simple and Effective Framework for Multi-modal Domain Generalization [13.456240733175767]
SimMMDGは、マルチモーダルシナリオにおけるドメインの一般化を実現する上での課題を克服するためのフレームワークである。我々は,共同性を確保し,距離制約を課すために,モダリティ共有特徴に対する教師付きコントラスト学習を採用する。本研究では,EPIC-KitchensデータセットとHuman-Animal-CartoonデータセットのマルチモーダルDGにおいて,理論的に支持され,高い性能を実現している。
論文参考訳（メタデータ） (2023-10-30T17:58:09Z)
One-stage Modality Distillation for Incomplete Multimodal Learning [7.791488931628906]
本稿では,特権的知識伝達とモダリティ情報融合を一体化する一段階のモダリティ蒸留フレームワークを提案する。提案手法は,各シーンにおける不完全なモダリティ入力の問題を克服し,最先端の性能を実現する。
論文参考訳（メタデータ） (2023-09-15T07:12:27Z)
Adapter-based Selective Knowledge Distillation for Federated Multi-domain Meeting Summarization [36.916155654985936]
会議要約は、利用者に凝縮した要約を提供するための有望な手法として登場した。本稿では,適応型選択的知識蒸留法(AdaFedSelecKD)を提案する。
論文参考訳（メタデータ） (2023-08-07T03:34:01Z)
Mod-Squad: Designing Mixture of Experts As Modular Multi-Task Learners [74.92558307689265]
専門家グループ("スクワッド")にモジュール化された新しいモデルであるMod-Squadを提案する。単一モデルのトレーニング中に、このマッチングプロセスを最適化する。 13の視覚タスクを持つタスクノミーデータセットと、5つの視覚タスクを持つPASCAL-Contextデータセットの実験は、我々のアプローチの優位性を示している。
論文参考訳（メタデータ） (2022-12-15T18:59:52Z)
UniSumm and SummZoo: Unified Model and Diverse Benchmark for Few-Shot Summarization [54.59104881168188]
textscUniSummは、複数の要約タスクで事前訓練された、統合された数ショットの要約モデルである。 textscSummZooは、スクリーンショットの要約をよりよく評価するための新しいベンチマークである。
論文参考訳（メタデータ） (2022-11-17T18:54:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。