論文の概要: InheritSumm: A General, Versatile and Compact Summarizer by Distilling from GPT

• arxiv url: http://arxiv.org/abs/2305.13083v1
• Date: Mon, 22 May 2023 14:52:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 15:15:31.712003
• Title: InheritSumm: A General, Versatile and Compact Summarizer by Distilling from GPT
• Title（参考訳）: InheritSumm: GPTからの蒸留による汎用, バーサタイル, コンパクトサムライザ
• Authors: Yichong Xu, Ruochen Xu, Dan Iter, Yang Liu, Shuohang Wang, Chenguang Zhu, Michael Zeng
• Abstract要約: InheritSummは、蒸留によりGPT-3.5から派生した汎用的でコンパクトな要約モデルである。 GPT-3.5と同様、ゼロショットやスプリットショットの設定でパフォーマンスが向上する。
• 参考スコア（独自算出の注目度）: 75.29359361404073
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: While large models such as GPT-3 demonstrate exceptional performance in zeroshot and fewshot summarization tasks, their extensive serving and fine-tuning costs hinder their utilization in various applications. Conversely, previous studies have found that although automatic metrics tend to favor smaller fine-tuned models, the quality of the summaries they generate is inferior to that of larger models like GPT-3 when assessed by human evaluators. To address this issue, we propose InheritSumm, a versatile and compact summarization model derived from GPT-3.5 through distillation. InheritSumm not only exhibits comparable zeroshot and fewshot summarization capabilities to GPT-3.5 but is also sufficiently compact for fine-tuning purposes. Experimental results demonstrate that InheritSumm achieves similar or superior performance to GPT-3.5 in zeroshot and fewshot settings. Furthermore, it outperforms the previously established best small models in both prefix-tuning and full-data fine-tuning scenarios.
• Abstract（参考訳）: gpt-3のような大規模モデルはゼロショットや少数ショットの要約タスクで例外的な性能を示すが、その広範なサービスと微調整コストは様々なアプリケーションでの使用を妨げている。 逆に、従来の研究では、自動測定はより小さな微調整モデルを好む傾向があったが、人間の評価によって評価される場合、それらが生成する要約の品質はGPT-3のような大きなモデルよりも劣っている。 本稿では,GPT-3.5から抽出した多目的かつコンパクトな要約モデルであるInheritSummを提案する。 inheritedsumm は gpt-3.5 と同等の zeroshot と fewshot summarization 機能を持つだけでなく、微調整のために十分にコンパクトである。 実験結果から,InheritSummはゼロショットおよびスプリットショット設定においてGPT-3.5と同等あるいは優れた性能を示した。 さらに、プレフィックスチューニングとフルデータチューニングの両方のシナリオにおいて、以前に確立された最良の小型モデルよりも優れています。

関連論文リスト

• Optimizing Performance: How Compact Models Match or Exceed GPT's Classification Capabilities through Fine-Tuning [0.0]
  非生成の小型モデルは、ゼロショット学習設定でGPT-3.5およびGPT-4モデルより優れている。 細調整されたモデルは、市場感情を決定するタスクに基づいて微調整されたときに、GPT-3.5に匹敵する結果を示す。
  論文  参考訳（メタデータ） (2024-08-22T09:10:43Z)
• Model Editing with Canonical Examples [75.33218320106585]
  標準例を用いたモデル編集について紹介する。 例えば、モーリシャスの首都はポートルイである。 本稿では,各標準例に対して数個の感覚ベクトルを選択し,微調整するセンスファインタニングを提案する。
  論文  参考訳（メタデータ） (2024-02-09T03:08:12Z)
• On Sarcasm Detection with OpenAI GPT-based Models [0.0]
  サルカズム(Sarcasm)は、読者やリスナーが文脈や社会的手がかりを考慮し、意図した意味を解釈することを要求する皮肉の一形態である。 機械学習の分類モデルは、その社会的複雑さと矛盾する性質のために、長い間、皮肉を検出するのに難しかった。 本稿では, GPT-3, InstructGPT, GPT-3.5, GPT-4 などの生成事前学習型トランスフォーマ(GPT)モデルを用いて, 自然言語の皮肉を検出する手法を提案する。
  論文  参考訳（メタデータ） (2023-12-07T19:00:56Z)
• Large language models for aspect-based sentiment analysis [0.0]
  GPT-4 と GPT-3.5 の性能をゼロショット, 少ないショット, 微調整で評価した。 微調整 GPT-3.5 は、共同アスペクト項抽出と極性分類タスクにおいて最先端の F1 スコア 83.8 を達成する。
  論文  参考訳（メタデータ） (2023-10-27T10:03:21Z)
• GPT-3.5, GPT-4, or BARD? Evaluating LLMs Reasoning Ability in Zero-Shot Setting and Performance Boosting Through Prompts [0.0]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて顕著な性能を示した。 本稿では, GPT-3.5, GPT-4, BARDモデルの性能について, 様々な推論タスクについて, 徹底的な技術的評価を行うことにより検討する。
  論文  参考訳（メタデータ） (2023-05-21T14:45:17Z)
• A Comprehensive Capability Analysis of GPT-3 and GPT-3.5 Series Models [71.42197262495056]
  GPTシリーズモデルは、その例外的な自然言語処理能力により、かなりの注目を集めている。 2つのGPT-3系列モデルと4つのGPT-3.5系列モデルからなる6つの代表モデルを選択する。 21個のデータセットを用いて,9つの自然言語理解タスク(NLU)の性能評価を行った。 実験の結果,NLUタスクにおけるGPTシリーズモデルの全体的な能力は,モデルが進化するにつれて徐々に向上しないことがわかった。
  論文  参考訳（メタデータ） (2023-03-18T14:02:04Z)
• GOHSP: A Unified Framework of Graph and Optimization-based Heterogeneous Structured Pruning for Vision Transformer [76.2625311630021]
  視覚変換器(ViT)は、様々なコンピュータビジョンタスクにおいて非常に印象的な経験的性能を示している。 この問題を緩和するために、構造化プルーニングはモデルサイズを圧縮し、実用的な効率を実現するための有望な解決策である。 グラフと最適化に基づく構造的プルーニング(Structured Pruning)を統合化したフレームワークであるGOHSPを提案する。
  論文  参考訳（メタデータ） (2023-01-13T00:40:24Z)
• News Summarization and Evaluation in the Era of GPT-3 [73.48220043216087]
  GPT-3は,大規模な要約データセット上で訓練された微調整モデルと比較する。 我々は,GPT-3サマリーが圧倒的に好まれるだけでなく,タスク記述のみを用いることで,現実性に乏しいようなデータセット固有の問題に悩まされることも示している。
  論文  参考訳（メタデータ） (2022-09-26T01:04:52Z)
• Sparse MoEs meet Efficient Ensembles [49.313497379189315]
  このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。 Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
  論文  参考訳（メタデータ） (2021-10-07T11:58:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。