論文の概要: Adaptive Beam Search to Enhance On-device Abstractive Summarization
- arxiv url: http://arxiv.org/abs/2201.02739v1
- Date: Wed, 22 Dec 2021 16:54:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-16 16:32:49.367730
- Title: Adaptive Beam Search to Enhance On-device Abstractive Summarization
- Title（参考訳）: デバイス上での抽象要約を支援する適応ビーム探索
- Authors: Harichandana B S S and Sumit Kumar
- Abstract要約: デバイス上での抽象的な要約の質を向上させるために,新しい適応ビーム探索を提案する。
メモリフットプリントが97.6%少ないこのモデルでは、BERTと比較すると、同じまたはそれ以上のキー情報を抽出する。
- 参考スコア（独自算出の注目度）: 2.4763587045241553
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We receive several essential updates on our smartphones in the form of SMS,
documents, voice messages, etc. that get buried beneath the clutter of content.
We often do not realize the key information without going through the full
content. SMS notifications sometimes help by giving an idea of what the message
is about, however, they merely offer a preview of the beginning content. One
way to solve this is to have a single efficient model that can adapt and
summarize data from varied sources. In this paper, we tackle this issue and for
the first time, propose a novel Adaptive Beam Search to improve the quality of
on-device abstractive summarization that can be applied to SMS, voice messages
and can be extended to documents. To the best of our knowledge, this is the
first on-device abstractive summarization pipeline to be proposed that can
adapt to multiple data sources addressing privacy concerns of users as compared
to the majority of existing summarization systems that send data to a server.
We reduce the model size by 30.9% using knowledge distillation and show that
this model with a 97.6% lesser memory footprint extracts the same or more key
information as compared to BERT.
- Abstract（参考訳）: われわれのスマートフォンには、sms、文書、音声メッセージなどの形で重要なアップデートがいくつかあり、コンテンツの雑多な部分に埋もれている。
私たちはしばしば、完全なコンテンツを通さない限り、重要な情報に気付きません。
SMSの通知は、メッセージが何であるかを判断するのに役立つことがあるが、それらは単に開始したコンテンツのプレビューを提供するだけだ。
これを解決する方法の1つは、様々なソースからデータを適応して要約できる単一の効率的なモデルを持つことである。
本稿では,この課題に対処し,SMSや音声メッセージに適用し,文書に拡張可能なデバイス上での抽象的な要約の質を向上させるための,新しい適応ビーム探索を提案する。
私たちの知る限りでは,サーバにデータを送信する既存の要約システムの大部分と比較して,ユーザのプライバシ上の懸念に対処する複数のデータソースに適応可能な,デバイス上の抽象化された要約パイプラインが提案されているのはこれが初めてです。
知識蒸留を用いてモデルサイズを30.9%削減し、97.6%少ないメモリフットプリントを持つこのモデルがbertと同等以上のキー情報を抽出することを示した。
関連論文リスト
- Retrieval is Accurate Generation [99.24267226311157]
本稿では,支援文書の集合からコンテキスト認識句を選択する新しい手法を提案する。
本モデルでは,検索対象のベースラインの中で,最高の性能と低レイテンシを実現する。
論文 参考訳（メタデータ） (2024-02-27T14:16:19Z) - Leveraging Information Bottleneck for Scientific Document Summarization [26.214930773343887]
本稿では,科学的長期文書を要約するための教師なし抽出手法を提案する。
文圧縮にInformation Bottleneckの原理を用いた以前の研究に触発され、文書レベルの要約に拡張する。
論文 参考訳（メタデータ） (2021-10-04T09:43:47Z) - RetrievalSum: A Retrieval Enhanced Framework for Abstractive
Summarization [25.434558112121778]
本稿では,高密度Retriever と Summarizer を組み合わせた新しい検索強化抽象要約フレームワークを提案する。
提案手法は,複数のドメインにまたがる広範囲な要約データセットと,BERTとBARTの2つのバックボーンモデルで検証する。
その結果, ROUGE-1 スコアの1.384.66 倍の精度向上が得られた。
論文 参考訳（メタデータ） (2021-09-16T12:52:48Z) - Fine-tuning GPT-3 for Russian Text Summarization [77.34726150561087]
本稿では,テキストを要約するruGPT3(ruGPT3)機能について紹介し,それに対応する人文要約を用いてロシア語ニュースのコーパスを微調整する。
得られたテキストを一連のメトリクスで評価し、アーキテクチャや損失関数に付加的な変更を加えることなく、我々のソリューションが最先端のモデルの性能を上回ることができることを示す。
論文 参考訳（メタデータ） (2021-08-07T19:01:40Z) - On-Device Document Classification using multimodal features [3.180188886143297]
単一のモダリティは分類に不十分であることを示し、デバイス上で文書を分類するための新しいパイプラインを示す。
我々は,光学文字認識(OCR)のためのオープンソースライブラリと,パイプラインに新たなモデルアーキテクチャを統合する。
この分類モデルを標準のマルチモーダルデータセットfood-101でベンチマークし、30%のモデル圧縮で以前の技術と競合する結果を示す。
論文 参考訳（メタデータ） (2021-01-06T05:36:58Z) - Leveraging Unpaired Text Data for Training End-to-End Speech-to-Intent
Systems [39.79749518035203]
音声から直接意図を抽出するエンド・ツー・エンド(E2E)ニューラルネットワーク音声-インテントシステムのトレーニングには,大量の意図ラベル付き音声データが必要である。
我々はCTCベースのS2Iシステムを実装し、最先端の従来のSLUシステムの性能に適合する。
論文 参考訳（メタデータ） (2020-10-08T22:16:26Z) - KGPT: Knowledge-Grounded Pre-Training for Data-to-Text Generation [100.79870384880333]
知識に富んだテキストを生成するための知識基盤事前学習(KGPT)を提案する。
我々は、その効果を評価するために、3つの設定、すなわち、完全教師付き、ゼロショット、少数ショットを採用します。
ゼロショット設定では、WebNLG上で30 ROUGE-L以上を達成するが、他の全てのベースラインは失敗する。
論文 参考訳（メタデータ） (2020-10-05T19:59:05Z) - Abstractive Summarization of Spoken and Written Instructions with BERT [66.14755043607776]
本稿では,BERTSumモデルの最初の対話型言語への応用について述べる。
我々は多種多様な話題にまたがるナレーションビデオの抽象要約を生成する。
我々は、これをインテリジェントな仮想アシスタントの機能として統合し、要求に応じて文字と音声の両方の指導内容の要約を可能にすることを想定する。
論文 参考訳（メタデータ） (2020-08-21T20:59:34Z) - TRIE: End-to-End Text Reading and Information Extraction for Document
Understanding [56.1416883796342]
本稿では,統合されたエンドツーエンドのテキスト読解と情報抽出ネットワークを提案する。
テキスト読解のマルチモーダル視覚的特徴とテキスト的特徴は、情報抽出のために融合される。
提案手法は, 精度と効率の両面において, 最先端の手法よりも優れていた。
論文 参考訳（メタデータ） (2020-05-27T01:47:26Z) - Pre-training for Abstractive Document Summarization by Reinstating
Source Text [105.77348528847337]
本稿では,Seq2Seqに基づく非ラベルテキストによる抽象要約モデルの事前学習を可能にする3つの事前学習目標を提案する。
2つのベンチマーク要約データセットの実験では、3つの目的がすべてベースラインでパフォーマンスを向上させることが示されている。
論文 参考訳（メタデータ） (2020-04-04T05:06:26Z) - On-Device Information Extraction from SMS using Hybrid Hierarchical
Classification [0.0]
SMSから適切な情報を整理して抽出し,さらに直感的なテンプレートで表示する,ユニークなアーキテクチャを提案する。
提案アーキテクチャでは,Hybrid Hierarchical Long Short Term Memory (LSTM) Neural Network (CNN) を用いて,SMS を複数のクラスに分類し,関連する情報を抽出するエンティティのセットを用いる。
プリプロセッシング技術を用いたアーキテクチャは、SMSデータに見られる膨大な変動を考慮しつつ、推論タイミングとサイズの観点からデバイス上の機能(携帯電話)を効率化する。
論文 参考訳（メタデータ） (2020-02-03T09:24:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。