論文の概要: Learning Sparse Prototypes for Text Generation

• arxiv url: http://arxiv.org/abs/2006.16336v2
• Date: Wed, 4 Nov 2020 06:00:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 13:27:57.879882
• Title: Learning Sparse Prototypes for Text Generation
• Title（参考訳）: テキスト生成のためのスパースプロトタイプの学習
• Authors: Junxian He, Taylor Berg-Kirkpatrick, Graham Neubig
• Abstract要約: プロトタイプ駆動のテキスト生成は、トレーニングコーパス全体の保存とインデックスを必要とするため、テスト時に非効率である。 本稿では,言語モデリング性能を向上するスパースなプロトタイプサポートセットを自動的に学習する新しい生成モデルを提案する。 実験では,1000倍のメモリ削減を実現しつつ,従来のプロトタイプ駆動型言語モデルよりも優れていた。
• 参考スコア（独自算出の注目度）: 120.38555855991562
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prototype-driven text generation uses non-parametric models that first choose from a library of sentence "prototypes" and then modify the prototype to generate the output text. While effective, these methods are inefficient at test time as a result of needing to store and index the entire training corpus. Further, existing methods often require heuristics to identify which prototypes to reference at training time. In this paper, we propose a novel generative model that automatically learns a sparse prototype support set that, nonetheless, achieves strong language modeling performance. This is achieved by (1) imposing a sparsity-inducing prior on the prototype selection distribution, and (2) utilizing amortized variational inference to learn a prototype retrieval function. In experiments, our model outperforms previous prototype-driven language models while achieving up to a 1000x memory reduction, as well as a 1000x speed-up at test time. More interestingly, we show that the learned prototypes are able to capture semantics and syntax at different granularity as we vary the sparsity of prototype selection, and that certain sentence attributes can be controlled by specifying the prototype for generation.
• Abstract（参考訳）: プロトタイプ駆動テキスト生成は非パラメトリックモデルを使用し、まず文の"prototypes"ライブラリから選択し、次にプロトタイプを修正して出力テキストを生成する。 有効ではあるが、これらの方法はトレーニングコーパス全体の保存とインデックスを必要とするため、テスト時に非効率である。 さらに、既存の手法ではトレーニング時に参照すべきプロトタイプを特定するためにヒューリスティックを必要とすることが多い。 本稿では,新しい生成モデルを提案する。このモデルでは,sparse prototype サポートセットを自動的に学習し,しかしながら,強力な言語モデリング性能を実現する。 これは,(1)プロトタイプ選択分布に先行してスパース性誘導を課すこと,(2)不定形変分推論を用いてプロトタイプ検索関数を学習することにより達成される。 実験では,テスト時の1000倍のメモリ削減と1000倍の高速化を実現しながら,従来のプロトタイプ駆動言語モデルよりも優れていた。 より興味深いことに、学習されたプロトタイプは、プロトタイプ選択のスパーシティが異なるため、異なる粒度で意味と構文を捉えることができ、特定の文属性は、生成のためにプロトタイプを指定することで制御できる。

関連論文リスト

• Advancing Interpretability in Text Classification through Prototype Learning [1.9526476410335776]
  ProtoLensはプロトタイプベースのモデルで、テキスト分類のための詳細なサブ文レベルの解釈機能を提供する。 ProtoLensは、Prototype-aware Span extractモジュールを使用して、関連するテキストスパンを識別する。 ProtoLensは、競争精度を維持しながら解釈可能な予測を提供する。
  論文  参考訳（メタデータ） (2024-10-23T03:53:46Z)
• Multi-Scale Grouped Prototypes for Interpretable Semantic Segmentation [7.372346036256517]
  意味的セグメンテーションを解釈可能なものにするための、有望なアプローチとして、プロトタイプ的な部分学習が登場している。 本稿では,多スケール画像表現を利用した意味的セグメンテーションの解釈手法を提案する。 Pascal VOC,Cityscapes,ADE20Kで行った実験により,提案手法はモデルの疎結合性を高め,既存のプロトタイプ手法よりも解釈可能性を高め,非解釈可能なモデルとの性能ギャップを狭めることを示した。
  論文  参考訳（メタデータ） (2024-09-14T17:52:59Z)
• Sign Language Translation with Iterative Prototype [104.76761930888604]
  IP-SLTは手話翻訳のためのシンプルだが効果的なフレームワークである 我々の考えは、人間の読みの振る舞いを模倣し、文を何度も消化して、正確な理解を得るというものである。
  論文  参考訳（メタデータ） (2023-08-23T15:27:50Z)
• ProtoDiff: Learning to Learn Prototypical Networks by Task-Guided Diffusion [44.805452233966534]
  プロトタイプベースのメタ学習は、数発の学習課題に対処するための強力なテクニックとして登場した。 ランダムノイズからタスク固有のプロトタイプを徐々に生成するフレームワークであるProtoDiffを紹介する。 我々は、基礎となるプロトタイプの分布を正確に捉える能力を示すために、徹底的なアブレーション研究を行っている。
  論文  参考訳（メタデータ） (2023-06-26T15:26:24Z)
• Evolving Semantic Prototype Improves Generative Zero-Shot Learning [73.07035277030573]
  ゼロショット学習(ZSL)では、生成法は事前に定義されたセマンティックプロトタイプに基づいてクラス関連サンプル特徴を合成する。 各クラスの事前定義されたセマンティックプロトタイプは、実際のセマンティックプロトタイプと正確に一致しない。 本稿では,経験的に定義された意味的プロトタイプと,クラス関連特徴合成のための実際のプロトタイプを整合させる動的意味的プロトタイプ(DSP)法を提案する。
  論文  参考訳（メタデータ） (2023-06-12T08:11:06Z)
• Smaller Language Models are Better Black-box Machine-Generated Text Detectors [56.36291277897995]
  小型で部分的に訓練されたモデルは、より優れたユニバーサルテキスト検出器である。 検出器とジェネレータが同一データでトレーニングされたかどうかが検出成功にとって重要でないことが判明した。 例えば、OPT-125Mモデルは、ChatGPT世代を検出するのにAUCが0.81であり、GPTファミリーのより大きなモデルであるGPTJ-6BはAUCが0.45である。
  論文  参考訳（メタデータ） (2023-05-17T00:09:08Z)
• Rethinking Semantic Segmentation: A Prototype View [126.59244185849838]
  学習不可能なプロトタイプをベースとした非パラメトリックセマンティックセマンティックセマンティクスモデルを提案する。 我々のフレームワークは、いくつかのデータセットに対して魅力的な結果をもたらす。 この作業が、現在のデファクトセマンティックセグメンテーションモデル設計を再考することを期待しています。
  論文  参考訳（メタデータ） (2022-03-28T21:15:32Z)
• Deformable ProtoPNet: An Interpretable Image Classifier Using Deformable Prototypes [7.8515366468594765]
  本稿では,Deformable Part Network(Deformable ProtoPNet)を提案する。 このモデルは、学習中に学習したプロトタイプと比較し、入力画像の分類を行い、「これのように見える」という形で説明を与える。
  論文  参考訳（メタデータ） (2021-11-29T22:38:13Z)
• Dual Prototypical Contrastive Learning for Few-shot Semantic Segmentation [55.339405417090084]
  本稿では,FSSタスクに適合する2つの特徴的コントラスト学習手法を提案する。 第一の考え方は、プロトタイプの特徴空間におけるクラス内距離を減少させながら、クラス間距離を増やすことで、プロトタイプをより差別的にすることである。 提案手法は,PASCAL-5iおよびCOCO-20iデータセット上で,最先端のFSS手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-09T08:14:50Z)
• ProtoryNet - Interpretable Text Classification Via Prototype Trajectories [4.768286204382179]
  本稿では,ProtoryNetと呼ばれるテキスト分類のための新しい解釈可能なディープニューラルネットワークを提案する。 ProtoryNetはテキストシーケンスで各文の最も類似したプロトタイプを見つけることによって予測を行う。 プロトタイプのプルーニングの後、結果のProtoryNetモデルは、すべてのデータセットに対して、20のプロトタイプしか必要としない。
  論文  参考訳（メタデータ） (2020-07-03T16:00:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。