論文の概要: Few-shot Learning for Topic Modeling

• arxiv url: http://arxiv.org/abs/2104.09011v1
• Date: Mon, 19 Apr 2021 01:56:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-20 14:47:37.501080
• Title: Few-shot Learning for Topic Modeling
• Title（参考訳）: トピックモデリングのための少数ショット学習
• Authors: Tomoharu Iwata
• Abstract要約: 本稿では,少数の文書からトピックモデルを学習可能なニューラルネットワークによる数ショット学習手法を提案する。 提案手法は3つの実世界のテキスト文書集合を用いて既存の手法よりも高いパープレキシティを実現する。
• 参考スコア（独自算出の注目度）: 39.56814839510978
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Topic models have been successfully used for analyzing text documents. However, with existing topic models, many documents are required for training. In this paper, we propose a neural network-based few-shot learning method that can learn a topic model from just a few documents. The neural networks in our model take a small number of documents as inputs, and output topic model priors. The proposed method trains the neural networks such that the expected test likelihood is improved when topic model parameters are estimated by maximizing the posterior probability using the priors based on the EM algorithm. Since each step in the EM algorithm is differentiable, the proposed method can backpropagate the loss through the EM algorithm to train the neural networks. The expected test likelihood is maximized by a stochastic gradient descent method using a set of multiple text corpora with an episodic training framework. In our experiments, we demonstrate that the proposed method achieves better perplexity than existing methods using three real-world text document sets.
• Abstract（参考訳）: 話題モデルはテキスト文書の分析に成功している。 しかし、既存のトピックモデルでは、多くのドキュメントがトレーニングに必要である。 本稿では,いくつかの文書からトピックモデルを学習できるニューラルネットワークによる少数ショット学習手法を提案する。 我々のモデルのニューラルネットワークは、少数の文書を入力として取り、トピックモデルを出力する。 提案手法は,EMアルゴリズムに基づいて先行確率を最大化することにより,トピックモデルパラメータの推定時に期待されるテスト可能性を改善するようにニューラルネットワークを訓練する。 EMアルゴリズムの各ステップは微分可能であるため、提案手法はEMアルゴリズムを通じて損失を逆伝播させてニューラルネットワークを訓練することができる。 複数のテキストコーパスの集合とエピソディックなトレーニングフレームワークを用いて確率勾配降下法により,予測試験確率を最大化する。 本研究では,提案手法が実世界の3つの文書集合を用いた既存手法よりも難易度が高いことを示す。

関連論文リスト

• Efficient and Flexible Topic Modeling using Pretrained Embeddings and Bag of Sentences [1.8592384822257952]
  本稿では,新しいトピックモデリングと推論アルゴリズムを提案する。 我々は,生成過程モデルとクラスタリングを組み合わせることで,事前学習文の埋め込みを活用する。 The Tailor の評価は,本手法が比較的少ない計算要求で最先端の成果をもたらすことを示している。
  論文  参考訳（メタデータ） (2023-02-06T20:13:11Z)
• SLCNN: Sentence-Level Convolutional Neural Network for Text Classification [0.0]
  畳み込みニューラルネットワーク(CNN)は,テキスト分類のタスクにおいて顕著な成功を収めている。 CNNを用いたテキスト分類のための新しいベースラインモデルが研究されている。 結果から,提案したモデルの性能は,特に長いドキュメントにおいて向上していることがわかった。
  論文  参考訳（メタデータ） (2023-01-27T13:16:02Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• Adaptive Convolutional Dictionary Network for CT Metal Artifact Reduction [62.691996239590125]
  本稿では,金属人工物削減のための適応畳み込み辞書ネットワーク(ACDNet)を提案する。 我々のACDNetは、トレーニングデータを介して、アーティファクトフリーCT画像の事前を自動で学習し、入力されたCT画像ごとに表現カーネルを適応的に調整することができる。 本手法は,モデルに基づく手法の明確な解釈可能性を継承し,学習に基づく手法の強力な表現能力を維持する。
  論文  参考訳（メタデータ） (2022-05-16T06:49:36Z)
• An alternative approach to train neural networks using monotone variational inequality [22.320632565424745]
  本稿では,モノトーンベクトル場を用いたニューラルネットワークトレーニングの代替手法を提案する。 我々のアプローチは、事前訓練されたニューラルネットワークのより効率的な微調整に利用できる。
  論文  参考訳（メタデータ） (2022-02-17T19:24:20Z)
• Efficient Nearest Neighbor Language Models [114.40866461741795]
  非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。 比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
  論文  参考訳（メタデータ） (2021-09-09T12:32:28Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。