論文の概要: Discrete Latent Variable Representations for Low-Resource Text Classification

• arxiv url: http://arxiv.org/abs/2006.06226v1
• Date: Thu, 11 Jun 2020 06:55:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 13:50:25.186695
• Title: Discrete Latent Variable Representations for Low-Resource Text Classification
• Title（参考訳）: 低リソーステキスト分類のための離散的潜在変数表現
• Authors: Shuning Jin, Sam Wiseman, Karl Stratos, Karen Livescu
• Abstract要約: テキストに対する離散潜在変数モデルを学習するためのアプローチを検討する。 低リソース文書と文分類のための特徴として,学習した表現の性能を比較した。 ハードEMの償却版は、特に低リソース状態においてよく機能する。
• 参考スコア（独自算出の注目度）: 47.936293924113855
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While much work on deep latent variable models of text uses continuous latent variables, discrete latent variables are interesting because they are more interpretable and typically more space efficient. We consider several approaches to learning discrete latent variable models for text in the case where exact marginalization over these variables is intractable. We compare the performance of the learned representations as features for low-resource document and sentence classification. Our best models outperform the previous best reported results with continuous representations in these low-resource settings, while learning significantly more compressed representations. Interestingly, we find that an amortized variant of Hard EM performs particularly well in the lowest-resource regimes.
• Abstract（参考訳）: テキストの深い潜在変数モデルに対する多くの作業は連続的潜在変数を使っているが、離散的潜在変数はより解釈可能で、典型的には空間効率が高いため興味深い。 これらの変数に対する厳密なマージン化が難解である場合、テキストの離散的潜在変数モデルを学ぶいくつかの方法を考える。 学習表現の性能を低リソース文書と文の分類の特徴として比較した。 私たちの最良のモデルは、これらの低リソース設定における連続的な表現で、前回報告された最良の結果よりも優れています。 興味深いことに、Hard EMのアモータライズされた変種は、特に低リソースのレギュレーションにおいてよく機能する。

関連論文リスト

• LatentExplainer: Explaining Latent Representations in Deep Generative Models with Multimodal Large Language Models [4.675123839851372]
  textitLatentExplainerは、深層生成モデルにおける潜伏変数の意味論的意味のある説明を自動的に生成するフレームワークである。 我々のアプローチは潜伏変数を摂動させ、生成されたデータの変化を解釈し、マルチモーダルな大言語モデル(MLLM)を用いて人間の理解可能な説明を生成する。
  論文  参考訳（メタデータ） (2024-06-21T04:39:03Z)
• Learning Sparsity of Representations with Discrete Latent Variables [15.05207849434673]
  本稿では,スパース深部潜伏生成モデルSDLGMを提案する。 表現の空間性は固定されていないが、事前に定義された制限の下で観察そのものに適合する。 推論と学習のために,MC勾配推定器をベースとした補正変分法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T12:47:18Z)
• Learning Context-aware Classifier for Semantic Segmentation [88.88198210948426]
  本稿では,文脈認識型分類器の学習を通じて文脈ヒントを利用する。 本手法はモデルに依存しないため,ジェネリックセグメンテーションモデルにも容易に適用できる。 無視できる追加パラメータと+2%の推論時間だけで、小型モデルと大型モデルの両方で十分な性能向上が達成されている。
  論文  参考訳（メタデータ） (2023-03-21T07:00:35Z)
• Interpretable Latent Variables in Deep State Space Models [4.884336328409872]
  我々は、時系列データを予測するために、リカレントニューラルネットワークと状態空間フレームワークを組み合わせたディープステートスペースモデル(DSSM)の新バージョンを導入する。 このモデルは、観測された系列を、時間を通して非線形に進化する潜在変数の関数として推定する。
  論文  参考訳（メタデータ） (2022-03-03T23:10:58Z)
• Learning Conditional Invariance through Cycle Consistency [60.85059977904014]
  本稿では,データセットの変動の有意義な要因と独立な要因を識別する新しい手法を提案する。 提案手法は,対象プロパティと残りの入力情報に対する2つの別個の潜在部分空間を含む。 我々は,より意味のある因子を同定し,よりスペーサーや解釈可能なモデルに導く合成および分子データについて実証する。
  論文  参考訳（メタデータ） (2021-11-25T17:33:12Z)
• HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization [57.798070356553936]
  HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。 単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
  論文  参考訳（メタデータ） (2021-10-12T22:42:31Z)
• Disentangling Generative Factors in Natural Language with Discrete Variational Autoencoders [0.0]
  連続変数は、テキスト中のほとんどの生成因子が離散的であるという事実から、テキストデータの特徴をモデル化するのに理想的ではないかもしれない。 本稿では,言語特徴を離散変数としてモデル化し,不整合表現を学習するための変数間の独立性を促進する変分自動符号化手法を提案する。
  論文  参考訳（メタデータ） (2021-09-15T09:10:05Z)
• Discrete Auto-regressive Variational Attention Models for Text Modeling [53.38382932162732]
  変分オートエンコーダ(VAE)はテキストモデリングに広く応用されている。 情報不足と後部崩壊という2つの課題に悩まされている。 本稿では,自己回帰変動注意モデル(DAVAM)を提案する。
  論文  参考訳（メタデータ） (2021-06-16T06:36:26Z)
• Variational Information Bottleneck for Effective Low-Resource Fine-Tuning [40.66716433803935]
  低リソースターゲットタスクの微調整において,無関係な特徴を抑えるために,変動情報ボット (VIB) を提案する。 我々のVIBモデルは、自然言語推論データセットのバイアスに対してより堅牢な文表現を見つける。
  論文  参考訳（メタデータ） (2021-06-10T03:08:13Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。