論文の概要: Learning Sparse Sentence Encoding without Supervision: An Exploration of
Sparsity in Variational Autoencoders
- arxiv url: http://arxiv.org/abs/2009.12421v2
- Date: Fri, 16 Apr 2021 23:43:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-14 22:22:13.491298
- Title: Learning Sparse Sentence Encoding without Supervision: An Exploration of
Sparsity in Variational Autoencoders
- Title（参考訳）: スーパービジョンなしでスパース文エンコーディングを学習する:変分オートエンコーダにおけるスパーシティの探索
- Authors: Victor Prokhorov, Yingzhen Li, Ehsan Shareghi, Nigel Collier
- Abstract要約: 空間性は、固定次元のベクトルにおけるデータの効率的な表現を学習するための効果的な帰納バイアスである。
本稿では,画像領域でよく研究されているVAEフレームワーク内の空間性について検討する。
3つのデータセットにまたがるテキスト分類における空間性の影響を考察する。
- 参考スコア（独自算出の注目度）: 36.60504726767521
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: It has been long known that sparsity is an effective inductive bias for
learning efficient representation of data in vectors with fixed dimensionality,
and it has been explored in many areas of representation learning. Of
particular interest to this work is the investigation of the sparsity within
the VAE framework which has been explored a lot in the image domain, but has
been lacking even a basic level of exploration in NLP. Additionally, NLP is
also lagging behind in terms of learning sparse representations of large units
of text e.g., sentences. We use the VAEs that induce sparse latent
representations of large units of text to address the aforementioned
shortcomings. First, we move in this direction by measuring the success of
unsupervised state-of-the-art (SOTA) and other strong VAE-based sparsification
baselines for text and propose a hierarchical sparse VAE model to address the
stability issue of SOTA. Then, we look at the implications of sparsity on text
classification across 3 datasets, and highlight a link between performance of
sparse latent representations on downstream tasks and its ability to encode
task-related information.
- Abstract（参考訳）: 空間性は、固定次元のベクトルにおけるデータの効率的な表現を学習するための効果的な帰納バイアスであり、多くの表現学習領域で研究されてきた。
この研究に特に興味があるのは、画像領域で多く研究されてきたが、NLPにおける基礎的な調査レベルさえも欠如しているVAEフレームワーク内のスパーシリティの調査である。
さらに、NLPは大きなテキスト単位(例えば文)のスパース表現の学習において遅れを取っている。
我々は、上述した欠点に対処するために、大きなテキスト単位のスパース潜在表現を誘導するVAEを使用する。
まず,テキストに対する教師なし状態(sota)やその他の強力なvaeベースのスパース化ベースラインの成功を計測し,somaの安定性問題に対処する階層的スパースvaeモデルを提案する。
次に,3つのデータセットにわたるテキスト分類におけるスパース性の影響を考察し,下流タスクにおけるスパース潜在表現のパフォーマンスとタスク関連情報をエンコードする能力の関係を強調する。
関連論文リスト
- Disentangling Dense Embeddings with Sparse Autoencoders [0.0]
スパースオートエンコーダ(SAE)は、複雑なニューラルネットワークから解釈可能な特徴を抽出する可能性を示している。
大規模言語モデルからの高密度テキスト埋め込みに対するSAEの最初の応用の1つを提示する。
その結果,解釈可能性を提供しながら意味的忠実さを保っていることが明らかとなった。
論文 参考訳（メタデータ） (2024-08-01T15:46:22Z) - Empower Text-Attributed Graphs Learning with Large Language Models
(LLMs) [5.920353954082262]
本稿では,Large Language Models (LLMs) を用いたノード生成によるテキスト分散グラフの強化のためのプラグイン・アンド・プレイ手法を提案する。
エッジ予測器を用いて、生のデータセットに固有の構造情報をキャプチャし、新たに生成されたサンプルを元のグラフに統合する。
実験では、特に低ショットシナリオにおいて、提案したパラダイムの卓越した性能を示す。
論文 参考訳（メタデータ） (2023-10-15T16:04:28Z) - Harnessing Explanations: LLM-to-LM Interpreter for Enhanced
Text-Attributed Graph Representation Learning [51.90524745663737]
重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。
提案手法は、確立されたTAGデータセットの最先端結果を実現する。
本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
論文 参考訳（メタデータ） (2023-05-31T03:18:03Z) - Robust Saliency-Aware Distillation for Few-shot Fine-grained Visual
Recognition [57.08108545219043]
サンプルが少ない新しいサブカテゴリを認識することは、コンピュータビジョンにおいて不可欠で挑戦的な研究課題である。
既存の文献は、ローカルベースの表現アプローチを採用することでこの問題に対処している。
本稿では,ロバスト・サリエンシ・アウェア蒸留法(RSaD)を提案する。
論文 参考訳（メタデータ） (2023-05-12T00:13:17Z) - Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。
これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。
そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
論文 参考訳（メタデータ） (2021-09-24T07:20:13Z) - Be More with Less: Hypergraph Attention Networks for Inductive Text
Classification [56.98218530073927]
グラフニューラルネットワーク(GNN)は、研究コミュニティで注目され、この標準タスクで有望な結果を実証している。
成功にもかかわらず、それらのパフォーマンスは、単語間の高次相互作用をキャプチャできないため、実際は大部分が危険に晒される可能性がある。
本稿では,テキスト表現学習において,少ない計算量でより表現力の高いハイパーグラフアテンションネットワーク(HyperGAT)を提案する。
論文 参考訳（メタデータ） (2020-11-01T00:21:59Z) - Contextual Diversity for Active Learning [9.546771465714876]
大規模なデータセットは、多くの実用化のためにディープ畳み込みニューラルネットワーク(CNN)の使用を制限する。
空間的に共起するクラスに関連した混乱を捉える文脈的多様性の概念を導入する。
本研究は,活発な学習に文脈的多様性を用いることの利点を明らかにした。
論文 参考訳（メタデータ） (2020-08-13T07:04:15Z) - Robust and Interpretable Grounding of Spatial References with Relation
Networks [40.42540299023808]
自然言語による空間参照の表現を学習することは、自律的なナビゲーションやロボット操作といったタスクにおいて重要な課題である。
近年,空間概念のマルチモーダル表現を学習するための様々なニューラルアーキテクチャが研究されている。
我々は、頑健で解釈可能なテキストにおける空間参照を理解するための効果的なモデルを開発する。
論文 参考訳（メタデータ） (2020-05-02T04:11:33Z) - Probing Linguistic Features of Sentence-Level Representations in Neural
Relation Extraction [80.38130122127882]
ニューラルリレーション抽出(RE)に関連する言語特性を対象とした14の探索タスクを導入する。
私たちは、40以上の異なるエンコーダアーキテクチャと2つのデータセットでトレーニングされた言語的特徴の組み合わせによって学習された表現を研究するためにそれらを使用します。
アーキテクチャによって引き起こされるバイアスと言語的特徴の含意は、探索タスクのパフォーマンスにおいて明らかに表現されている。
論文 参考訳（メタデータ） (2020-04-17T09:17:40Z) - Hybrid Attention-Based Transformer Block Model for Distant Supervision
Relation Extraction [20.644215991166902]
DSREタスクを実行するために,マルチインスタンス学習を用いたハイブリッドアテンションベースのトランスフォーマーブロックを用いた新しいフレームワークを提案する。
提案手法は評価データセットの最先端アルゴリズムより優れている。
論文 参考訳（メタデータ） (2020-03-10T13:05:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。