論文の概要: On the Latent Holes of VAEs for Text Generation

• arxiv url: http://arxiv.org/abs/2110.03318v1
• Date: Thu, 7 Oct 2021 10:22:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-08 16:14:23.957177
• Title: On the Latent Holes of VAEs for Text Generation
• Title（参考訳）: テキスト生成のためのvaesの潜在穴について
• Authors: Ruizhe Li, Xutan Peng, Chenghua Lin
• Abstract要約: 変分オートエンコーダ(VAE)の潜伏空間における不連続性(いわゆる穴)に関する最初の研究について述べる。 潜在穴同定のための高効率なツリーベースデコーダ・セントリ (TDC) アルゴリズムを提案する。 また, 潜水孔現象の詳細な実験解析も行った。
• 参考スコア（独自算出の注目度）: 6.759291241573663
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we provide the first focused study on the discontinuities (aka. holes) in the latent space of Variational Auto-Encoders (VAEs), a phenomenon which has been shown to have a detrimental effect on model capacity. When investigating latent holes, existing works are exclusively centred around the encoder network and they merely explore the existence of holes. We tackle these limitations by proposing a highly efficient Tree-based Decoder-Centric (TDC) algorithm for latent hole identification, with a focal point on the text domain. In contrast to past studies, our approach pays attention to the decoder network, as a decoder has a direct impact on the model's output quality. Furthermore, we provide, for the first time, in-depth empirical analysis of the latent hole phenomenon, investigating several important aspects such as how the holes impact VAE algorithms' performance on text generation, and how the holes are distributed in the latent space.
• Abstract（参考訳）: 本稿では,モデルのキャパシティに不利な影響を及ぼす現象である変分オートエンコーダ(vaes)の潜在空間における不連続性(いわゆるホール)について,最初に焦点を絞った研究を行う。 潜穴を調査する際、既存の作品はエンコーダネットワークを中心に構成され、単に穴の存在を探索するだけである。 我々は,テキスト領域に焦点をあてた潜在穴同定のための高効率なツリーベースデコーダ・セントリクス(TDC)アルゴリズムを提案することにより,これらの制約に対処する。 過去の研究とは対照的に,デコーダはモデルの出力品質に直接影響を与えるため,提案手法はデコーダネットワークに注意を払っている。 さらに, 潜在ホール現象の深い実験的解析を行い, テキスト生成におけるvaeアルゴリズムの性能に与える影響, 潜在ホールが潜在空間にどのように分布するかなど, いくつかの重要な側面について検討した。

関連論文リスト

• SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
  大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。 本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
  論文  参考訳（メタデータ） (2024-07-23T20:34:23Z)
• Targeted Visualization of the Backbone of Encoder LLMs [46.453758431767724]
  注意に基づく大規模言語モデル(LLMs)は、自然言語処理(NLP)における最先端技術である。 エンコーダモデルの成功にもかかわらず、私たちはこの作業に集中していますが、バイアスの問題や敵の攻撃に対する感受性など、いくつかのリスクも抱えています。 決定関数の一部を2次元のデータセットとともに視覚化するDeepViewのNLPドメインへの応用について検討する。
  論文  参考訳（メタデータ） (2024-03-26T12:51:02Z)
• Small Object Detection via Coarse-to-fine Proposal Generation and Imitation Learning [52.06176253457522]
  本稿では,粗粒度パイプラインと特徴模倣学習に基づく小型物体検出に適した2段階フレームワークを提案する。 CFINetは、大規模な小さなオブジェクト検出ベンチマークであるSODA-DとSODA-Aで最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-08-18T13:13:09Z)
• Vacant Holes for Unsupervised Detection of the Outliers in Compact Latent Representation [0.6091702876917279]
  現実世界にデプロイされ、運用される機械学習モデルにとって、アウトレーヤの検出は重要なものだ。 本研究では,これらのモデルの特定のタイプに焦点をあてる: 変分オートエンコーダ(VAE)。
  論文  参考訳（メタデータ） (2023-06-16T06:21:48Z)
• Controlling Posterior Collapse by an Inverse Lipschitz Constraint on the Decoder Network [37.43129242269175]
  変分オートエンコーダ(VAE)は、過去数十年にわたって大きな成功を収めてきた深層生成モデルの1つである。 VAEは後部崩壊と呼ばれる問題に悩まされ、エンコーダが故障した時に発生する。 逆リプシッツニューラルネットワークをデコーダに導入し、このアーキテクチャに基づいて、後方崩壊の度合いをシンプルで明確な方法で制御できる新しい方法を提案する。
  論文  参考訳（メタデータ） (2023-04-25T12:45:06Z)
• Threatening Patch Attacks on Object Detection in Optical Remote Sensing Images [55.09446477517365]
  自然画像における物体検出における高度なパッチアタック(PA)は、ディープニューラルネットワークに基づく手法における大きな安全性の脆弱性を指摘した。 我々は,TPAと呼ばれる視覚的品質の低下を伴わない,より危険度の高いPAを提案する。 我々の知る限りでは、これがO-RSIにおけるオブジェクト検出におけるPAの研究の最初の試みであり、この研究が読者にこのトピックの研究に興味を持たせることを願っている。
  論文  参考訳（メタデータ） (2023-02-13T02:35:49Z)
• Scene Text Recognition with Single-Point Decoding Network [15.905602374217962]
  そこで本稿では,シーンテキスト認識のための効率的な注目のないシングルポイントデコーディングネットワーク(SPDN)を提案する。 提案手法は,各文字のキーポイントを正確に検出するだけでなく,冗長な計算も除去する。
  論文  参考訳（メタデータ） (2022-09-05T11:43:13Z)
• Anchor-free Oriented Proposal Generator for Object Detection [59.54125119453818]
  オブジェクト指向物体検出はリモートセンシング画像解釈において実用的で困難な課題である。 今日では、指向性検出器は主に水平方向の箱を中間体として使用し、それらから指向性のある箱を導出している。 本稿では,ネットワークアーキテクチャから水平ボックス関連操作を放棄する,AOPG(Anchor-free Oriented Proposal Generator)を提案する。
  論文  参考訳（メタデータ） (2021-10-05T10:45:51Z)
• Triggering Failures: Out-Of-Distribution detection by learning from local adversarial attacks in Semantic Segmentation [76.2621758731288]
  セグメンテーションにおけるアウト・オブ・ディストリビューション(OOD)オブジェクトの検出に取り組む。 私たちの主な貢献は、ObsNetと呼ばれる新しいOOD検出アーキテクチャであり、ローカル・アタック(LAA)に基づく専用トレーニングスキームと関連付けられています。 3つの異なるデータセットの文献の最近の10つの手法と比較して,速度と精度の両面で最高の性能が得られることを示す。
  論文  参考訳（メタデータ） (2021-08-03T17:09:56Z)
• Suppress and Balance: A Simple Gated Network for Salient Object Detection [89.88222217065858]
  両問題を同時に解くための単純なゲートネットワーク(GateNet)を提案する。 多レベルゲートユニットの助けを借りて、エンコーダからの貴重なコンテキスト情報をデコーダに最適に送信することができる。 さらに,提案したFold-ASPP操作(Fold-ASPP)に基づくアトラス空間ピラミッドプーリングを用いて,様々なスケールのサリアンオブジェクトを正確に位置決めする。
  論文  参考訳（メタデータ） (2020-07-16T02:00:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。