論文の概要: AriEL: volume coding for sentence generation

• arxiv url: http://arxiv.org/abs/2003.13600v2
• Date: Tue, 21 Apr 2020 14:06:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-18 06:31:37.961490
• Title: AriEL: volume coding for sentence generation
• Title（参考訳）: AriEL:文生成のためのボリュームコーディング
• Authors: Luca Celotti, Simon Brodeur, Jean Rouat
• Abstract要約: 連続空間を均一にサンプリングすることで文を生成する深層学習における標準手法の性能を向上させる。 我々は、損失関数によるボリュームの生成を奨励することなく、連続した空間でボリュームを構成するAriELを提案する。 以上の結果から,記憶されている情報へのランダムなアクセスが劇的に改善され,AriELが潜在空間をランダムにサンプリングすることで,より広い範囲の正しい言語を生成できることが示唆された。
• 参考スコア（独自算出の注目度）: 5.972927416266617
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mapping sequences of discrete data to a point in a continuous space makes it difficult to retrieve those sequences via random sampling. Mapping the input to a volume would make it easier to retrieve at test time, and that's the strategy followed by the family of approaches based on Variational Autoencoder. However the fact that they are at the same time optimizing for prediction and for smoothness of representation, forces them to trade-off between the two. We improve on the performance of some of the standard methods in deep learning to generate sentences by uniformly sampling a continuous space. We do it by proposing AriEL, that constructs volumes in a continuous space, without the need of encouraging the creation of volumes through the loss function. We first benchmark on a toy grammar, that allows to automatically evaluate the language learned and generated by the models. Then, we benchmark on a real dataset of human dialogues. Our results indicate that the random access to the stored information is dramatically improved, and our method AriEL is able to generate a wider variety of correct language by randomly sampling the latent space. VAE follows in performance for the toy dataset while, AE and Transformer follow for the real dataset. This partially supports to the hypothesis that encoding information into volumes instead of into points, can lead to improved retrieval of learned information with random sampling. This can lead to better generators and we also discuss potential disadvantages.
• Abstract（参考訳）: 離散データのシーケンスを連続空間のある点にマッピングすることは、ランダムサンプリングによってこれらのシーケンスを検索することを難しくする。 入力をボリュームにマッピングすることで、テスト時の検索が容易になります。 しかし、それらが同時に予測と表現の滑らかさを最適化しているという事実から、両者のトレードオフを余儀なくされる。 連続空間を均一にサンプリングすることで文を生成する深層学習における標準手法の性能を向上させる。 我々は、損失関数によるボリュームの生成を奨励することなく、連続した空間でボリュームを構成するAriELを提案する。 モデルによって学習および生成された言語を自動的に評価できるおもちゃ文法を最初にベンチマークした。 そして、人間の対話の実際のデータセットをベンチマークする。 その結果,記憶された情報に対するランダムアクセスが劇的に改善され,潜在空間をランダムにサンプリングすることで,より多様な正しい言語を生成できることがわかった。 vaeはtoyデータセットのパフォーマンスに続き、aeとtransformerは実際のデータセットに続きます。 これは、情報を点ではなくボリュームに符号化することで、ランダムサンプリングによる学習情報の検索を改善するという仮説を部分的に支持している。 これはジェネレータの改善につながる可能性があり、潜在的な欠点も議論する。

関連論文リスト

• RegaVAE: A Retrieval-Augmented Gaussian Mixture Variational Auto-Encoder for Language Modeling [79.56442336234221]
  可変オートエンコーダ(VAE)に基づく検索拡張言語モデルであるRegaVAEを紹介する。 テキストコーパスを潜在空間にエンコードし、ソースとターゲットの両方のテキストから現在と将来の情報をキャプチャする。 各種データセットに対する実験結果から,テキスト生成品質と幻覚除去の大幅な改善が示された。
  論文  参考訳（メタデータ） (2023-10-16T16:42:01Z)
• Optimizing Factual Accuracy in Text Generation through Dynamic Knowledge Selection [71.20871905457174]
  言語モデル(LM)は、私たちが情報と対話する方法に革命をもたらしたが、しばしば非現実的なテキストを生成する。 従来の手法では、外部知識をテキスト生成の参照として使用して事実性を高めるが、無関係な参照の知識の混在に苦慮することが多い。 本稿では,テキスト生成プロセスを反復処理に分割するDKGenを提案する。
  論文  参考訳（メタデータ） (2023-08-30T02:22:40Z)
• MomentDiff: Generative Video Moment Retrieval from Random to Real [71.40038773943638]
  私たちは、MomentDiffという拡散に基づく生成フレームワークを提供しています。 MomentDiffは、ランダムなブラウジングから段階的なローカライゼーションまで、典型的な人間の検索プロセスをシミュレートする。 MomentDiffは3つの公開ベンチマークで最先端の手法を一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2023-07-06T09:12:13Z)
• Improving the Robustness of Summarization Systems with Dual Augmentation [68.53139002203118]
  頑健な要約システムは、入力中の特定の単語の選択やノイズに関わらず、文書のギストをキャプチャできるべきである。 まず,単語レベルの同義語置換や雑音を含む摂動に対する要約モデルの頑健性について検討する。 SummAttackerを提案する。これは言語モデルに基づく対数サンプルを生成するための効率的な手法である。
  論文  参考訳（メタデータ） (2023-06-01T19:04:17Z)
• Separating Grains from the Chaff: Using Data Filtering to Improve Multilingual Translation for Low-Resourced African Languages [0.6947064688250465]
  本稿では,文対分類器を用いて与えられた雑音データをフィルタリングする手法について述べる。 2つの共通のデータセットから評価することで、我々のアプローチを実証的に検証し、データフィルタリングが全体的な翻訳品質を改善することを示す。
  論文  参考訳（メタデータ） (2022-10-19T16:12:27Z)
• Learning to Drop Out: An Adversarial Approach to Training Sequence VAEs [16.968490007064872]
  シーケンシャルデータに可変オートエンコーダ(VAE)を適用することで、シーケンス生成、操作、構造化表現学習を制御する方法が提供される。 理論的には、これは遅延空間を利用して補償されるデコーダ入力によって提供されるポイントワイドな相互情報を除去することを示す。 標準テキストベンチマークデータセットの均一なドロップアウトと比較して、我々のターゲットとなるアプローチは、シーケンス性能と潜時空間でキャプチャされた情報の両方を増大させる。
  論文  参考訳（メタデータ） (2022-09-26T11:21:19Z)
• Learning to Ask Conversational Questions by Optimizing Levenshtein Distance [83.53855889592734]
  明示的な編集動作によって最小レベンシュテイン距離(MLD)を最適化する強化反復シーケンス編集(RISE)フレームワークを導入する。 RISEは会話の特徴に関連するトークンに注意を払うことができる。 2つのベンチマークデータセットの実験結果から、RISEは最先端の手法を大幅に上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-30T08:44:19Z)
• Representation Learning for Sequence Data with Deep Autoencoding Predictive Components [96.42805872177067]
  本稿では,シーケンスデータの有用な表現が潜在空間における単純な構造を示すべきという直感に基づく,シーケンスデータの自己教師型表現学習法を提案する。 我々は,過去と将来のウィンドウ間の相互情報である潜在特徴系列の予測情報を最大化することにより,この潜時構造を奨励する。 提案手法は,ノイズの多い動的システムの潜時空間を復元し,タスク予測のための予測特徴を抽出し,エンコーダを大量の未ラベルデータで事前訓練する場合に音声認識を改善する。
  論文  参考訳（メタデータ） (2020-10-07T03:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。