論文の概要: Vector Embeddings with Subvector Permutation Invariance using a Triplet Enhanced Autoencoder

• arxiv url: http://arxiv.org/abs/2011.09550v1
• Date: Wed, 18 Nov 2020 21:24:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-24 04:48:15.715199
• Title: Vector Embeddings with Subvector Permutation Invariance using a Triplet Enhanced Autoencoder
• Title（参考訳）: Triplet強化オートエンコーダを用いたベクトル置換不変ベクトル埋め込み
• Authors: Mark Alan Matties
• Abstract要約: 本稿では,三重項損失に強化されたオートエンコーダを用いて,構成部分ベクトルの置換によって関連付けられたベクトルのクラスタリングを促進する。 次に、これらの不変な埋め込みを、分類やクラスタリングなどの他の問題への入力として使用し、それらの問題における検出精度を向上させる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The use of deep neural network (DNN) autoencoders (AEs) has recently exploded due to their wide applicability. However, the embedding representation produced by a standard DNN AE that is trained to minimize only the reconstruction error does not always reveal more subtle patterns in the data. Sometimes, the autoencoder needs further direction in the form of one or more additional loss functions. In this paper, we use an autoencoder enhanced with triplet loss to promote the clustering of vectors that are related through permutations of constituent subvectors. With this approach, we can create an embedding of the vector that is nearly invariant to such permutations. We can then use these invariant embeddings as inputs to other problems, like classification and clustering, and improve detection accuracy in those problems.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)オートエンコーダ(AE)の使用は、その広範な適用性のために最近爆発的に増加した。 しかし、再構成エラーだけを最小限に抑えるために訓練された標準DNN AEによって生成された埋め込み表現は、必ずしもデータのより微妙なパターンを明らかにするとは限らない。 時には、オートエンコーダは1つ以上の損失関数の形でさらなる方向を必要とする。 本稿では,三重項損失により拡張されたオートエンコーダを用いて,構成部分ベクトルの置換によって関連するベクトルのクラスタリングを促進する。 このアプローチにより、そのような置換にほぼ不変なベクトルの埋め込みを作成することができる。 そして、これらの不変埋め込みを分類やクラスタリングなどの他の問題へのインプットとして使用し、それらの問題の検出精度を向上させることができる。

関連論文リスト

• Restructuring Vector Quantization with the Rotation Trick [36.03697966463205]
  ベクトル量子化変分オートエンコーダ(VQ-VAE)は、連続的な入力を離散潜在空間に圧縮し、最小限の歪みで再構成するように設計されている。 ベクトル量子化は微分不可能であるため、エンコーダへの勾配はベクトル量子化層を通り抜けるのではなく、直線的な近似で流れる。 本稿では,VQ-VAEのベクトル量子化層を通じて勾配を伝搬する方法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T23:39:34Z)
• Breaking the Attention Bottleneck [0.0]
  本稿では,注意やアクティベーションの代替として生成機能を開発する。 それぞれのトークンと前のトークンを比較することで、自動回帰文字を持つ。 注意の置き換えという概念は、https://gitlab.com/Bachstelzecausal_generationでAGPL v3ライセンスの下で配布されている。
  論文  参考訳（メタデータ） (2024-06-16T12:06:58Z)
• Rank Reduction Autoencoders -- Enhancing interpolation on nonlinear manifolds [3.180674374101366]
  Rank Reduction Autoencoder (RRAE) は、拡張された潜在空間を持つオートエンコーダである。 2つの定式化(強式と弱式)が提示され、潜在空間を正確に表現する還元基底が構築される。 タスクに使用し、結果を他のオートエンコーダと比較することにより、この定式化の効率性を示す。
  論文  参考訳（メタデータ） (2024-05-22T20:33:09Z)
• GEC-DePenD: Non-Autoregressive Grammatical Error Correction with Decoupled Permutation and Decoding [52.14832976759585]
  文法的誤り訂正(GEC)は、通常自己回帰的なシーケンス・ツー・シーケンスモデルで解決される重要なNLPタスクである。 本稿では, アーキテクチャを置換ネットワークに分離する, GEC に対する非自己回帰的アプローチを提案する。 GECの既知の非自己回帰手法よりもネットワークが向上することを示す。
  論文  参考訳（メタデータ） (2023-11-14T14:24:36Z)
• CORE: Common Random Reconstruction for Distributed Optimization with Provable Low Communication Complexity [110.50364486645852]
  コミュニケーションの複雑さは、トレーニングをスピードアップし、マシン番号をスケールアップする上で、大きなボトルネックになっています。 本稿では,機械間で送信される情報を圧縮するための共通Om REOmを提案する。
  論文  参考訳（メタデータ） (2023-09-23T08:45:27Z)
• Permutation-Invariant Set Autoencoders with Fixed-Size Embeddings for Multi-Agent Learning [7.22614468437919]
  置換不変集合オートエンコーダ(PISA)を導入する。 PISAは、既存のベースラインよりも大幅に低い再構成誤差でエンコードを生成する。 マルチエージェントアプリケーションでその有用性を示す。
  論文  参考訳（メタデータ） (2023-02-24T18:59:13Z)
• Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration [77.99182201815763]
  変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。 そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。 本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
  論文  参考訳（メタデータ） (2022-02-08T16:16:11Z)
• Metalearning: Sparse Variable-Structure Automata [0.0]
  本研究では,動的スパース符号ベクトルをフライ時に使用する基底ベクトルの数を増やすメタラーニング手法を提案する。 アクター批判アルゴリズムが展開され、必要な精度のレベルに関する特徴の適切な寸法を自動的に選択する。
  論文  参考訳（メタデータ） (2021-01-30T21:32:23Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)
• RE-MIMO: Recurrent and Permutation Equivariant Neural MIMO Detection [85.44877328116881]
  無線通信システムにおけるシンボル検出のための新しいニューラルネットワークを提案する。 無線通信システムにおけるいくつかの重要な考察に動機付けられている。 その性能を既存手法と比較し,ネットワークが可変数の送信機を効率的に処理できることを示す。
  論文  参考訳（メタデータ） (2020-06-30T22:43:01Z)
• DHP: Differentiable Meta Pruning via HyperNetworks [158.69345612783198]
  本稿では,ネットワークの自動プルーニングのためのハイパーネットによる識別可能なプルーニング手法を提案する。 遅延ベクトルは、バックボーンネットワーク内の畳み込み層の出力チャネルを制御し、レイヤのプルーニングのハンドルとして機能する。 画像分類、単一画像超解像、復調のための様々なネットワークで実験が行われた。
  論文  参考訳（メタデータ） (2020-03-30T17:59:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。