論文の概要: Theoretically informed selection of latent activation in autoencoder based recommender systems

• arxiv url: http://arxiv.org/abs/2411.04315v1
• Date: Wed, 06 Nov 2024 23:39:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-08 19:38:06.216504
• Title: Theoretically informed selection of latent activation in autoencoder based recommender systems
• Title（参考訳）: オートエンコーダに基づくレコメンデータシステムにおける潜在活性化の理論的に誘導された選択
• Authors: Aviad Susman,
• Abstract要約: オートエンコーダは、より正確で計算効率のよいレコメンデーションシステムの設計に自らを貸すことができる。 この研究は、オートエンコーダのエンコーダがレコメンデーション精度を向上させるために示すべき3つの重要な数学的特性を特定する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Autoencoders may lend themselves to the design of more accurate and computationally efficient recommender systems by distilling sparse high-dimensional data into dense lower-dimensional latent representations. However, designing these systems remains challenging due to the lack of theoretical guidance. This work addresses this by identifying three key mathematical properties that the encoder in an autoencoder should exhibit to improve recommendation accuracy: (1) dimensionality reduction, (2) preservation of similarity ordering in dot product comparisons, and (3) preservation of non-zero vectors. Through theoretical analysis, we demonstrate that common activation functions, such as ReLU and tanh, cannot fulfill these properties jointly within a generalizable framework. In contrast, sigmoid-like activations emerge as suitable choices for latent activations. This theoretically informed approach offers a more systematic method for hyperparameter selection, enhancing the efficiency of model design.
• Abstract（参考訳）: オートエンコーダは、希少な高次元データを密度の低い低次元の潜在表現に蒸留することにより、より正確で計算効率の良いレコメンデーションシステムの設計に力を注ぐことができる。 しかし、理論的なガイダンスが欠如しているため、これらのシステムを設計することは依然として困難である。 本研究は,(1)次元減少,(2)ドット積比較における類似性順序の保存,(3)ゼロでないベクトルの保存という,自己エンコーダのエンコーダが推奨精度を向上させるために示す3つの重要な数学的特性を同定することによって,この問題に対処する。 理論的解析により、ReLU や tanh のような共通活性化関数は、一般化可能なフレームワーク内でこれらの特性を共同で満たすことができないことを示す。 対照的に、シグモイド様の活性化は潜伏活性化に適した選択として現れる。 この理論的に情報を得たアプローチは、より体系的なハイパーパラメータ選択法を提供し、モデル設計の効率を高める。

関連論文リスト

• Enabling Uncertainty Estimation in Iterative Neural Networks [49.56171792062104]
  本研究では,アンサンブルのような手法よりもはるかに低い計算コストで最先端の見積もりを提供する不確実性推定手法を開発する。 航空画像における道路検出と2次元および3次元形状の空力特性の推定という2つの応用領域に組み込むことで,その実用的価値を実証する。
  論文  参考訳（メタデータ） (2024-03-25T13:06:31Z)
• Refine, Discriminate and Align: Stealing Encoders via Sample-Wise Prototypes and Multi-Relational Extraction [57.16121098944589]
  RDAは、事前訓練されたエンコーダを盗むために、以前の取り組みで普及した2つの主要な欠陥に対処するために設計された先駆的なアプローチである。 これは、サンプルの様々な視点に対してターゲットエンコーダの表現を統一するサンプルワイドプロトタイプによって達成される。 より強力な有効性を得るために、我々はサロゲートエンコーダを訓練し、ミスマッチした埋め込み-プロトタイプペアを識別するマルチリレーショナル抽出損失を開発する。
  論文  参考訳（メタデータ） (2023-12-01T15:03:29Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Quick Dense Retrievers Consume KALE: Post Training Kullback Leibler Alignment of Embeddings for Asymmetrical dual encoders [89.29256833403169]
  我々は,高密度検索手法の推論効率を高めるための効率的かつ正確な手法であるKulback Leibler Alignment of Embeddings (KALE)を紹介した。 KALEは、バイエンコーダトレーニング後の従来の知識蒸留を拡張し、完全なリトレーニングやインデックス生成なしに効率的なクエリエンコーダ圧縮を可能にする。 KALEと非対称トレーニングを用いることで、3倍高速な推論を持つにもかかわらず、DistilBERTの性能を超えるモデルを生成することができる。
  論文  参考訳（メタデータ） (2023-03-31T15:44:13Z)
• EcoFormer: Energy-Saving Attention with Linear Complexity [40.002608785252164]
  Transformerはシーケンシャルデータをモデル化する変換フレームワークである。 本研究では,高次元ソフトマックスアテンションにカスタマイズした新しいバイナライゼーションパラダイムを提案する。 EcoFormerは、標準の注意を払って、一貫して同等のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2022-09-19T13:28:32Z)
• A Non-parametric Skill Representation with Soft Null Space Projectors for Fast Generalization [7.119677737397071]
  ヌル空間プロジェクタを含む非パラメトリック運動プリミティブを導出する。 このような定式化により,行列逆変換を伴わずに計算複雑性O(n2)で高速かつ効率的な運動生成が可能となることを示す。 高次元入力による実演技術については、オンザフライ適応も可能であることを示す。
  論文  参考訳（メタデータ） (2022-09-18T10:04:59Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• On the Regularization of Autoencoders [14.46779433267854]
  教師なし設定自体が、学習されたオートエンコーダのモデル容量の大幅な削減という、強い正規化を誘導することを示す。 深部非線形オートエンコーダは、両方のモデルが最終層に同じ次元を持つ場合、線形オートエンコーダよりも正確にトレーニングデータに適合できない。 3つのよく知られたデータセットに対する実験において、すべてのモデルランクに対して正確な近似であることを示す。
  論文  参考訳（メタデータ） (2021-10-21T18:28:25Z)
• Task Agnostic Metrics for Reservoir Computing [0.0]
  物理貯水池計算は、物理物質における時間的パターン認識を可能にする計算パラダイムである。 選択された力学系は、非線形性、複雑性、暗くなるメモリの3つの望ましい特性を持つ必要がある。 一般に, 減衰率の低いシステムは, 3つの評価指標すべてにおいて高い値に達することが示されている。
  論文  参考訳（メタデータ） (2021-08-03T13:58:11Z)
• Deep Variational Models for Collaborative Filtering-based Recommender Systems [63.995130144110156]
  ディープラーニングは、リコメンダシステムの結果を改善するために、正確な協調フィルタリングモデルを提供する。 提案するモデルは, 深層建築の潜伏空間において, 変分概念を注入性に適用する。 提案手法は, 入射雑音効果を超える変動エンリッチメントのシナリオにおいて, 提案手法の優位性を示す。
  論文  参考訳（メタデータ） (2021-07-27T08:59:39Z)
• Asymmetric Correlation Quantization Hashing for Cross-modal Retrieval [11.988383965639954]
  クロスモーダルハッシュ法は異種モダリティ間の類似性検索において広く注目を集めている。 本稿では,ACQH法について述べる。 また,不均一なモダリティデータポイントのプロジェクション行列を学習し,クエリを潜在意味空間内の低次元実数値ベクトルに変換する。 学習された実数値コードワードの連続でデータベースポイントを示すために、粗大な方法で埋め込みを積み重ねた合成量子化を構成する。
  論文  参考訳（メタデータ） (2020-01-14T04:53:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。