論文の概要: Theoretically informed selection of latent activation in autoencoder based recommender systems

• arxiv url: http://arxiv.org/abs/2411.04315v1
• Date: Wed, 06 Nov 2024 23:39:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-08 19:38:06.216504
• Title: Theoretically informed selection of latent activation in autoencoder based recommender systems
• Title（参考訳）: オートエンコーダに基づくレコメンデータシステムにおける潜在活性化の理論的に誘導された選択
• Authors: Aviad Susman,
• Abstract要約: オートエンコーダは、より正確で計算効率のよいレコメンデーションシステムの設計に自らを貸すことができる。 この研究は、オートエンコーダのエンコーダがレコメンデーション精度を向上させるために示すべき3つの重要な数学的特性を特定する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Autoencoders may lend themselves to the design of more accurate and computationally efficient recommender systems by distilling sparse high-dimensional data into dense lower-dimensional latent representations. However, designing these systems remains challenging due to the lack of theoretical guidance. This work addresses this by identifying three key mathematical properties that the encoder in an autoencoder should exhibit to improve recommendation accuracy: (1) dimensionality reduction, (2) preservation of similarity ordering in dot product comparisons, and (3) preservation of non-zero vectors. Through theoretical analysis, we demonstrate that common activation functions, such as ReLU and tanh, cannot fulfill these properties jointly within a generalizable framework. In contrast, sigmoid-like activations emerge as suitable choices for latent activations. This theoretically informed approach offers a more systematic method for hyperparameter selection, enhancing the efficiency of model design.
• Abstract（参考訳）: オートエンコーダは、希少な高次元データを密度の低い低次元の潜在表現に蒸留することにより、より正確で計算効率の良いレコメンデーションシステムの設計に力を注ぐことができる。 しかし、理論的なガイダンスが欠如しているため、これらのシステムを設計することは依然として困難である。 本研究は,(1)次元減少,(2)ドット積比較における類似性順序の保存,(3)ゼロでないベクトルの保存という,自己エンコーダのエンコーダが推奨精度を向上させるために示す3つの重要な数学的特性を同定することによって,この問題に対処する。 理論的解析により、ReLU や tanh のような共通活性化関数は、一般化可能なフレームワーク内でこれらの特性を共同で満たすことができないことを示す。 対照的に、シグモイド様の活性化は潜伏活性化に適した選択として現れる。 この理論的に情報を得たアプローチは、より体系的なハイパーパラメータ選択法を提供し、モデル設計の効率を高める。

関連論文リスト

• Synergistic Development of Perovskite Memristors and Algorithms for Robust Analog Computing [53.77822620185878]
  本稿では,ペロブスカイト・メムリスタの製作を同時に最適化し,ロバストなアナログDNNを開発するための相乗的手法を提案する。 BO誘導ノイズインジェクションを利用したトレーニング戦略であるBayesMultiを開発した。 我々の統合されたアプローチは、より深くより広いネットワークでのアナログコンピューティングの使用を可能にし、最大100倍の改善を実現します。
  論文  参考訳（メタデータ） (2024-12-03T19:20:08Z)
• Enabling Uncertainty Estimation in Iterative Neural Networks [49.56171792062104]
  本研究では,アンサンブルのような手法よりもはるかに低い計算コストで最先端の見積もりを提供する不確実性推定手法を開発する。 航空画像における道路検出と2次元および3次元形状の空力特性の推定という2つの応用領域に組み込むことで,その実用的価値を実証する。
  論文  参考訳（メタデータ） (2024-03-25T13:06:31Z)
• Refine, Discriminate and Align: Stealing Encoders via Sample-Wise Prototypes and Multi-Relational Extraction [57.16121098944589]
  RDAは、事前訓練されたエンコーダを盗むために、以前の取り組みで普及した2つの主要な欠陥に対処するために設計された先駆的なアプローチである。 これは、サンプルの様々な視点に対してターゲットエンコーダの表現を統一するサンプルワイドプロトタイプによって達成される。 より強力な有効性を得るために、我々はサロゲートエンコーダを訓練し、ミスマッチした埋め込み-プロトタイプペアを識別するマルチリレーショナル抽出損失を開発する。
  論文  参考訳（メタデータ） (2023-12-01T15:03:29Z)
• Enhancing Low-Order Discontinuous Galerkin Methods with Neural Ordinary Differential Equations for Compressible Navier--Stokes Equations [0.1578515540930834]
  圧縮可能なNavier-Stokes方程式を解くためのエンドツーエンドの微分可能なフレームワークを提案する。 この統合アプローチは、微分可能不連続なガレルキン解法とニューラルネットワークのソース項を組み合わせる。 提案するフレームワークの性能を2つの例で示す。
  論文  参考訳（メタデータ） (2023-10-29T04:26:23Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Quick Dense Retrievers Consume KALE: Post Training Kullback Leibler Alignment of Embeddings for Asymmetrical dual encoders [89.29256833403169]
  我々は,高密度検索手法の推論効率を高めるための効率的かつ正確な手法であるKulback Leibler Alignment of Embeddings (KALE)を紹介した。 KALEは、バイエンコーダトレーニング後の従来の知識蒸留を拡張し、完全なリトレーニングやインデックス生成なしに効率的なクエリエンコーダ圧縮を可能にする。 KALEと非対称トレーニングを用いることで、3倍高速な推論を持つにもかかわらず、DistilBERTの性能を超えるモデルを生成することができる。
  論文  参考訳（メタデータ） (2023-03-31T15:44:13Z)
• EcoFormer: Energy-Saving Attention with Linear Complexity [40.002608785252164]
  Transformerはシーケンシャルデータをモデル化する変換フレームワークである。 本研究では,高次元ソフトマックスアテンションにカスタマイズした新しいバイナライゼーションパラダイムを提案する。 EcoFormerは、標準の注意を払って、一貫して同等のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2022-09-19T13:28:32Z)
• A Non-parametric Skill Representation with Soft Null Space Projectors for Fast Generalization [7.119677737397071]
  ヌル空間プロジェクタを含む非パラメトリック運動プリミティブを導出する。 このような定式化により,行列逆変換を伴わずに計算複雑性O(n2)で高速かつ効率的な運動生成が可能となることを示す。 高次元入力による実演技術については、オンザフライ適応も可能であることを示す。
  論文  参考訳（メタデータ） (2022-09-18T10:04:59Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• On the Regularization of Autoencoders [14.46779433267854]
  教師なし設定自体が、学習されたオートエンコーダのモデル容量の大幅な削減という、強い正規化を誘導することを示す。 深部非線形オートエンコーダは、両方のモデルが最終層に同じ次元を持つ場合、線形オートエンコーダよりも正確にトレーニングデータに適合できない。 3つのよく知られたデータセットに対する実験において、すべてのモデルランクに対して正確な近似であることを示す。
  論文  参考訳（メタデータ） (2021-10-21T18:28:25Z)
• Task Agnostic Metrics for Reservoir Computing [0.0]
  物理貯水池計算は、物理物質における時間的パターン認識を可能にする計算パラダイムである。 選択された力学系は、非線形性、複雑性、暗くなるメモリの3つの望ましい特性を持つ必要がある。 一般に, 減衰率の低いシステムは, 3つの評価指標すべてにおいて高い値に達することが示されている。
  論文  参考訳（メタデータ） (2021-08-03T13:58:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。