論文の概要: Global dense vector representations for words or items using shared parameter alternating Tweedie model

• arxiv url: http://arxiv.org/abs/2501.00623v1
• Date: Tue, 31 Dec 2024 19:49:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 17:16:39.991398
• Title: Global dense vector representations for words or items using shared parameter alternating Tweedie model
• Title（参考訳）: 共有パラメータ交互Tweedieモデルを用いた単語や項目に対する大域的高密度ベクトル表現
• Authors: Taejoon Kim, Haiyan Wang,
• Abstract要約: 本稿では,オンラインショッピングプラットフォームにおけるユーザ・イテムやアイテム・イテムといった実践分野から得られた共起数データを分析するモデルを提案する。 データには、レコメンデーターシステムを開発するための重要な情報や、数字以外の情報源からの項目や単語の関連性を研究するための重要な情報が含まれている。
• 参考スコア（独自算出の注目度）: 9.104044534664672
• License:
• Abstract: In this article, we present a model for analyzing the cooccurrence count data derived from practical fields such as user-item or item-item data from online shopping platform, cooccurring word-word pairs in sequences of texts. Such data contain important information for developing recommender systems or studying relevance of items or words from non-numerical sources. Different from traditional regression models, there are no observations for covariates. Additionally, the cooccurrence matrix is typically of so high dimension that it does not fit into a computer's memory for modeling. We extract numerical data by defining windows of cooccurrence using weighted count on the continuous scale. Positive probability mass is allowed for zero observations. We present Shared parameter Alternating Tweedie (SA-Tweedie) model and an algorithm to estimate the parameters. We introduce a learning rate adjustment used along with the Fisher scoring method in the inner loop to help the algorithm stay on track of optimizing direction. Gradient descent with Adam update was also considered as an alternative method for the estimation. Simulation studies and an application showed that our algorithm with Fisher scoring and learning rate adjustment outperforms the other two methods. Pseudo-likelihood approach with alternating parameter update was also studied. Numerical studies showed that the pseudo-likelihood approach is not suitable in our shared parameter alternating regression models with unobserved covariates.
• Abstract（参考訳）: 本稿では,オンラインショッピングプラットフォームにおけるユーザ・イテムやアイテム・イテムといった実践分野から得られたコクレンスカウントデータを,テキストのシーケンスで共起するモデルを提案する。 このようなデータには、レコメンデータシステムの開発や、非数値的な情報源からの項目や単語の関連性を研究するための重要な情報が含まれている。 従来の回帰モデルとは異なり、共変量に対する観測は存在しない。 さらに、共起行列は一般に非常に高次元であるため、モデリングのためにコンピュータのメモリに収まらない。 連続スケールにおける重み付きカウントを用いた共起窓の定義により数値データを抽出する。 正の確率質量はゼロ観測に許される。 本稿では,共有パラメータの交互性(SA-Tweedie)モデルとパラメータを推定するアルゴリズムを提案する。 我々は,アルゴリズムが最適方向のトラックに留まるのを支援するために,内部ループでフィッシャースコア法と併用した学習率調整を導入する。 また,Adam更新による勾配降下を推定の代替方法として検討した。 シミュレーション研究と応用により,フィッシャーのスコアリングと学習率調整によるアルゴリズムは,他の2つの手法よりも優れていた。 Pseudo-likelihood approach with alternating parameter update。 数値実験により,観測されていない共変量を持つ回帰モデルの共有パラメータに擬似類似性アプローチは適さないことが示された。

関連論文リスト

• Branch and Bound to Assess Stability of Regression Coefficients in Uncertain Models [0.6990493129893112]
  提案アルゴリズムは,数学的な結果のサポート,サンプルアプリケーション,コンピュータコードへのリンクなどとともに導入する。 これは、研究者が高次元データを要約し、不確実なモデルにおける回帰係数の安定性を評価するのに役立つ。
  論文  参考訳（メタデータ） (2024-08-19T01:37:14Z)
• Online estimation methods for irregular autoregressive models [0.0]
  現在、この問題に対処するための方法として、いわゆるオンライン学習法では、現在のパラメータ推定と新しいデータを用いて推定値を更新している。 本研究では,時系列モデルの文脈におけるパラメータ推定のための3つのオンライン学習アルゴリズムについて考察する。
  論文  参考訳（メタデータ） (2023-01-31T19:52:04Z)
• What learning algorithm is in-context learning? Investigations with linear models [87.91612418166464]
  本稿では,トランスフォーマーに基づくインコンテキスト学習者が標準学習アルゴリズムを暗黙的に実装する仮説について検討する。 訓練された文脈内学習者は、勾配降下、隆起回帰、および正確な最小二乗回帰によって計算された予測値と密に一致していることを示す。 文脈内学習者がこれらの予測器とアルゴリズム的特徴を共有するという予備的証拠。
  論文  参考訳（メタデータ） (2022-11-28T18:59:51Z)
• Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
  カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。 本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2022-03-23T12:52:49Z)
• Learning Summary Statistics for Bayesian Inference with Autoencoders [58.720142291102135]
  我々は,ディープニューラルネットワークに基づくオートエンコーダの内部次元を要約統計として利用する。 パラメータ関連情報を全て符号化するエンコーダのインセンティブを作成するため,トレーニングデータの生成に使用した暗黙的情報にデコーダがアクセスできるようにする。
  論文  参考訳（メタデータ） (2022-01-28T12:00:31Z)
• Merging Models with Fisher-Weighted Averaging [24.698591753644077]
  我々は、複数のモデルを1つに“マージ”するモデル間で知識を伝達する、根本的に異なる方法を紹介します。 提案手法は,モデルのパラメータの重み付け平均を効果的に計算する。 マージ手順により、これまで探索されていなかった方法でモデルを組み合わせることが可能であることを示す。
  論文  参考訳（メタデータ） (2021-11-18T17:59:35Z)
• MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood Inference from Sampled Trajectories [61.3299263929289]
  シミュレーションベースの推論は、その可能性が実際に計算できない場合でもモデルのパラメータを学習することができる。 あるクラスのメソッドは、異なるパラメータでシミュレートされたデータを使用して、確率とエビデンス比の償却推定器を推定する。 モデルパラメータとシミュレーションデータ間の相互情報の観点から,本手法が定式化可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-03T12:59:16Z)
• Flexible Model Aggregation for Quantile Regression [92.63075261170302]
  量子回帰は、予測の不確実性を定量化する必要性によって動機付けられた統計学習の基本的な問題である。 条件付き量子モデルの任意の数を集約する手法について検討する。 この論文で検討するモデルはすべて、現代のディープラーニングツールキットに適合します。
  論文  参考訳（メタデータ） (2021-02-26T23:21:16Z)
• Adaptive Correlated Monte Carlo for Contextual Categorical Sequence Generation [77.7420231319632]
  我々は,モンテカルロ (MC) ロールアウトの集合を分散制御のために評価する政策勾配推定器に,カテゴリー列の文脈的生成を適用する。 また,二分木ソフトマックスモデルに相関したMCロールアウトを用いることで,大語彙シナリオにおける高生成コストを低減できることを示す。
  論文  参考訳（メタデータ） (2019-12-31T03:01:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。