論文の概要: Non-negative matrix factorization algorithms generally improve topic model fits

• arxiv url: http://arxiv.org/abs/2105.13440v3
• Date: Wed, 02 Jul 2025 18:57:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-04 15:37:12.181887
• Title: Non-negative matrix factorization algorithms generally improve topic model fits
• Title（参考訳）: 非負行列分解アルゴリズムは一般にトピックモデル適合性を改善する
• Authors: Peter Carbonetto, Abhishek Sarkar, Zihao Wang, Matthew Stephens,
• Abstract要約: NMFはトピックモデルパラメータの"sum-to-one"制約を回避する。 まずNMF問題を解き、トピックモデルの適合性を回復することで、より優れた適合性が得られることを示す。
• 参考スコア（独自算出の注目度）: 11.290478808649661
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We report on the potential for using algorithms for non-negative matrix factorization (NMF) to improve parameter estimation in topic models. While several papers have studied connections between NMF and topic models, none have suggested leveraging these connections to develop new algorithms for fitting topic models. NMF avoids the "sum-to-one" constraints on the topic model parameters, resulting in an optimization problem with simpler structure and more efficient computations. Building on recent advances in optimization algorithms for NMF, we show that first solving the NMF problem then recovering the topic model fit can produce remarkably better fits, and in less time, than standard algorithms for topic models. While we focus primarily on maximum likelihood estimation, we show that this approach also has the potential to improve variational inference for topic models. Our methods are implemented in the R package fastTopics.
• Abstract（参考訳）: 非負行列因数分解(NMF)アルゴリズムを用いてトピックモデルにおけるパラメータ推定を改善する可能性について報告する。 いくつかの論文ではNMFとトピックモデル間の接続について研究しているが、これらの接続を活用してトピックモデルに適合する新しいアルゴリズムを開発することは提案されていない。 NMFはトピックモデルパラメータの「sum-to-one」制約を回避し、より単純な構造とより効率的な計算を伴う最適化問題をもたらす。 NMFの最適化アルゴリズムの最近の進歩に基づき、まずNMFの問題を解き、トピックモデルに適合する問題を解くことにより、トピックモデルに対する標準的なアルゴリズムよりもはるかに優れた適合性と、より少ない時間で得られることを示す。 我々は主に最大推定に焦点をあてるが、本手法は話題モデルの変分推論を改善する可能性も示している。 我々のメソッドはRパッケージfastTopicsに実装されています。

関連論文リスト

• FroM: Frobenius Norm-Based Data-Free Adaptive Model Merging [34.221780193608815]
  本稿では,RegMean法の改良について紹介する。この手法は学習データを間接的に利用して,統合前後の線形層の出力を近似する。 そこで本研究では,Frobeniusノルムを用いてモデルパラメータを直接計測するFroMという適応的なマージ手法を提案する。
  論文  参考訳（メタデータ） (2025-06-03T05:50:09Z)
• Training Deep Learning Models with Norm-Constrained LMOs [56.00317694850397]
  正規球上の線形最小化オラクル(LMO)を利用する最適化手法について検討する。 この問題の幾何学に適応するためにLMOを用いた新しいアルゴリズム群を提案し, 意外なことに, 制約のない問題に適用可能であることを示す。
  論文  参考訳（メタデータ） (2025-02-11T13:10:34Z)
• Towards a Fairer Non-negative Matrix Factorization [6.069820038869034]
  非負行列因子化(NMF)がデータ群の表現に偏りをもたらすかを検討する。 異なるグループに対する最大再構成損失を最小化するFairer-NMFという手法を提案する。
  論文  参考訳（メタデータ） (2024-11-14T23:34:38Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Iterative Improvement of an Additively Regularized Topic Model [0.0]
  本稿では,トピックモデルの反復的学習法を提案する。 いくつかの自然言語テキストの収集実験により、提案したITARモデルは、他の人気のあるトピックモデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2024-08-11T18:22:12Z)
• Functional Graphical Models: Structure Enables Offline Data-Driven Optimization [111.28605744661638]
  構造がサンプル効率のよいデータ駆動最適化を実現する方法を示す。 また、FGM構造自体を推定するデータ駆動最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-08T22:33:14Z)
• When to Update Your Model: Constrained Model-based Reinforcement Learning [50.74369835934703]
  モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。 続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。 さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
  論文  参考訳（メタデータ） (2022-10-15T17:57:43Z)
• Supervised Class-pairwise NMF for Data Representation and Classification [2.7320863258816512]
  非負行列分解(NMF)に基づく手法は、特定のタスクにモデルを適応させるためにコスト関数に新しい用語を追加する。 NMF法は、因子化行列を推定するための教師なしアプローチを採用する。
  論文  参考訳（メタデータ） (2022-09-28T04:33:03Z)
• Non-Negative Matrix Factorization with Scale Data Structure Preservation [23.31865419578237]
  本稿では,データ表現と次元縮小のために設計された非負行列分解法に属するモデルについて述べる。 この考え方は、NMFコスト関数に、元のデータポイントと変換されたデータポイントのペアの類似度行列のスケール関係を課すペナルティ項を追加することである。 提案したクラスタリングアルゴリズムは,既存のNMFベースのアルゴリズムや,実際のデータセットに適用した場合の多様体学習ベースのアルゴリズムと比較される。
  論文  参考訳（メタデータ） (2022-09-22T09:32:18Z)
• Neural Improvement Heuristics for Graph Combinatorial Optimization Problems [49.85111302670361]
  本稿では,ノード,エッジ,あるいはその両方に情報をエンコードするグラフベースの問題を扱う新しいニューラル改善(NI)モデルを提案する。 提案モデルは,各地区の操作の選択を誘導する丘登頂に基づくアルゴリズムの基本的な構成要素として機能する。
  論文  参考訳（メタデータ） (2022-06-01T10:35:29Z)
• Fast Feature Selection with Fairness Constraints [49.142308856826396]
  モデル構築における最適特徴の選択に関する基礎的問題について検討する。 この問題は、greedyアルゴリズムの変種を使用しても、大規模なデータセットで計算的に困難である。 適応クエリモデルは,最近提案された非モジュラー関数に対する直交整合探索のより高速なパラダイムに拡張する。 提案アルゴリズムは、適応型クエリモデルにおいて指数関数的に高速な並列実行を実現する。
  論文  参考訳（メタデータ） (2022-02-28T12:26:47Z)
• Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
  我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。 このアプローチは多くの実装と最適化の課題をもたらします。 提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
  論文  参考訳（メタデータ） (2021-03-18T14:26:26Z)
• Offline Model-Based Optimization via Normalized Maximum Likelihood Estimation [101.22379613810881]
  データ駆動最適化の問題を検討し、一定の点セットでクエリのみを与えられた関数を最大化する必要がある。 この問題は、関数評価が複雑で高価なプロセスである多くの領域に現れる。 我々は,提案手法を高容量ニューラルネットワークモデルに拡張可能なトラクタブル近似を提案する。
  論文  参考訳（メタデータ） (2021-02-16T06:04:27Z)
• Positive Semidefinite Matrix Factorization: A Connection with Phase Retrieval and Affine Rank Minimization [71.57324258813674]
  位相探索(PR)とアフィンランク最小化(ARM)アルゴリズムに基づいてPSDMFアルゴリズムを設計可能であることを示す。 このアイデアに触発され、反復的ハードしきい値(IHT)に基づくPSDMFアルゴリズムの新たなファミリーを導入する。
  論文  参考訳（メタデータ） (2020-07-24T06:10:19Z)
• MATE: A Model-based Algorithm Tuning Engine [2.4693304175649304]
  モデルに基づくアルゴリズム変換エンジン、すなわちMATEを導入し、アルゴリズムのパラメータを目標最適化問題の特徴の表現として表現する。 パラメータと問題の特徴の関係を象徴的回帰問題として求める問題を定式化し,遺伝子プログラミングを用いてこれらの表現を抽出する。 本評価では,OneMax,LeadingOnes,BinValue,Jumpの最適化問題に対して,(1+1) EAおよびRSSアルゴリズムの構成に適用する。
  論文  参考訳（メタデータ） (2020-04-27T12:50:48Z)
• Uncertainty Modelling in Risk-averse Supply Chain Systems Using Multi-objective Pareto Optimization [0.0]
  サプライチェーンモデリングにおける困難なタスクの1つは、不規則な変動に対して堅牢なモデルを構築することである。 我々は、不確実性を扱うためのパレート最適化(Pareto Optimization)という新しい手法を導入し、これらの不確実性のエントロピーをアプリオリ仮定の下で明示的にモデル化することで拘束する。
  論文  参考訳（メタデータ） (2020-04-24T21:04:25Z)
• Expected Information Maximization: Using the I-Projection for Mixture Density Estimation [22.096148237257644]
  高度にマルチモーダルなデータのモデリングは、機械学習において難しい問題である。 我々は,予測情報最大化(EIM)と呼ばれる新しいアルゴリズムを提案する。 我々のアルゴリズムは最近のGANアプローチよりもI射影の計算に効果的であることを示す。
  論文  参考訳（メタデータ） (2020-01-23T17:24:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。