論文の概要: Useful Compact Representations for Data-Fitting

• arxiv url: http://arxiv.org/abs/2403.12206v1
• Date: Mon, 18 Mar 2024 19:43:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 18:12:11.334222
• Title: Useful Compact Representations for Data-Fitting
• Title（参考訳）: データフィッティングに有用なコンパクト表現
• Authors: Johannes J. Brust,
• Abstract要約: 我々はベクトルの選択によってパラメータ化される新しいコンパクト表現を開発し、特別な選択のために既存のよく知られた公式に還元する。 本研究では, 大規模固有値計算, テンソル因子分解, 非線形回帰に対するコンパクト表現の有効性を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: For minimization problems without 2nd derivative information, methods that estimate Hessian ma- trices can be very effective. However, conventional techniques generate dense matrices that are prohibitive for large problems. Limited-memory compact representations express the dense arrays in terms of a low rank representation and have become the state-of-the-art for software implementations on large deterministic problems. We develop new compact representations that are parameterized by a choice of vectors and that reduce to existing well known formulas for special choices. We demonstrate effectiveness of the compact representations for large eigenvalue computations, tensor factorizations and nonlinear regressions.
• Abstract（参考訳）: 第2の微分情報を持たない最小化問題に対して、ヘッセンマトリスを推定する手法は非常に効果的である。 しかし、従来の手法では、大きな問題に対して禁忌な高密度な行列が生成される。 限定メモリのコンパクト表現は、低ランクの表現の観点から密度の強い配列を表現し、大規模な決定論的問題に対するソフトウェア実装の最先端技術となっている。 我々はベクトルの選択によってパラメータ化される新しいコンパクト表現を開発し、特別な選択のために既存のよく知られた公式に還元する。 本研究では, 大規模固有値計算, テンソル因子分解, 非線形回帰に対するコンパクト表現の有効性を示す。

関連論文リスト

• Structured Regularization for Constrained Optimization on the SPD Manifold [1.1126342180866644]
  対称ゲージ関数に基づく構造化正規化器のクラスを導入し、より高速な非制約手法でSPD多様体上の制約付き最適化を解けるようにする。 構造正規化器は望ましい構造(特に凸性や凸の差)を保存または誘導するために選択できることを示す。
  論文  参考訳（メタデータ） (2024-10-12T22:11:22Z)
• Feature selection in linear SVMs via hard cardinality constraint: a scalable SDP decomposition approach [3.7876216422538485]
  線形支援ベクトルマシン(SVM)における組込み特徴選択問題について検討する。 濃度制約が適用され、完全に説明可能な選択モデルが導かれる。 問題は、濃度制約が存在するためNPハードである。
  論文  参考訳（メタデータ） (2024-04-15T19:15:32Z)
• Interpretable Linear Dimensionality Reduction based on Bias-Variance Analysis [45.3190496371625]
  本稿では,特徴の解釈可能性を維持するための基本次元削減手法を提案する。 このように、全ての特徴を考慮し、次元性を減らし、解釈可能性を保持する。
  論文  参考訳（メタデータ） (2023-03-26T14:30:38Z)
• Numerical Optimizations for Weighted Low-rank Estimation on Language Model [73.12941276331316]
  Singular value decomposition (SVD) は、より小さい行列でターゲット行列を近似する最も一般的な圧縮手法の1つである。 標準SVDは行列内のパラメータを同じ重要性で扱うが、これは単純だが非現実的な仮定である。 本手法は,ニューラルベース言語モデルにおいて,現在のSOTA法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-02T00:58:02Z)
• Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
  本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。 この問題は楕円分布のペナルティ化された最大推定値として表される。 楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
  論文  参考訳（メタデータ） (2022-10-21T13:19:45Z)
• A Local Similarity-Preserving Framework for Nonlinear Dimensionality Reduction with Neural Networks [56.068488417457935]
  本稿では,Vec2vecという新しい局所非線形手法を提案する。 ニューラルネットワークを訓練するために、マトリックスの近傍類似度グラフを構築し、データポイントのコンテキストを定義します。 8つの実データセットにおけるデータ分類とクラスタリングの実験により、Vec2vecは統計仮説テストにおける古典的な次元削減法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-03-10T23:10:47Z)
• Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature Selection [138.97647716793333]
  再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。 提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
  論文  参考訳（メタデータ） (2020-12-29T04:08:38Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Effective Dimension Adaptive Sketching Methods for Faster Regularized Least-Squares Optimization [56.05635751529922]
  スケッチに基づくL2正規化最小二乗問題の解法を提案する。 我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
  論文  参考訳（メタデータ） (2020-06-10T15:00:09Z)
• Minimizing FLOPs to Learn Efficient Sparse Representations [36.24540913526988]
  密度埋め込みと類似の表現能力を持つ高次元およびスパース表現を学習する。 我々のアプローチは他のベースラインと競合し、実用的なデータセット上で同様の、あるいはより優れたスピードvs精度のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2020-04-12T18:09:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。