論文の概要: PARAFAC2-based Coupled Matrix and Tensor Factorizations with Constraints

• arxiv url: http://arxiv.org/abs/2406.12338v1
• Date: Tue, 18 Jun 2024 07:05:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 20:16:07.442390
• Title: PARAFAC2-based Coupled Matrix and Tensor Factorizations with Constraints
• Title（参考訳）: PARAFAC2をベースとした結合マトリックスと制約付きテンソル因子化
• Authors: Carla Schenker, Xiulin Wang, David Horner, Morten A. Rasmussen, Evrim Acar,
• Abstract要約: AO(Alternating Optimization)とADMM(Alternating Direction Method of Multipliers)を用いたPARAFAC2ベースのCMTFモデルに適合するフレキシブルなアルゴリズムフレームワークを提案する。 様々なシミュレーションと実際のデータセットの実験は、提案したフレームワークの有用性と汎用性を示している。
• 参考スコア（独自算出の注目度）: 1.0519027757362966
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data fusion models based on Coupled Matrix and Tensor Factorizations (CMTF) have been effective tools for joint analysis of data from multiple sources. While the vast majority of CMTF models are based on the strictly multilinear CANDECOMP/PARAFAC (CP) tensor model, recently also the more flexible PARAFAC2 model has been integrated into CMTF models. PARAFAC2 tensor models can handle irregular/ragged tensors and have shown to be especially useful for modelling dynamic data with unaligned or irregular time profiles. However, existing PARAFAC2-based CMTF models have limitations in terms of possible regularizations on the factors and/or types of coupling between datasets. To address these limitations, in this paper we introduce a flexible algorithmic framework that fits PARAFAC2-based CMTF models using Alternating Optimization (AO) and the Alternating Direction Method of Multipliers (ADMM). The proposed framework allows to impose various constraints on all modes and linear couplings to other matrix-, CP- or PARAFAC2-models. Experiments on various simulated and a real dataset demonstrate the utility and versatility of the proposed framework as well as its benefits in terms of accuracy and efficiency in comparison with state-of-the-art methods.
• Abstract（参考訳）: Coupled Matrix and Tensor Factorizations (CMTF) に基づくデータ融合モデルは、複数の情報源からのデータの共同解析に有効なツールである。 CMTFモデルの大部分は厳密なマルチ線形CANDECOMP/PARAFAC(CP)テンソルモデルに基づいているが、最近ではより柔軟なPARAFAC2モデルもCMTFモデルに統合されている。 PARAFAC2 テンソルモデルは不規則なテンソルを扱うことができ、非整合または不規則な時間プロファイルを持つ動的データをモデル化するのに特に有用であることが示されている。 しかし、既存の PARAFAC2 ベースのCMTF モデルでは、データセット間の因数および/または結合のタイプに関する規則化が可能である。 本稿では,AO(Alternating Optimization)とADMM(Alternating Direction Method of Multipliers)を用いたPARAFAC2ベースのCMTFモデルに適合するフレキシブルなアルゴリズムフレームワークを提案する。 提案したフレームワークは、全てのモードに様々な制約を課し、他の行列、CP、PARAFAC2-モデルに線形結合することができる。 各種シミュレーションおよび実データセットの実験では、提案フレームワークの有用性と汎用性に加えて、最先端の手法と比較して精度と効率の面でのメリットが示されている。

関連論文リスト

• Model Merging and Safety Alignment: One Bad Model Spoils the Bunch [70.614652904151]
  LLM(Merging Large Language Models)は、複数の専門家のLLMを1つの汎用モデルに結合するコスト効率のよい手法である。 現在のアプローチでは、マージ時の安全性の整合性の重要性を見落とし、非常に不整合のモデルに繋がることが多い。 我々は,既存の手法がドメインの専門知識を伝達するだけでなく,ミスアライメントを伝播することを示すために,いくつかの一般的なモデルマージ手法を評価した。
  論文  参考訳（メタデータ） (2024-06-20T17:59:58Z)
• UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting [98.12558945781693]
  フラット化されたパッチトークンに統一された注意機構を含む変圧器ベースモデルUniTSTを提案する。 提案モデルでは単純なアーキテクチャを採用しているが,時系列予測のためのいくつかのデータセットの実験で示されたような,魅力的な性能を提供する。
  論文  参考訳（メタデータ） (2024-06-07T14:39:28Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Comparative Analysis of Different Efficient Fine Tuning Methods of Large Language Models (LLMs) in Low-Resource Setting [0.0]
  我々は、大規模言語モデル(LLM)の様々な微調整戦略の理解を深めようとしている。 我々は,2つのデータセット(COLAとMNLI)で事前学習したモデルに対して,バニラファインチューニングやPBFT(Pattern-Based Fine-Tuning)のような最先端の手法を比較した。 以上の結果から,バニラFTやPBFTに匹敵する領域外一般化が期待できる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-05-21T20:08:52Z)
• Sample Complexity Characterization for Linear Contextual MDPs [67.79455646673762]
  文脈決定プロセス(CMDP)は、遷移カーネルと報酬関数がコンテキスト変数によってインデックス付けされた異なるMDPで時間とともに変化できる強化学習のクラスを記述する。 CMDPは、時間とともに変化する環境で多くの現実世界のアプリケーションをモデル化するための重要なフレームワークとして機能する。 CMDPを2つの線形関数近似モデルで検討する: 文脈変化表現とすべての文脈に対する共通線形重み付きモデルIと、すべての文脈に対する共通表現と文脈変化線形重み付きモデルIIである。
  論文  参考訳（メタデータ） (2024-02-05T03:25:04Z)
• MatFormer: Nested Transformer for Elastic Inference [94.1789252941718]
  MatFormerは、様々なデプロイメント制約で弾力性を提供するように設計されたネストトランスフォーマーアーキテクチャである。 2.6BデコーダのみのMatFormer言語モデル(MatLM)は1.5Bから2.6Bまでの小さなモデルを抽出できることを示す。 また,MatFormerベースのViT(MatViT)エンコーダから抽出した小さなエンコーダは,適応的な大規模検索のための距離空間構造を保持する。
  論文  参考訳（メタデータ） (2023-10-11T17:57:14Z)
• Efficient GPT Model Pre-training using Tensor Train Matrix Representation [65.96485282393361]
  大規模なトランスフォーマーモデルは数十億のパラメータを特徴としており、デプロイが困難になり、スクラッチからトレーニングコストが禁じられている。 GPT-2アーキテクチャのパラメータ数を削減すべく、完全に接続された層の行列を対応するTrain Matrix(TTM)構造に置き換える。 GPTベースのモデルは最大40%のパラメータを格納し、元のモデルに匹敵するパープレキシティを示す。
  論文  参考訳（メタデータ） (2023-06-05T08:38:25Z)
• PARAFAC2-based Coupled Matrix and Tensor Factorizations [1.7188280334580195]
  本稿では,全てのモードや線形結合に様々な制約を課す可能性を考慮した PARAFAC2 ベースのCMTF モデルを適合させるアルゴリズムフレームワークを提案する。 数値実験により,提案手法は様々な制約や線形結合を用いて,基礎となるパターンを正確に復元することを示した。
  論文  参考訳（メタデータ） (2022-10-24T09:20:17Z)
• An AO-ADMM approach to constraining PARAFAC2 on all modes [6.3172660601651]
  乗算器の交互方向法(AO-ADMM)による交互最適化に基づくPARAFAC2の組付けアルゴリズムを提案する。 提案したPARAFAC2 AO-ADMMアプローチは柔軟な制約を許容し、基礎となるパターンを正確に復元し、最先端技術と比較して計算効率が良いことを示す。
  論文  参考訳（メタデータ） (2021-10-04T09:39:01Z)
• PARAFAC2 AO-ADMM: Constraints in all modes [6.901159341430921]
  本稿では, PARAFAC2 を適合させる乗算器 (ADMM) ベースのアルゴリズムの交互方向法を提案し, 任意の近似関数に対して正則化のペナルティを拡大する。 数値実験により, PARAFAC2のADMMに基づく手法により, シミュレーションデータから基礎成分を精度良く回収できることが示されている。
  論文  参考訳（メタデータ） (2021-02-03T14:42:18Z)
• A Flexible Optimization Framework for Regularized Matrix-Tensor Factorizations with Linear Couplings [5.079136838868448]
  行列とテンソルの分解を結合するフレキシブルなアルゴリズムフレームワークを提案する。 このフレームワークは、様々な制約、損失関数、線形変換との結合の使用を容易にする。
  論文  参考訳（メタデータ） (2020-07-19T06:49:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。