論文の概要: GRAM: Fast Fine-tuning of Pre-trained Language Models for Content-based
Collaborative Filtering
- arxiv url: http://arxiv.org/abs/2204.04179v1
- Date: Fri, 8 Apr 2022 17:06:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-11 12:18:09.603261
- Title: GRAM: Fast Fine-tuning of Pre-trained Language Models for Content-based
Collaborative Filtering
- Title(参考訳): GRAM:コンテンツベース協調フィルタリングのための事前学習言語モデルの高速微調整
- Authors: Yoonseok Yang, Kyu Seok Kim, Minsam Kim, Juneyoung Park
- Abstract要約: コンテンツベース協調フィルタリングのためのGRAM(GRADient Accumulation for Multi-modality)を提案する。
GRAMは、知識トレースとニュースレコメンデーションの2つのタスク領域から5つのデータセットに基づいて、トレーニング効率を著しく向上させる。
- 参考スコア(独自算出の注目度): 0.7742297876120561
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Content-based collaborative filtering (CCF) provides personalized item
recommendations based on both users' interaction history and items' content
information. Recently, pre-trained language models (PLM) have been used to
extract high-quality item encodings for CCF. However, it is resource-intensive
to finetune PLM in an end-to-end (E2E) manner in CCF due to its multi-modal
nature: optimization involves redundant content encoding for interactions from
users. For this, we propose GRAM (GRadient Accumulation for Multi-modality):
(1) Single-step GRAM which aggregates gradients for each item while maintaining
theoretical equivalence with E2E, and (2) Multi-step GRAM which further
accumulates gradients across multiple training steps, with less than 40\% GPU
memory footprint of E2E. We empirically confirm that GRAM achieves a remarkable
boost in training efficiency based on five datasets from two task domains of
Knowledge Tracing and News Recommendation, where single-step and multi-step
GRAM achieve 4x and 45x training speedup on average, respectively.
- Abstract(参考訳): コンテンツベースの協調フィルタリング(CCF)は、ユーザのインタラクション履歴とアイテムのコンテンツ情報の両方に基づいて、パーソナライズされたアイテムレコメンデーションを提供する。
近年、CCFのための高品質なアイテムエンコーディングの抽出にPLM(Pre-trained Language Model)が用いられている。
しかし、マルチモーダルな性質から、plmをエンド・ツー・エンド(e2e)方式でccfで微調整することはリソース集約的である。
そこで本研究では,(1)E2Eとの理論的等価性を保ちながら各項目の勾配を集約するシングルステップGRAM,(2)E2Eの40倍のGPUメモリフットプリントを有する複数のトレーニングステップにまたがって勾配を蓄積するマルチステップGRAMを提案する。
GRAMは2つのタスク領域である知識トラシングとニュースレコメンデーションの5つのデータセットに基づいて,それぞれ1ステップのGRAMと複数ステップのGRAMが平均4倍,45倍のトレーニングスピードアップを達成することにより,トレーニング効率が著しく向上することを確認した。
関連論文リスト
- Contextualization Distillation from Large Language Model for Knowledge
Graph Completion [51.126166442122546]
我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。
提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。
多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
論文 参考訳(メタデータ) (2024-01-28T08:56:49Z) - G-Meta: Distributed Meta Learning in GPU Clusters for Large-Scale
Recommender Systems [16.343248795178685]
本稿では,textbfGPUクラスタ上での最適化に基づくメタDLRMモデルの大規模トレーニングのためのフレームワークを提供する。
各種実験結果から,G-Metaは,統計的性能を損なうことなく,顕著なトレーニング速度を達成できることが示唆された。
論文 参考訳(メタデータ) (2024-01-09T03:35:43Z) - When Parameter-efficient Tuning Meets General-purpose Vision-language
Models [65.19127815275307]
PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。
実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-12-16T17:13:08Z) - Sieve: Multimodal Dataset Pruning Using Image Captioning Models [11.362835828985494]
Vision-Language Models (VLM) は、大規模で多様でノイズの多いWebcrawledデータセットで事前トレーニングされている。
提案手法は,CLIPがノイズラベルを事前学習しているため,偽陽性や陰性などの複数の制約を伴っていると論じる。
そこで我々は,小,多様,整列した画像テキストペア上で事前訓練された画像キャプションモデルによって生成された合成キャプションを用いたプルーニング信号Sieveを提案する。
論文 参考訳(メタデータ) (2023-10-03T14:53:53Z) - Pink: Unveiling the Power of Referential Comprehension for Multi-modal
LLMs [49.88461345825586]
本稿では,MLLMの微細な画像理解能力を高めるための新しい枠組みを提案する。
本稿では,既存のデータセットのアノテーションを活用して,命令チューニングデータセットを低コストで構築する手法を提案する。
本研究では,Qwen-VLよりも5.2%精度が向上し,Kosmos-2の精度が24.7%向上したことを示す。
論文 参考訳(メタデータ) (2023-10-01T05:53:15Z) - In-memory Realization of In-situ Few-shot Continual Learning with a
Dynamically Evolving Explicit Memory [11.838117086685399]
古いクラスを忘れずに、いくつかのトレーニング例から新しいクラスを継続的に学習するには、柔軟なアーキテクチャが必要である。
1つの実行可能なアーキテクチャソリューションは、定常的なディープニューラルネットワークを動的に進化する明示的メモリ(EM)に密結合することである。
EMユニットが複数のトレーニング例を物理的に重畳し、未知のクラスに対応できるように拡張し、推論中に類似性検索を行う方法を初めて示す。
論文 参考訳(メタデータ) (2022-07-14T10:38:21Z) - Entity-Graph Enhanced Cross-Modal Pretraining for Instance-level Product
Retrieval [152.3504607706575]
本研究の目的は, 細粒度製品カテゴリを対象とした, 弱制御型マルチモーダル・インスタンスレベルの製品検索である。
まず、Product1Mデータセットをコントリビュートし、2つの実際のインスタンスレベルの検索タスクを定義します。
我々は、マルチモーダルデータから重要な概念情報を組み込むことができるより効果的なクロスモーダルモデルを訓練するために活用する。
論文 参考訳(メタデータ) (2022-06-17T15:40:45Z) - Incremental Learning Meets Transfer Learning: Application to Multi-site
Prostate MRI Segmentation [16.50535949349874]
インクリメンタルトランスファー学習(ITL)と呼ばれる新しいマルチサイトセグメンテーションフレームワークを提案する。
ITLは、エンドツーエンドのシーケンシャルな方法で、マルチサイトデータセットからモデルを学習する。
ITLトレーニングスキームを活用することで、漸進的な学習における破滅的な問題を軽減できることを示す。
論文 参考訳(メタデータ) (2022-06-03T02:32:01Z) - Consistent Training and Decoding For End-to-end Speech Recognition Using
Lattice-free MMI [67.13999010060057]
本稿では,LF-MMI基準をE2E ASRフレームワークに統合する新たな手法を提案する。
LF-MMI基準の導入は、一貫して大きなパフォーマンス改善をもたらすことが実験的に示唆されている。
論文 参考訳(メタデータ) (2021-12-05T07:30:17Z) - Improving Semi-Supervised and Domain-Adaptive Semantic Segmentation with
Self-Supervised Depth Estimation [94.16816278191477]
本稿では,セミアダプティブなセマンティックセマンティックセマンティックセグメンテーションのためのフレームワークを提案する。
ラベルのない画像シーケンスでのみ訓練された自己教師付き単眼深度推定によって強化される。
提案したモデルをCityscapesデータセット上で検証する。
論文 参考訳(メタデータ) (2021-08-28T01:33:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。