Fugu-MT 論文翻訳(概要): HSTU-BLaIR: Lightweight Contrastive Text Embedding for Generative Recommender

論文の概要: HSTU-BLaIR: Lightweight Contrastive Text Embedding for Generative Recommender

arxiv url: http://arxiv.org/abs/2504.10545v2
Date: Fri, 30 May 2025 02:22:12 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-02 15:03:34.736075
Title: HSTU-BLaIR: Lightweight Contrastive Text Embedding for Generative Recommender
Title（参考訳）: HSTU-BLaIR:ジェネレーションレコメンダ用軽量コントラストテキスト埋め込み
Authors: Yijun Liu,
Abstract要約: 本稿では,軽量なコントラストテキスト埋め込みモデルで生成レコメンデータを増強するハイブリッドフレームワークHSTU-BLaIRを提案する。 HSTU-BLaIRをAmazon Reviews 2023データセットの3つのサブセットとSteamデータセットの2つのEコマースデータセットで評価した。
参考スコア（独自算出の注目度）: 8.466223794246261
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Recent advances in recommender systems have underscored the complementary strengths of generative modeling and pretrained language models. We propose HSTU-BLaIR, a hybrid framework that augments the Hierarchical Sequential Transduction Unit (HSTU)-based generative recommender with BLaIR, a lightweight contrastive text embedding model. This integration enriches item representations with semantic signals from textual metadata while preserving HSTU's powerful sequence modeling capabilities. We evaluate HSTU-BLaIR on two e-commerce datasets: three subsets from the Amazon Reviews 2023 dataset and the Steam dataset. We compare its performance against both the original HSTU-based recommender and a variant augmented with embeddings from OpenAI's state-of-the-art \texttt{text-embedding-3-large} model. Despite the latter being trained on a substantially larger corpus with significantly more parameters, our lightweight BLaIR-enhanced approach -- pretrained on domain-specific data -- achieves better performance in nearly all cases. Specifically, HSTU-BLaIR outperforms the OpenAI embedding-based variant on all but one metric, where it is marginally lower, and matches it on another. These findings highlight the effectiveness of contrastive text embeddings in compute-efficient recommendation settings.
Abstract（参考訳）: 近年のレコメンデータシステムの進歩は、生成モデルと事前学習言語モデルの相補的な強みを裏付けている。本稿では,Huerarchical Sequential Transduction Unit (HSTU) ベースの生成レコメンデータを軽量なコントラストテキスト埋め込みモデルであるBLaIRで拡張するハイブリッドフレームワークであるHSTU-BLaIRを提案する。この統合は、HSTUの強力なシーケンスモデリング機能を保持しながら、テキストメタデータからのセマンティックな信号でアイテム表現を強化します。 HSTU-BLaIRをAmazon Reviews 2023データセットの3つのサブセットとSteamデータセットの2つのEコマースデータセットで評価した。従来のHSTUベースのレコメンデータと,OpenAIの最先端のtexttt{text-embedding-3-large}モデルからの埋め込みを組み込んだ拡張版を比較した。後者は、はるかに多くのパラメータを持つ、はるかに大きなコーパスでトレーニングされていますが、私たちの軽量なBLaIR強化アプローチ -- ドメイン固有のデータに基づいて事前トレーニングされた -- は、ほぼすべてのケースにおいて、よりよいパフォーマンスを実現しています。具体的には、HSTU-BLaIRは1つのメートル法を除いてOpenAIの埋め込みベースの変種よりも優れており、その差はわずかに小さく、別のメートル法と一致している。これらの知見は、計算効率の高い推奨設定におけるコントラストテキスト埋め込みの有効性を浮き彫りにした。

関連論文リスト

Enhancing RWKV-based Language Models for Long-Sequence Text Generation [0.0]
本稿では、長文言語モデリングを改善するための適応時間ゲーティング機構を備えた拡張RWKVアーキテクチャを提案する。本研究では,(1)グローバルコヒーレンスを保ちながら局所的な統語パターンを捉える位置認識畳み込みシフト演算子,(2)知識間の情報の流れを動的に制御する神経伝達情報ルーティング機構を提案する。
論文参考訳（メタデータ） (2025-02-21T14:18:18Z)
TD3: Tucker Decomposition Based Dataset Distillation Method for Sequential Recommendation [50.23504065567638]
本稿では,メタラーニングフレームワークにおける textbfDataset textbfDistillation 手法である textbfTD3 を紹介する。 TD3は、オリジナルのデータから完全に表現力のある合成配列の要約を蒸留する。拡張技術により、学習者は合成要約を忠実に適合させ、アンプループでの正確な更新を確実にすることができる。
論文参考訳（メタデータ） (2025-02-05T03:13:25Z)
GASE: Generatively Augmented Sentence Encoding [0.0]
本稿では,データ拡張のための生成テキストモデルを推論時に適用することにより,文の埋め込みを強化する手法を提案する。 Generatively Augmented Sentenceは、パラフレーズ、要約、あるいはキーワードの抽出によって生成される入力テキストの多様な合成変種を使用する。生成的拡張により,ベースライン性能の低い埋め込みモデルの性能が向上することが判明した。
論文参考訳（メタデータ） (2024-11-07T17:53:47Z)
Align-SLM: Textless Spoken Language Models with Reinforcement Learning from AI Feedback [50.84142264245052]
テキストレス音声言語モデル(SLM)のセマンティック理解を強化するためのAlign-SLMフレームワークを導入する。提案手法は、与えられたプロンプトから複数の音声継続を生成し、意味的指標を用いて、直接選好最適化(DPO)のための選好データを生成する。語彙および構文モデリングのためのZeroSpeech 2021ベンチマーク、意味的コヒーレンスのためのStoryClozeデータセットの音声バージョン、GPT4-oスコアや人間評価などの音声生成指標を用いて、フレームワークの評価を行った。
論文参考訳（メタデータ） (2024-11-04T06:07:53Z)
Enhancing Authorship Attribution through Embedding Fusion: A Novel Approach with Masked and Encoder-Decoder Language Models [0.0]
本稿では,AI生成テキストと人間認証テキストを区別するために,事前学習言語モデルからのテキスト埋め込みを用いた新しいフレームワークを提案する。提案手法では, Embedding Fusion を用いて複数の言語モデルからの意味情報を統合し,その補完的強みを利用して性能を向上させる。
論文参考訳（メタデータ） (2024-11-01T07:18:27Z)
ToBlend: Token-Level Blending With an Ensemble of LLMs to Attack AI-Generated Text Detection [6.27025292177391]
ToBlendはトークンレベルのアンサンブルテキスト生成手法であり、現在のAIコンテンツ検出アプローチの堅牢性に挑戦する。 ToBlendは、主要なAIコンテンツ検出手法の性能を著しく低下させる。
論文参考訳（メタデータ） (2024-02-17T02:25:57Z)
Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
論文参考訳（メタデータ） (2024-01-28T08:56:49Z)
Local and Global Context-Based Pairwise Models for Sentence Ordering [0.0]
本稿では,局所的およびグローバルな文脈に基づくペアワイズ・オーダリング・ストラテジーの集合を提示する。提案手法は,この段落の豊富なグローバルな文脈情報を用いて,ペアの順序を予測する。提案した2つのデコード戦略の解析は、ペアワイズモデルにおけるエラーの伝播をよりよく説明するのに役立つ。
論文参考訳（メタデータ） (2021-10-08T17:57:59Z)
SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
論文参考訳（メタデータ） (2021-01-02T01:15:57Z)
CoDA: Contrast-enhanced and Diversity-promoting Data Augmentation for Natural Language Understanding [67.61357003974153]
我々はCoDAと呼ばれる新しいデータ拡張フレームワークを提案する。 CoDAは、複数の変換を有機的に統合することで、多種多様な情報付加例を合成する。すべてのデータサンプルのグローバルな関係を捉えるために、対照的な正則化の目的を導入する。
論文参考訳（メタデータ） (2020-10-16T23:57:03Z)
Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
論文参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。