論文の概要: Distilling Lexical Product Associations into Deep Transformers: An Extreme Multi-Label Approach for Natural Language E-Commerce Search
- arxiv url: http://arxiv.org/abs/2609.26921v1
- Date: Tue, 22 Sep 2026 18:16:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:17.723348
- Title: Distilling Lexical Product Associations into Deep Transformers: An Extreme Multi-Label Approach for Natural Language E-Commerce Search
- Title（参考訳）: 語彙商品協会を深層変圧器に蒸留する:自然言語Eコマース検索のための極端に多層的アプローチ
- Abstract要約: 従来のeコマース検索プラットフォームは、逆インデックスとトークンレベルの語彙マッチングアルゴリズムに大きく依存している。
我々は,N = 54,000商品の電子商取引カタログ上でのXMLC問題として,対話型商品推薦を定式化する。
事前学習した DistilBERT 変圧器エンコーダを用いて,高密度なアイテム・ツー・イテム類似性トポロジーを深い文脈表現に蒸留する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Traditional e-commerce search platforms rely heavily on inverted indices and token-level lexical matching algorithms (e.g., BM25 and TF-IDF), which frequently fail on conversational, intent-driven, or paraphrased user queries -- the classic vocabulary mismatch problem. We formulate conversational product recommendation as an Extreme Multi-Label Classification (XMLC) problem over an e-commerce catalog of N = 54,000 products spanning 27 balanced retail categories from the Amazon Reviews '23 benchmark. Using a pre-trained DistilBERT transformer encoder, we distill dense item-to-item similarity topologies (generated via TF-IDF cosine similarity over cumulative metadata with K = 50 nearest neighbours) into a deep contextual representation via a pseudo-label knowledge distillation framework. Evaluated on an exact 85/15 train/validation split (8,089 held-out products across C = 53,923 output classes) with strict self-exclusion enforced, the DistilBERT neural student achieves P@1 = 93.15%, P@5 = 90.08%, NDCG@10 = 0.8845, and MRR@10 = 0.9545, closely recovering the empirical ceiling established by the corrected TF-IDF teacher (P@1 = 98.10%, NDCG@10 = 0.9419, MRR@10 = 0.9882). Furthermore, a qualitative benchmark across ten structured natural language query archetypes -- encompassing situational, cross-category, paraphrased, and negative-constraint queries -- demonstrates that the transformer student generalises substantially beyond keyword matching, successfully resolving implicit user intent where lexical models fail completely. Finally, we analyse the architectural and memory scalability trade-offs of extreme classification projection layers at industrial catalog scale (> 10^6 items) and present a concrete deployment trajectory toward Dual-Encoder (Two-Tower) vector search. Code: https://github.com/Sunnidhya/Distilling-Lexical-Product-Associations-into-Deep-Transformers.
- Abstract（参考訳）: 従来のeコマース検索プラットフォームは、逆インデックスとトークンレベルの語彙マッチングアルゴリズム(例えば、BM25やTF-IDF)に大きく依存している。
我々は、Amazon Reviews '23ベンチマークから、27のバランスのとれた小売カテゴリにまたがるN = 54,000の商品のeコマースカタログに対して、XMLC(Extreme Multi-Label Classification)問題として会話型製品レコメンデーションを定式化する。
事前学習した DistilBERT 変圧器エンコーダを用いて,K=50近傍の累積メタデータよりも高密度なアイテム・ツー・テム類似性トポロジー(TF-IDFコサイン類似性により生成する)を擬似ラベル知識蒸留フレームワークを用いて深部文脈表現に蒸留する。
85/15列車/バリデーションスプリット(C = 53,923出力クラスで8,089個の保留積)を厳密な自己排他力で評価し、DistilBERT神経学生はP@1 = 93.15%、P@5 = 90.08%、NDCG@10 = 0.8845、MRR@10 = 0.9545、補正されたTF-IDF教師によって確立された経験的天井(P@1 = 98.10%、NDCG@10 = 0.9419、MRR@10 = 0.9882)を得る。
さらに、状況、横断カテゴリ、パラフレージング、ネガティブ制約クエリを含む10の構造化された自然言語クエリアーチタイプにわたる定性的なベンチマークでは、トランスフォーマーの学生がキーワードマッチングをはるかに超越し、語彙モデルが完全に失敗する暗黙のユーザ意図の解決に成功していることを示す。
最後に,産業カタログスケール(>10^6項目)における極端分類プロジェクション層のアーキテクチャとメモリのスケーラビリティのトレードオフを分析し,Dual-Encoder (Two-Tower)ベクトル探索に向けた具体的な展開軌道を示す。
コード:https://github.com/Sunnidhya/Distilling-Lexical-Product-Association-into-Deep-Transformers。
関連論文リスト
- Distill Globally, Adapt Locally: Reasoning Distillation and Product-Type Test-Time Training for Scalable Trade-Up Recommendation [4.571228446381617]
トレーディングアップレコメンデーションは、アップグレードされた利益を提供しながら顧客の購入意図を維持する高品質な代替手段を特定する。
大規模言語モデル(LLM)はそのような区別を推論することができるが、数億の製品に直接適用することは運用上不可能である。
我々は, LLM推論を効率的な非生成的学生に蒸留し, その意思決定境界を製品タイプ固有のトレードオフ基準に適合させる2段階の枠組みを導入する。
論文 参考訳（メタデータ） (2026-09-04T17:08:50Z) - Context-Aware Distillation and Ablation for Text2DSL [78.29352305480285]
我々は、コンテクスト対応蒸留により、プロンプトのみの合成生成を置き換える。
教師の大きな言語モデルは、明示的に定義された構造化コンテキストの下で機能する。
これは、検証されたポルキットベンチコーパスを4,204対から10,073対にスケールする。
論文 参考訳（メタデータ） (2026-06-21T16:27:24Z) - Bridging the Cold-Start Gap: LLM-Powered Synthetic Data Generation for Natural Language Search at Airbnb [13.678824332628311]
大規模言語モデル(LLM)を用いて合成クエリとラベルを生成するためのフレームワークを提案する。
クエリ生成には、予約セッションからのコントラスト的なリストペアと、ユーザリサーチからのシードクエリを組み合わせて、リアリズムと多様性のバランスを取る。
ラベル生成には、構築による話題ラベルを生成するコントラスト生成と、より広範なカバレッジのための仮想ジャッジ(VJ)ラベルを導入する。
論文 参考訳（メタデータ） (2026-05-20T23:18:49Z) - Symbolic Augmentation Closes a Canonical-Equivalence Blind Spot in Neural Fact-Checkers [1.7844382164707184]
我々は,5種類の型付き誤り分類と1500石のベンチマークを導入する。
このベンチマークで微調整されたModernBERTエンコーダはマクロF1 = 0.899に達する。
本稿では,ラベル保存型強化トレーニングデータを生成するために,シンボル検証器のモジュールを逆向きに動作させる訓練時フレームワークであるSybolic Augmentationを提案する。
論文 参考訳（メタデータ） (2026-05-19T15:58:00Z) - Domain-Adaptive and Scalable Dense Retrieval for Content-Based Recommendation [0.0]
本稿では,Amazon Reviews 2023 (Fashion) サブセットを微調整した2-towerバイエンコーダをベースとした,スケーラブルな高密度検索システムを提案する。
我々は、レビューテキスト(クエリプロキシとして)とアイテムメタデータ(ポジティブドキュメントとして)からトレーニングペアを構築し、500トークンの最大シーケンス長で50,000のサンプルインタラクションを微調整する。
826,402のカタログ項目に対するレビュー・ツー・タイトルのベンチマークでは、Recall@10が0.26(BM25)から0.66に改善されました。
論文 参考訳（メタデータ） (2026-01-31T20:58:23Z) - CoFiRec: Coarse-to-Fine Tokenization for Generative Recommendation [55.783414010717074]
CoFiRecは、アイテム情報をセマンティックレベルに分解する新しい生成レコメンデーションフレームワークである。
我々は、CoFiRecが既存の手法より優れており、ジェネレーティブレコメンデーションの新しい視点を提供することを示す。
論文 参考訳（メタデータ） (2025-11-27T18:59:35Z) - Markovian Transformers for Informative Language Modeling [1.172865818448696]
CoT(Chain-of-Thought)推論は、しばしば言語モデルの根底にある決定プロセスを忠実に反映しない。
推論オートエンコーダとして理解可能なマルコフ言語モデルフレームワークを提案する。
論文 参考訳（メタデータ） (2024-04-29T17:36:58Z) - Hypergraph Enhanced Knowledge Tree Prompt Learning for Next-Basket
Recommendation [50.55786122323965]
次バスケットレコメンデーション(NBR)は、対応するバスケットシーケンスが与えられた次のバスケット内のアイテムを推論することを目的としている。
HEKP4NBRは知識グラフ(KG)をKTP(Knowledge Tree Prompt)と呼ばれるプロンプトに変換し、PLMがOOV(Out-Of-Vocabulary)アイテムIDをエンコードするのを助ける。
ハイパーグラフ畳み込みモジュールは、複数の側面からMoEモデルによって測定されたアイテム類似性に基づいてハイパーグラフを構築するように設計されている。
論文 参考訳（メタデータ） (2023-12-26T02:12:21Z) - BOOST: Harnessing Black-Box Control to Boost Commonsense in LMs'
Generation [60.77990074569754]
本稿では,凍結した事前学習言語モデルを,より汎用的な生成に向けて操る,計算効率のよいフレームワークを提案する。
具体的には、まず、文に常識的スコアを割り当てる参照なし評価器を構築する。
次に、スコアラをコモンセンス知識のオラクルとして使用し、NADOと呼ばれる制御可能な生成法を拡張して補助ヘッドを訓練する。
論文 参考訳（メタデータ） (2023-10-25T23:32:12Z) - Query Expansion Using Contextual Clue Sampling with Language Models [69.51976926838232]
本稿では,実効的なフィルタリング戦略と検索した文書の融合の組み合わせを,各文脈の生成確率に基づいて提案する。
我々の語彙マッチングに基づくアプローチは、よく確立された高密度検索モデルDPRと比較して、同様のトップ5/トップ20検索精度と上位100検索精度を実現する。
エンド・ツー・エンドのQAでは、読者モデルも我々の手法の恩恵を受けており、いくつかの競争基準に対してエクサクト・マッチのスコアが最も高い。
論文 参考訳（メタデータ） (2022-10-13T15:18:04Z) - Interactive Code Generation via Test-Driven User-Intent Formalization [60.90035204567797]
大きな言語モデル(LLM)は、非公式な自然言語(NL)の意図からコードを生成する。
自然言語は曖昧であり、形式的な意味論が欠けているため、正確性の概念を定義するのは難しい。
言語に依存しない抽象アルゴリズムと具体的な実装TiCoderについて述べる。
論文 参考訳（メタデータ） (2022-08-11T17:41:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。