論文の概要: Distill Globally, Adapt Locally: Reasoning Distillation and Product-Type Test-Time Training for Scalable Trade-Up Recommendation
- arxiv url: http://arxiv.org/abs/2609.05363v1
- Date: Fri, 04 Sep 2026 17:08:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:24.136285
- Title: Distill Globally, Adapt Locally: Reasoning Distillation and Product-Type Test-Time Training for Scalable Trade-Up Recommendation
- Title（参考訳）: グローバルに, 地域的に適応する: スケーラブルなトレーディングアップレコメンデーションのための蒸留と製品型テストタイムトレーニング
- Abstract要約: トレーディングアップレコメンデーションは、アップグレードされた利益を提供しながら顧客の購入意図を維持する高品質な代替手段を特定する。
大規模言語モデル(LLM)はそのような区別を推論することができるが、数億の製品に直接適用することは運用上不可能である。
我々は, LLM推論を効率的な非生成的学生に蒸留し, その意思決定境界を製品タイプ固有のトレードオフ基準に適合させる2段階の枠組みを導入する。
- 参考スコア（独自算出の注目度）: 4.571228446381617
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Trade-up recommendation identifies higher-quality alternatives that preserve a customer's purchase intent while offering upgraded benefits. Large language models (LLMs) can reason about such distinctions, but applying them directly to hundreds of millions of product pairs is operationally impractical. We introduce a two-level framework that distills LLM reasoning into an efficient non-generative student and adapts its decision boundary to product-type-specific trade-up criteria. At Level 1, a retrieval-augmented few-shot LLM teacher generates structured relation labels and natural-language rationales. These rationales supervise a compact embedding-pair classifier through alignment and contrastive objectives; at inference, the student uses only two precomputed 768-dimensional product embeddings, with no LLM calls or text generation. On a fixed human-annotated benchmark of 8,352 pairs, a 15.5M-parameter four-class reasoning-distilled student achieves AUC 0.924 (95% CI [0.918, 0.929]), compared with 0.912 for the four-class label-only student. At Level 2, product-type test-time training (PT-TTT) uses few-shot demonstrations to optimize lightweight category-specific adapters over the frozen student. PT-TTT improves AUC from 0.924 to 0.941 and average precision from 0.920 to 0.940. On a 100K-pair proxy catalog, the distilled student on a single eight-GPU machine is approximately 5,000x faster and 10,000x lower in estimated cost than direct LLM inference.
- Abstract（参考訳）: トレーディングアップレコメンデーションは、アップグレードされた利益を提供しながら顧客の購入意図を維持する高品質な代替手段を特定する。
大規模言語モデル(LLM)はそのような区別を推論することができるが、数億の製品に直接適用することは運用上不可能である。
我々は, LLM推論を効率的な非生成的学生に蒸留し, その意思決定境界を製品タイプ固有のトレードオフ基準に適合させる2段階の枠組みを導入する。
レベル1において、LLM教師は、構造化された関係ラベルと自然言語の有理性を生成する。
これらの理論的根拠は、アライメントとコントラスト目的を通じてコンパクトな埋め込みペア分類器を監督する;推測では、学生は2つの事前計算された768次元の製品埋め込みしか使用せず、LLM呼び出しやテキスト生成は行わない。
固定された8,352対の人間注釈付きベンチマークでは、15.5Mパラメーターの4級推理蒸留生が AUC 0.924 (95% CI [0.918, 0.929]) を達成する。
レベル2では、プロダクトタイプのテストタイムトレーニング(PT-TTT)が、凍った生徒に対して軽量なカテゴリ固有のアダプタを最適化するために、数ショットのデモを使用している。
PT-TTTはAUCを0.924から0.941に改善し、平均精度は0.920から0.940に改善した。
100Kペアのプロキシカタログでは、単一の8GPUマシン上の蒸留された学生は、直接LLM推論よりも約5,000倍速く、推定コストが10,000倍低い。
関連論文リスト
- Distilling Foundation Models for Agentic What-If Reasoning:Cost, Latency, and Governance in a Hybrid LLM+SLM Architecture [4.205733518246009]
タブラル基礎モデルは、コンテキスト内学習を通じて強いゼロトレーニング予測性能を提供するが、その高い推論遅延は、インタラクティブなエージェントループにおけるホットパス決定バックエンドとして実用的ではない。
UCIアダルトとOpenMLの5つのベンチマークに基づいて,TabPFNの教師を小型のフィードフォワードの学生に蒸留する。
学生は95.4-100.5%の精度と96.8-100.0%のAUCを維持しており、クレジットgの保持率が最も低い95.4%である。
論文 参考訳（メタデータ） (2026-09-14T11:26:21Z) - LEAP: Layer-wise Exit-Aware Pretraining for Efficient Transformer Inference [0.5277024349608834]
層状蒸留と収束に基づく早期出口は、変圧器推論の2つの主要な計算効率パラダイムを表す。
本稿では、この非互換性を緩和する補助訓練目標であるLEAP(Layer-wise Exit-Aware Pretraining)を紹介する。
LEAP-MiniLMは1.61$times$のウォールクロック・スピードアップを達成し、91.9%のサンプルが7層で排出され、1.80$times$の理論的層還元を達成した。
論文 参考訳（メタデータ） (2026-05-01T19:45:26Z) - L2D-Clinical: Learning to Defer for Adaptive Model Selection in Clinical Text Classification [2.8947246722205695]
本稿では, BERT 分類器が LLM に優先すべき時期を学習するフレームワークであるL2D-Clinical について紹介する。
従来のL2Dの手法では、人間の専門家にとってより優れていると思われていたのに対し、我々の手法は適応的な遅延改善の精度を実現している。
論文 参考訳（メタデータ） (2026-04-14T20:23:45Z) - Agentic Knowledge Distillation: Autonomous Training of Small Language Models for SMS Threat Detection [0.4899818550820574]
エージェント知識蒸留は、人間の介入なしにセキュリティタスクにデプロイ可能な、より小さな学生SLMを微調整する強力なLLMで構成されている。
SMSスパム・スマイッシング検出における教師の役割における4つのLLMと2人の学生のSLMを比較した。
以上の結果から,教師のLLMによって性能が大きく異なり,94.31%の精度と96.25%のリコールが達成された。
論文 参考訳（メタデータ） (2026-02-11T13:57:56Z) - Fantastic Pretraining Optimizers and Where to Find Them [59.56075036649332]
AdamWは長い間、言語モデルの事前訓練において支配的な勾配だった。
行列ベースの行列の高速化はモデルスケールに逆比例する。
論文 参考訳（メタデータ） (2025-09-02T07:43:22Z) - TinyR1-32B-Preview: Boosting Accuracy with Branch-Merge Distillation [19.938309176933902]
本稿では, モデル圧縮を2相で促進するブランチ・マージ蒸留法を提案する。
我々は,DeepSeek-R1を教師とし,DeepSeek-R1-Distill-Qwen-32Bを学生として蒸留アプローチを検証する。
合併したTinyR1-32B-Previewは、複数のベンチマークでDeepSeek-R1-Distill-Qwen-32Bを上回った。
論文 参考訳（メタデータ） (2025-03-06T16:25:53Z) - How Easy is It to Fool Your Multimodal LLMs? An Empirical Analysis on Deceptive Prompts [54.07541591018305]
提案するMAD-Benchは,既存のオブジェクト,オブジェクト数,空間関係などの5つのカテゴリに分割した1000の試験サンプルを含むベンチマークである。
我々は,GPT-4v,Reka,Gemini-Proから,LLaVA-NeXTやMiniCPM-Llama3といったオープンソースモデルに至るまで,一般的なMLLMを包括的に分析する。
GPT-4oはMAD-Bench上で82.82%の精度を達成するが、実験中の他のモデルの精度は9%から50%である。
論文 参考訳（メタデータ） (2024-02-20T18:31:27Z) - LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。
ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。
最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
論文 参考訳（メタデータ） (2023-05-23T21:50:06Z) - Bag of Tricks for Effective Language Model Pretraining and Downstream
Adaptation: A Case Study on GLUE [93.98660272309974]
このレポートでは、ジェネラル言語理解評価のリーダーボードに関するVega v1を簡潔に紹介します。
GLUEは、質問応答、言語受容性、感情分析、テキスト類似性、パラフレーズ検出、自然言語推論を含む9つの自然言語理解タスクのコレクションである。
最適化された事前学習と微調整の戦略により、13億のモデルは4/9タスクに新しい最先端のタスクを設定し、91.3の平均スコアを達成しました。
論文 参考訳（メタデータ） (2023-02-18T09:26:35Z) - Alexa Teacher Model: Pretraining and Distilling Multi-Billion-Parameter
Encoders for Natural Language Understanding Systems [63.713297451300086]
本研究では,700Mから9.3Bまでの非埋め込みパラメータ数を持つ事前学習エンコーダの大規模実験結果について述べる。
その後、17M-170Mパラメータからより小さなモデルに蒸留し、仮想アシスタントシステムの自然言語理解(NLU)コンポーネントに応用した。
論文 参考訳（メタデータ） (2022-06-15T20:44:23Z) - ADT-SSL: Adaptive Dual-Threshold for Semi-Supervised Learning [68.53717108812297]
Semi-Supervised Learning (SSL)は、ラベル付きデータとラベルなしデータを併用してモデルをトレーニングすることで、高度な分類タスクを実現している。
本稿では,半教師付き学習(ADT-SSL)のための適応的デュアル閾値法を提案する。
実験の結果,提案したADT-SSLは最先端の分類精度を実現することがわかった。
論文 参考訳（メタデータ） (2022-05-21T11:52:08Z) - LGD: Label-guided Self-distillation for Object Detection [59.9972914042281]
我々はLGD(Label-Guided Self-Distillation)と呼ばれる汎用物体検出のための最初の自己蒸留フレームワークを提案する。
本フレームワークは, 学習知識を得るために, スパースラベル-外観符号化, オブジェクト間関係適応, オブジェクト内知識マッピングを含む。
従来の教師ベースのFGFIと比較すると、LGDは予習された教師を必要とせず、本質的な学生学習よりも51%低い訓練コストで性能が向上する。
論文 参考訳（メタデータ） (2021-09-23T16:55:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。