論文の概要: Preserving rare-item recall under a storage budget: quantization, distillation, and the limits of teacher fidelity

• arxiv url: http://arxiv.org/abs/2610.36267v1
• Date: Mon, 26 Oct 2026 20:41:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.432333
• Title: Preserving rare-item recall under a storage budget: quantization, distillation, and the limits of teacher fidelity
• Title（参考訳）: 貯蓄予算下におけるレアイムリコールの保存--定量化, 蒸留, 教師の忠実度限界
• Abstract要約: 固定組込み保存予算の下では、推奨者は小さな完全精度モデル、蒸留された学生、より高階の低精度モデルを使用することができる。 我々は,レアイトムリコールをどの選択で保存するか,教師の忠実度が7つのデータセットバックボーン細胞に反映しているかを質問した。
• 参考スコア（独自算出の注目度）: 10.720985236309462
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Under a fixed embedding-storage budget, recommenders can use a small full-precision model, a distilled student, or a higher-rank low-precision model. We asked which choice preserves rare-item recall and whether teacher fidelity reflects it in seven dataset-backbone cells: matrix factorization on Gowalla, Last.fm, Amazon Video Games, Steam, Goodbooks-10k and MovieLens-20M, and LightGCN on Amazon Video Games. Seven candidates fit in 168 bytes per user or item row: 40-dimensional Bayesian personalized ranking (BPR), two 40-dimensional unbiased knowledge distillation (UnKD) students, and factorizations of a 300-dimensional teacher's scores at ranks 40, 80, 155 and 300, stored in 32, 16, 8 and 4 bits. Each test set was evaluated once after fixing candidates and confirmatory analyses. The rank-300 4-bit factorization used 13% of teacher storage and retained 95-103% of its tail recall@20 and 93-97% of its NDCG@20 in every cell. The rank-40 factorization had the lowest tail recall in every cell; the 4-bit factorization had 1.2-12.7 times its tail recall and 0.99-1.46 times its NDCG. UnKD students retained 56-102% of teacher tail recall. In all ten prespecified comparisons across five prospective-expansion cells, the 4-bit factorization had higher tail recall, with simultaneous 95% intervals excluding zero. Teacher-hit retention, the share of the teacher's relevant tail hits also found by a model, ordered 23 of 147 candidate pairs differently from tail recall and identified the wrong tail-recall leader in 3 of 7 cells: models can find relevant tail items the teacher misses. In these cells, spending bytes on rank rather than precision preserved rare-item recall at 7.5 times the arithmetic per score. Compressed recommenders should be judged by total tail recall, not teacher fidelity alone.
• Abstract（参考訳）: 固定組込み保存予算の下では、推奨者は小さな完全精度モデル、蒸留された学生、より高階の低精度モデルを使用することができる。 Gowalla、Last.fm、Amazon Video Games、Steam、Goodbooks-10k、MovieLens-20M、LightGCNの行列分解です。 7つの候補が168バイト/ユーザまたはアイテム列に収まる:40-D Bayesian Personal ranking (BPR)、2つの40-D Unbiased knowledge distillation (UnKD)学生、2つの300-D teacher's scores at rank 40, 80, 155, 300, stored in 32, 16, 8 and 4 bits。 各テストセットは、候補の修正と確認分析の後に1回評価された。 ランク300の4ビットの分解は、教師の記憶の13%を使用し、テールリコール@20の95～103%、NDCG@20の93～97%を各セルに保持した。 ランク40の因子化は全てのセルの中で最も低いテールリコールを持ち、4ビットの因子化はテールリコールの1.2-12.7倍、NDCGの0.99-1.46倍であった。 UnKDの学生は56-102%の教師の尾のリコールを維持した。 4ビットの因子化では、ゼロを除く95%の間隔で、テールリコールが高くなった。 教師のテールヒットのシェアである教師のテール保持は、モデルによっても検出され、テールリコールとは異なる147組の候補ペアのうち23組が発注され、7つのセルのうち3つで間違ったテールリコールリーダーが特定された。 これらのセルでは、精度よりもランクにバイトを費やすことで、スコア当たりの算術の7.5倍のレアイタムリコールが保存される。 圧縮された推薦者は教師の忠実さだけでは無く、完全なテールリコールによって判断されるべきである。

関連論文リスト

• BetaMem: Learning to Remember a Changing World for Embodied Agents [11.634689249331707]
  トレーサブルな長期メモリの構築と進化のためのフレームワークであるBetaMemを紹介します。 オープンソースのQwen3.5-9Bモデルを使用してメモリ生成を行い、BetaMemはM3-Bench-robotで48.08%のスコアを得る。 EMem-Benchでの別のQwen3-VL-8Bインストラクション評価では、平均成功率は38.4%、平均エラー再発率は24.9%である。
  論文  参考訳（メタデータ） (2026-10-19T15:13:56Z)
• MemoProAgent: Toward Memory-Driven Proactive Assistance [62.65924263961032]
  MemoProBenchは、メモリ駆動型プロアクティブアシストのベンチマークである。 それは、エゴセントリックなビデオと、年長で気を散らすようなユーザー記憶を合わせたものだ。 トレーニングなしでは、MemoProAgentはQwen3.8-27Bで10%未満から37.5%、GPT-5.3-Chatで38%まで厳格な精度を上げた。
  論文  参考訳（メタデータ） (2026-10-15T21:40:17Z)
• Plan-Conditioned Imitation for Robust Object Retrieval under Self-Occlusion in Dense Clutter [22.623162223217278]
  TRACEは自己閉塞下での検索のための計画条件付き模倣フレームワークである。 特権教師が固定名義ロールアウトを生成するデジタルツインを初期化する。 TRACEは、名目上のリプレイが43.4%、特権的な閉ループ教師が96.7%に対して90.7%の成功を収めている。
  論文  参考訳（メタデータ） (2026-09-30T03:15:22Z)
• Constant-Memory Recall: Learned Associations in a Fixed Matrix State [0.0]
  固定サイズのリカレントメモリは、推論中のストレージ増加を制限するが、リコールの成功はタスクとトレーニングに依存する。 固定トークン固有の鍵バイアスを持つ小さなDeltaNet変種について検討し,32個の新しいキー値ペアリングをシーケンス毎に記憶するように訓練した。 32の繰り返し行列状態で、配列の値の中から選択すると、3つの訓練種子の平均精度が99.95%に達する。
  論文  参考訳（メタデータ） (2026-09-23T00:17:36Z)
• Kathleen Remembers: Length-Invariant One-Shot Recall Without Attention [0.0]
  ノートブック」は、学習されたローカル書き込みゲートを備えた固定キーホログラフィック(HRR)連想ストアを有する。 書き込みトリガード・ドレッシングは、メモリ汚染を8倍の長さで排除する。 実験は事前登録され、シードが報告され、単一のフリー層GPUで再現可能である。
  論文  参考訳（メタデータ） (2026-08-31T07:35:03Z)
• Benchmarking Federated Learning and Knowledge Distillation for Point Cloud Classification [5.584060970507507]
  本稿では,3次元点雲分類のための連成学習(FL)と知識蒸留(KD)を併用して評価する。 13のFLアルゴリズムと10のKD目標(130対のクロスプロダクト)を504のトレーニング実行に当てはめ、ModelNet40と臨床クラニオシノスタシスデータセットで評価されている。
  論文  参考訳（メタデータ） (2026-06-30T20:12:27Z)
• ZenBrain: A Neuroscience-Inspired 7-Layer Memory Architecture for Autonomous AI Systems [51.56484100374058]
  LongMemEval-500では、ZenBrainは長いコンテキストのオラクルのバイナリ・ジャッジの精度を4.5pp以内と一致させる。 ZenBrainは7層の神経科学にインスパイアされたメモリアーキテクチャである。
  論文  参考訳（メタデータ） (2026-04-26T20:39:19Z)
• ImplicitMemBench: Measuring Unconscious Behavioral Adaptation in Large Language Models [60.14219417402433]
  LLMエージェントの既存のメモリベンチマークは、事実の明示的なリコールを評価するが、意識的な検索なしに、経験が自動的な振る舞いになる暗黙の記憶を見落としている。 IndicitMemBenchは、非宣言的メモリの標準的な認知科学のアカウントから引き出された3つの構造を通して暗黙的メモリを評価する最初の体系的なベンチマークである。 当社の300イテムスイートでは,初動採点を備えたLearning/Priming-Interfere-Testプロトコルを統一しています。
  論文  参考訳（メタデータ） (2026-04-09T10:26:32Z)
• GaLore: Memory-Efficient LLM Training by Gradient Low-Rank Projection [133.45193150403537]
  LLM(Large Language Models)のトレーニングは、重み付けやGPU状態の増大によって、メモリ上の重大な問題が発生する。 本研究では,メモリ効率のトレーニング戦略としてグラディエント・ローランド・プロジェクション(GaLore)を提案する。 私たちの8ビットのGaLoreは、BF16ベースラインと比較して、メモリを82.5%、トレーニング総メモリを63.3%削減します。
  論文  参考訳（メタデータ） (2024-03-06T07:29:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。