論文の概要: TAM: Task-Aware Memory Distillation for Efficient Spatiotemporal Prediction

• arxiv url: http://arxiv.org/abs/2610.11617v1
• Date: Thu, 08 Oct 2026 09:58:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.939259
• Title: TAM: Task-Aware Memory Distillation for Efficient Spatiotemporal Prediction
• Title（参考訳）: TAM:効率的な時空間予測のためのタスク認識メモリ蒸留
• Abstract要約: Task-Aware Memory Distillationフレームワークは、凍結した教師の知識を、有界で検索可能な歴史に整理する。 複数の教師構成における映像予測,天気予報,交通流予測について検討した。
• 参考スコア（独自算出の注目度）: 31.041472724756833
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Knowledge distillation enables efficient spatiotemporal prediction by transferring knowledge from an accurate teacher to a compact student. However, matching outputs or features independently for each sample leaves cross-sample predictive structure underused. Exploiting this structure requires representations and historical references that reflect the dynamics of each task. We propose TAM, a Task-Aware Memory Distillation framework that organizes a frozen teacher's knowledge into a bounded, retrievable history. Memory entries encode latent features, forecast changes, or flow residuals, while task-specific selection rules identify relevant historical references. The student either matches the teacher's similarity distribution over shared references or regresses observation-conditioned residual prototypes. These objectives complement supervised prediction and conventional distillation. The teacher, memory, and auxiliary adapters are used only during training, leaving student inference unchanged. We evaluate TAM on video prediction, weather forecasting, and traffic flow prediction across multiple teacher-student configurations. Averaged over four paired runs, adding TAM improves SSIM on all six video datasets and reduces MSE on five relative to the corresponding KD baselines. Mean paired MSE reductions reach 1.86% on KittiCaltech, 1.93% on WeatherBench with a gSTA teacher, and 1.01% on TaxiBJ. These results demonstrate the utility of historical teacher supervision across distinct forecasting tasks without additional student inference cost.
• Abstract（参考訳）: 知識蒸留は、正確な教師からコンパクトな学生に知識を伝達することで、効果的な時空間予測を可能にする。 しかし、サンプルの葉ごとに独立して出力や特徴が一致し、クロスサンプル予測構造が過小評価された。 この構造をエクスプロイトするには、各タスクのダイナミクスを反映した表現と履歴参照が必要である。 我々は,凍結した教師の知識を有界かつ検索可能な歴史に整理するタスク認識メモリ蒸留フレームワークTAMを提案する。 メモリエントリは遅延特徴、予測変更、フロー残留をエンコードし、タスク固有の選択ルールは関連する履歴参照を識別する。 学生は、共有参照に対して教師の類似度分布を一致させるか、観察条件付き残留プロトタイプを回帰させるかのいずれかである。 これらの目的は、監督された予測と従来の蒸留を補完する。 教師、記憶、補助アダプタは訓練時にのみ使用され、学生の推測は変わらない。 教師と学生の複数構成における映像予測,天気予報,交通流予測について検討した。 平均4ペア以上の実行で、TAMを追加することで、6つのビデオデータセットのSSIMが改善され、対応するKDベースラインに対する5つのMSEが削減される。 Mean paired MSE reductions is to 1.86% on KittiCaltech, 1.93% on WeatherBench with a gSTA teacher, 1.01% on TaxiBJ。 これらの結果は,学生の推論コストを増大させることなく,個別の予測課題にまたがる歴史教師の指導の有用性を示すものである。

関連論文リスト

• Distillation of Tabular Foundation Models into Efficient Predictors [8.331524801839162]
  タブラル基礎モデル(TFM)は、文脈内学習によって強い予測性能を達成する。 ラベル付きデータに対する繰り返し条件付けは推論を高価にする。 知識蒸留は、データセット固有の学生に予測能力を移すことで、このコストを削減することができる。
  論文  参考訳（メタデータ） (2026-10-01T10:31:22Z)
• Activation-Conditioned Self-Distillation [25.28242612860113]
  オンラインの自己蒸留は、モデルを独自の教師として利用し、推論のための密集した監督を提供する。 本稿では, 自己生成トラジェクトリの活性化を対比することにより, ステアリングベクトルを抽出する, アクティベーション・コンディション・セルフ蒸留(ACSD)を導入する。 ACSDは評価手法の中で4つの数学的ベンチマークよりも高い平均精度を達成している。
  論文  参考訳（メタデータ） (2026-09-29T18:06:56Z)
• Generative Diffusion Prior Distillation for Long-Context Knowledge Transfer [3.5218695787734826]
  この研究は知識蒸留を用いて、部分時系列分類器に全系列の一般化能力を持たせる。 提案する生成拡散優先蒸留(GDPD)は,短文学生の特徴を対象のフルコンテキスト特徴の劣化観察として扱う新しいKDフレームワークである。 GDPDは、各学生の特徴にタスク関連長文知識の分布を与え、部分分類タスクの学習に役立てる。
  論文  参考訳（メタデータ） (2026-05-12T02:06:05Z)
• Adaptive Retention & Correction: Test-Time Training for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Graph Consistency based Mean-Teaching for Unsupervised Domain Adaptive Person Re-Identification [54.58165777717885]
  本論文では,教師ネットワークと学生ネットワークの間にGCC(Graph Consistency Constraint)を構築するためのGCMT(Graph Consistency Based Mean-Teaching)手法を提案する。 マーケット-1501、デュークMTMCreID、MSMT17の3つのデータセットの実験により、提案されたGCMTは最先端の手法よりも明確なマージンで優れていることが示された。
  論文  参考訳（メタデータ） (2021-05-11T04:09:49Z)
• Deep Semi-supervised Knowledge Distillation for Overlapping Cervical Cell Instance Segmentation [54.49894381464853]
  本稿では, ラベル付きデータとラベルなしデータの両方を, 知識蒸留による精度向上に活用することを提案する。 摂動に敏感なサンプルマイニングを用いたマスク誘導型平均教師フレームワークを提案する。 実験の結果,ラベル付きデータのみから学習した教師付き手法と比較して,提案手法は性能を著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-21T13:27:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。