論文の概要: FAAST: Forward-Only Associative Learning via Closed-Form Fast Weights for Test-Time Supervised Adaptation

• arxiv url: http://arxiv.org/abs/2605.04651v2
• Date: Fri, 08 May 2026 13:38:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 16:31:22.918021
• Title: FAAST: Forward-Only Associative Learning via Closed-Form Fast Weights for Test-Time Supervised Adaptation
• Title（参考訳）: FAAST: テスト時間監視適応のための閉じた高速ウェイトによるフォワードオンリーの連想学習
• Authors: Guangsheng Bao, Hongbo Zhang, Han Cui, Ke Sun, Yanbin Zhao, Juncai He, Yue Zhang,
• Abstract要約: FAASTはラベル付きサンプルを解析的に1パスで高速な重みにコンパイルする。 適応時間を90%以上短縮しつつ, FAAST の適合性を示した。 その結果、FAASTは教師付きタスク適応のための、高度に効率的でスケーラブルなソリューションであることが示された。
• 参考スコア（独自算出の注目度）: 22.70191618497559
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adapting pretrained models typically involves a trade-off between the high training costs of backpropagation and the heavy inference overhead of memory-based or in-context learning. We propose FAAST, a forward-only associative adaptation method that analytically compiles labeled examples into fast weights in a single pass. By eliminating memory or context dependence, FAAST achieves constant-time inference and decouples task adaptation from pretrained representation. Across image classification and language modeling benchmarks, FAAST matches or exceeds backprop-based adaptation while reducing adaptation time by over 90% and is competitive to memory/context-based adaptation while saving memory usage by up to 95%. These results demonstrate FAAST as a highly efficient, scalable solution for supervised task adaptation, particularly for resource-constrained models. We release the code and models at https://github.com/baoguangsheng/faast.
• Abstract（参考訳）: 事前訓練されたモデルに適応するには、一般的に、バックプロパゲーションの高いトレーニングコストと、メモリベースまたはコンテキスト内学習の重い推論オーバーヘッドとの間のトレードオフが伴う。 本稿では,ラベル付きサンプルを高速な重みに1回のパスで解析的にコンパイルする,フォワードオンリーな連想適応手法であるFAASTを提案する。 メモリ依存やコンテキスト依存をなくすことで、FAASTは一定の時間推論を達成し、事前訓練された表現からタスク適応を分離する。 画像分類と言語モデリングのベンチマーク全体において、FAASTはバックプロップベースの適応と一致し、適応時間を90%以上削減し、メモリ使用量を最大95%削減しながらメモリ/コンテキストベースの適応と競合する。 これらの結果からFAASTは,特に資源制約モデルにおいて,教師付きタスク適応のための高効率でスケーラブルなソリューションであることが示された。 コードとモデルはhttps://github.com/baoguangsheng/faast.comで公開しています。

関連論文リスト

• Test-Time Alignment via Hypothesis Reweighting [56.71167047381817]
  大規模な事前訓練されたモデルは、しばしば未指定のタスクで苦労する。 テストタイムのユーザ意図にモデルを整合させるという課題に対処する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-11T23:02:26Z)
• Not All Adapters Matter: Selective Adapter Freezing for Memory-Efficient Fine-Tuning of Language Models [10.593991842751631]
  アダプタチューニングは、軽量なトレーニング可能なモジュールを導入することで、パラメータ効率の良い微調整を提供する。 各アダプタはタスク性能とリソース使用量の両方に不平等に寄与することを示す。 Selective Adapter FrEezing (SAFE, Selective Adapter FrEezing) を提案する。
  論文  参考訳（メタデータ） (2024-11-26T08:41:45Z)
• Adaptive Adapter Routing for Long-Tailed Class-Incremental Learning [55.384428765798496]
  新しいデータは、Eコマースプラットフォームレビューのような、長期にわたる流通を示す。 これは、忘れずに不均衡なデータを連続的なモデルで学習する必要がある。 LTCILの例として,AdaPtive Adapter Routing (APART) を提案する。
  論文  参考訳（メタデータ） (2024-09-11T17:52:00Z)
• Test-Time Model Adaptation with Only Forward Passes [68.11784295706995]
  テストタイム適応は、トレーニング済みのモデルを、潜在的に分布シフトのある未確認テストサンプルに適応させるのに有効であることが証明されている。 テスト時間フォワード最適化適応法(FOA)を提案する。 FOAは量子化された8ビットのViTで動作し、32ビットのViTで勾配ベースのTENTより優れ、ImageNet-Cで最大24倍のメモリ削減を実現する。
  論文  参考訳（メタデータ） (2024-04-02T05:34:33Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Time-, Memory- and Parameter-Efficient Visual Adaptation [75.28557015773217]
  バックボーンを介して勾配をバックプロパゲートしない適応法を提案する。 凍結した、事前訓練されたバックボーンの機能を利用する軽量ネットワークを並列に設計することで、これを実現する。
  論文  参考訳（メタデータ） (2024-02-05T10:55:47Z)
• Adaptive scheduling for adaptive sampling in POS taggers construction [0.27624021966289597]
  音声タグ作成における機械学習の新たな手法として適応的サンプリングのための適応的スケジューリングを提案する。 本研究では,関数モデルとともに幾何学的に学習曲線の形状を分析し,任意のタイミングで学習曲線を増減する。 また,評価の一時的なインフレーションを受けるトレーニングデータベースの領域に注意を払い,サンプリングの堅牢性も向上する。
  論文  参考訳（メタデータ） (2024-02-04T15:02:17Z)
• The Right Tool for the Job: Matching Model and Instance Complexities [62.95183777679024]
  NLPモデルが大きくなればなるほど、訓練されたモデルを実行するには、金銭的・環境的なコストを発生させる重要な計算資源が必要である。 我々は、推論中、早期(かつ高速)の"exit"を可能にする文脈表現微調整の修正を提案する。 3つのテキスト分類データセットと2つの自然言語推論ベンチマークの2つのタスクで、5つの異なるデータセットに対して提案した修正を検証した。
  論文  参考訳（メタデータ） (2020-04-16T04:28:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。