論文の概要: Adapting Without Gradients: Affine Statistics Transport and What Its Certificate Can Tell You
- arxiv url: http://arxiv.org/abs/2609.00374v1
- Date: Mon, 31 Aug 2026 21:07:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-02 16:31:36.100821
- Title: Adapting Without Gradients: Affine Statistics Transport and What Its Certificate Can Tell You
- Title（参考訳）: アフィン統計(Affine Statistics Transport, Affine Statistics Transport)と、その証明が教えてくれるもの
- Abstract要約: テスト時間適応は、モデルパラメータを推論時に更新できると仮定する。
学習したモデルが凍結したままでいなければならない場合、適応性について研究する。
本稿では、ソースクラス統計を識別サブ空間に格納するCASTERを紹介する。
- 参考スコア（独自算出の注目度）: 0.8594140167290097
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Test-time adaptation (TTA) typically assumes that model parameters can be updated at inference time. This assumption is restrictive for inference-only accelerators, frozen or third-party models, and memory-constrained deployments, and standard BatchNorm-based TTA configurations may also become inactive on architectures without BatchNorm. We study adaptation when the learned model must remain frozen. We introduce CASTER, a gradient-free method that stores source class statistics in a discriminative subspace, estimates a class-shared affine transformation from target-batch moments, and analytically transports the source class distributions before classification. CASTER requires no backward pass, optimizer state, or stored source feature bank. Across four backbones and seven datasets, it outperforms k-NN on identical frozen features in 27 of 28 backbone-dataset settings while retaining a median of 18x less state. Affine transport is not always reliable. On ImageNet-C, where batches contain only 64 samples for 1000 classes, unconditional transport loses 21.2 top-1 points. We therefore introduce an empirical residual-to-margin transportability certificate. Across 307 evaluation cells, every transport losing more than 10 points has certificate value above 3.9, although benign and destructive regimes are not perfectly separated. Gating converts an average $-3.35$-point effect of unconditional transport into a +1.69-point gain, and performance remains within 0.3 points of the best threshold over a broad threshold range. Finally, we show that this certificate is mechanism-specific: when applied to Tent, it accepts only $4.3\%$ of updates and preserves 0.6% of Tent's available gain. These results position CASTER as a lightweight adaptation mechanism for frozen-model deployment, together with an explicit account of when its safety signal is informative and when it is not.
- Abstract（参考訳）: テスト時間適応(TTA)は通常、モデルパラメータを推論時に更新できると仮定する。
この仮定は、推論のみのアクセラレータ、フリーズまたはサードパーティモデル、メモリ制限されたデプロイメント、および標準的なBatchNormベースのTTA設定が、BatchNormなしではアーキテクチャ上でもアクティブになる可能性がある。
学習したモデルが凍結したままでいなければならない場合、適応性について研究する。
本稿では,ソースクラス統計を識別サブ空間に格納し,ターゲットバッチモーメントからクラス共有アフィン変換を推定し,分類前のソースクラス分布を解析的に輸送する,勾配のないCASTERを紹介する。
CASTERは、後方パス、オプティマイザステート、またはストアドソースフィーチャーバンクを必要としない。
4つのバックボーンと7つのデータセットで、28のバックボーンデータセット設定のうち27の同じフリーズ機能でk-NNを上回り、中央値の18倍の状態を保っている。
アフィン輸送は必ずしも信頼できるとは限らない。
ImageNet-Cでは、バッチには1000クラスの64のサンプルしか含まれていないが、unconditional transportは21.2のトップ-1ポイントを失う。
そこで我々は,実証的残差輸送性証明を導入する。
307個の評価細胞のうち、10点以上を失った全ての輸送体は3.9以上の認証値を持つが、良性および破壊的な体制は完全には分離されていない。
ゲーティングは、無条件輸送の平均$3.35$-point効果を+1.69ポイントのゲインに変換し、性能は広い閾値範囲で最高の閾値の0.3ポイント以内に留まる。
最後に、この証明書はメカニズム固有のものであることを示す: Tent に適用された場合、更新の 4.3 % しか受け付けず、Tent の利用可能な利益の 0.6% を保存している。
これらの結果は、CASTERを凍結モデル展開のための軽量適応機構として位置づけ、安全信号がいつ通知されるか、それがそうでないかを明確に記述した。
関連論文リスト
- Steering Under Compression: Dose-Response, Capability Cost, and Failure Asymmetry in Quantized LLMs [0.0]
推論時ステアリングは、パラメータ修正なしで大きな言語モデルの振る舞い制御を可能にする。
トレーニング後の量子化により、デプロイメントのメモリと計算コストが削減される。
重量のみの量子化下での活性化ステアリングを系統的に研究する。
論文 参考訳（メタデータ） (2026-09-06T08:41:42Z) - SAM3-LoRA: Parameter-Efficient Adaptation of a Concept-Promptable Foundation Model for Multi-Class Structural Defect Segmentation [0.0]
本研究は,多層構造欠陥セグメンテーションにおけるローランド適応(LoRA)をSAM3に適用する。
本稿では,COCOスタイルのクラスラベルインスタンスセグメンテーションから直接,概念実証可能なモデルをトレーニングする監督手順について述べる。
論文 参考訳（メタデータ） (2026-08-31T23:19:59Z) - SpikeWorld: Fast-State Adaptation for Frozen Spiking World Models [0.0]
ヘテロジニアスな感覚予測,セマンティクス,画像テキストバインディング,動作条件付きダイナミクスを共同で訓練した1.45MスパーススパイキングモデルであるSpikeWorldを紹介する。
共同最適化により、アクション次世代MSEは17.10%改善され、マルチモーダル予測、セマンティック精度、画像テキスト検索が改善された。
論文 参考訳（メタデータ） (2026-08-07T18:57:06Z) - DG-FedReuse: Proxy-Gradient-Gated Cached-Update Reuse with Matched Sparse Uplink Accounting [0.0]
DG-FedReuseは、選択したクライアントがキャッシュされた更新にコントリビュートできるようにするシミュレータレベルのメカニズムである。
実験には、6つのイメージ分類データセット、50の仮想クライアント、Dirichletラベルクライアント、3つのシードが含まれている。
DG-FedReuseは83.36-85.42%のモデルで更新データフィールドのアップリンクを節約したが、Top-K FedAvgは76.88%だった。
論文 参考訳（メタデータ） (2026-08-05T19:30:04Z) - Forgetful Attention: A Trainable Support-Vector Memory with Certified Selection and Exact Unlearning [0.16921396880325776]
固定ボックスパラメータCの1クラスSfpの支持係数が重みを持つメモリであるSupport Vector Attention(SV-Attention)を導入する。
アクティブセットのパーティションは、リザーブトークンを正確にゼロウェイト、出力ウェイトを与え、インクリメンタルインクリメンタルソルバトークンは、同じCの下で再トレーニングせずに生成した状態を回復する。
また,実文埋め込み上での外科的排除,正確な編集,患者記録の削除,忘れやすい検索メモリも示す。
論文 参考訳（メタデータ） (2026-07-13T23:13:57Z) - Closed-loop Auto Research for Molecular Property Prediction: Discovering and Certifying Generalizable Improvements [23.74905101390208]
クローズドループのAuto Researchは、機械学習を固定データセットフィッティングから研究ワークフローの変更まで拡張する。
この作用空間が、それらを選択する検証信号を超えた一般化をもたらすかどうかを問う。
3つのベンチマークスイートの36以上のエンドポイントで、検索が決して読まれないホールドアウトテストで、選択した構成をスコア付けします。
論文 参考訳（メタデータ） (2026-06-22T00:18:27Z) - Online Shift Detection and Conformal Adaptation for Deployed Safety Classifiers [0.0]
デプロイされた安全分類器における分散シフトのオンラインモニタリングシステムを提案する。
検出後、共形吸収層は、目標誤差を回復する決定に適応する。
このシステムは平均遅延39.5800ステップで86.6%の検知を実現している。
論文 参考訳（メタデータ） (2026-06-10T11:24:25Z) - Hierarchical Certified Semantic Commitment for Byzantine-Resilient LLM-Agent Collaboration [30.310793549183117]
本稿では,BFTにインスパイアされたプロトコルH-CSC(Hierarchical Certified Semantic Commitment)を紹介する。
H-CSCはBFT対応バケット(0.31から2.04度)に低角偏差でコミットし、意図したようにBFTを超えるラウンド(n3f+1)の100%を中止する。
論文 参考訳（メタデータ） (2026-06-05T14:35:58Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - SNAP: Low-Latency Test-Time Adaptation with Sparse Updates [31.155455736641116]
テスト時間適応(TTA)は、ラベルのないテストデータを使用してモデルを調整し、動的分散シフトを処理する。
SNAPは,精度を保ちながら適応周波数とデータ使用量を削減できるスパースTTAフレームワークである。
SNAPは、受信したデータストリームの1%のみに基づいて適応しても、競争精度を維持する。
論文 参考訳（メタデータ） (2025-11-19T09:40:24Z) - Purge-Gate: Backpropagation-Free Test-Time Adaptation for Point Clouds Classification via Token Purging [33.86980091897939]
Token Purging (PG) はバックプロパゲーションフリーのアプローチで、注意層に到達する前にドメインシフトの影響が大きいトークンを取り除く。
我々は、ソース統計を利用するPG-SPと、CLS-token-driven adaptationに依存する完全ソースフリーバージョンPG-SFの2つのバリエーションを提案する。
PG-SPは最先端のバックプロパゲーションフリーメソッドよりも平均+10.3%高い精度を達成し、PG-SFはソースフリー適応のための新しいベンチマークを設定できる。
論文 参考訳（メタデータ） (2025-09-11T18:33:40Z) - Unified Entropy Optimization for Open-Set Test-Time Adaptation [40.111891407629]
テスト時間適応(TTA)は、ラベル付きソースドメインで事前訓練されたモデルをラベルなしターゲットドメインに適応することを目的としている。
多くの最先端のクローズドセットTTAメソッドは、オープンセットのシナリオに適用した場合、性能が良くない。
統一エントロピー最適化(UniEnt)と呼ばれるシンプルだが効果的なフレームワークを提案する。
論文 参考訳（メタデータ） (2024-04-09T07:08:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。