論文の概要: Learning to Predict Distributions over Weight Updates for Test-Time Adaptation

• arxiv url: http://arxiv.org/abs/2610.01934v1
• Date: Thu, 01 Oct 2026 16:05:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.251576
• Title: Learning to Predict Distributions over Weight Updates for Test-Time Adaptation
• Title（参考訳）: テスト時間適応のための重み更新による分布予測の学習
• Abstract要約: LoRA推定のためのクエリ条件付きHypernetworksについて検討する。 パラメータアダプタの点推定を生成できる分布型Hypernetworksを導入する。 その結果,学習した分布の平均値を用いても,決定論的ハイパーネットよりも優れることがわかった。
• 参考スコア（独自算出の注目度）: 13.846252284401212
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hypernetworks have recently shown success in dynamically adapting the parameters of Large Language Models (LLMs) at runtime based on signals such as task descriptions or additional demostrations. Here we ask: how much adaptation signal can be obtained using only the input query to an LLM?. To answer this, we study query-conditioned Hypernetworks for LoRA estimation. Further, we introduce distributional Hypernetworks, able to produce not only point estimates of parameter adaptors, but also a distribution over possible LoRAs. For this we propose a simple end-to-end loss using a differentiable Monte Carlo approximation and explore multiple distribution parametrizations including regression and convex combination variants. Results show that even using the mean of the learned distribution can outperform deterministic hypernetworks. Crucially, the learned distribution enables a different form of test-time scaling: instead of spending additional compute only by sampling more token sequences from a fixed model, we sample weight updates, yielding multiple adapted models for the same query. Performance improves as more weight samples are considered and remains stronger than corresponding token-sampling adaptation baselines. Finally, we find that generated updates can transfer across queries, suggesting that the hypernetwork learns reusable structure in how the model should adapt. Together, these results show that query-conditioned distributions over weight updates can support both adaptation and test-time scaling.
• Abstract（参考訳）: Hypernetworksは最近、タスク記述や追加のデモのような信号に基づいて、実行時にLarge Language Models(LLM)のパラメータを動的に適応することに成功した。 LLMへの入力クエリのみを使用して、どの程度の適応信号が得られるのか? と。 これに対応するために,クエリ条件付きHypernetworksを用いてLoRA推定を行う。 さらに,パラメータアダプタの点推定だけでなく,可能なLORA上の分布も生成できる分布型Hypernetworksを導入する。 そこで本研究では,モンテカルロ近似を用いた簡易なエンド・ツー・エンド・ロス法を提案し,回帰と凸結合の変量を含む複数の分布パラメトリゼーションを探索する。 その結果,学習した分布の平均値を用いても,決定論的ハイパーネットよりも優れることがわかった。 重要なことは、学習されたディストリビューションは異なる形のテスト時間スケーリングを可能にしている。固定されたモデルからより多くのトークンシーケンスをサンプリングすることでのみ、追加の計算を使う代わりに、重み付け更新をサンプリングし、同じクエリに対して複数の適応モデルを生成する。 より多くの重量サンプルが考慮され、対応するトークンサンプリング適応ベースラインよりも強いため、性能が向上する。 最後に、生成された更新がクエリ間で転送可能であることを発見し、ハイパーネットワークがモデルが適応すべき再利用可能な構造を学ぶことを示唆する。 これらの結果は、重み付け更新によるクエリ条件付き分散が、適応性とテスト時間スケーリングの両方をサポートすることを示す。

関連論文リスト

• Sparse MLLM Anchors, Dense Adaptation: Breaking the Self-Referential Loop in Wild Test-Time Adaptation [17.055807559866093]
  我々は,MASA(Multimodal-LLM-Anchored Semantic Adaptation)を導入し,冷凍大言語モデル(MLLM)の構造化意味記述とモデル内部証拠を補完する。 MASAは記述をエンコードし、隣接するテストサンプルに伝達し、結果の視覚意味情報をオンラインのプロトタイプメモリに格納する。 WTTA ImageNet-CベンチマークのMASAをResNetとViTのバックボーンを用いて,制限バッチ,混合ドメイン,不均衡ラベルシフト設定で評価した。
  論文  参考訳（メタデータ） (2026-09-15T11:48:30Z)
• Test-Time Alignment via Hypothesis Reweighting [56.71167047381817]
  大規模な事前訓練されたモデルは、しばしば未指定のタスクで苦労する。 テストタイムのユーザ意図にモデルを整合させるという課題に対処する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-11T23:02:26Z)
• VE: Modeling Multivariate Time Series Correlation with Variate Embedding [0.4893345190925178]
  現在のチャネル非依存(CI)モデルとCI最終射影層を持つモデルは相関を捉えることができない。 可変埋め込み(VE)パイプラインを提案し,各変数に対して一意かつ一貫した埋め込みを学習する。 VEパイプラインは、CI最終プロジェクション層を持つ任意のモデルに統合して、多変量予測を改善することができる。
  論文  参考訳（メタデータ） (2024-09-10T02:49:30Z)
• Measuring training variability from stochastic optimization using robust nonparametric testing [5.519968037738177]
  本稿では,モデル類似度を測定するために,ロバストな仮説テストフレームワークと,新たな要約統計量である$alpha$-trimmingレベルを提案する。 仮説を$alpha$-trimmingレベルで直接適用することは、null仮説の下で分布を正確に記述できないため、難しい。 モデル変数の測定に$alpha$-trimmingレベルを使用する方法を示し、パフォーマンス指標よりも表現力が高いことを実験的に実証する。
  論文  参考訳（メタデータ） (2024-06-12T15:08:15Z)
• Test-Time Model Adaptation with Only Forward Passes [68.11784295706995]
  テストタイム適応は、トレーニング済みのモデルを、潜在的に分布シフトのある未確認テストサンプルに適応させるのに有効であることが証明されている。 テスト時間フォワード最適化適応法(FOA)を提案する。 FOAは量子化された8ビットのViTで動作し、32ビットのViTで勾配ベースのTENTより優れ、ImageNet-Cで最大24倍のメモリ削減を実現する。
  論文  参考訳（メタデータ） (2024-04-02T05:34:33Z)
• Flag Aggregator: Scalable Distributed Training under Failures and Augmented Losses using Convex Optimization [14.732408788010313]
  MLアプリケーションはますます、複雑なディープラーニングモデルと大規模なデータセットに依存している。 計算とデータをスケールするために、これらのモデルはノードのクラスタ内で分散的にトレーニングされ、それらの更新はモデルに適用される前に集約される。 これらの設定にデータ拡張を加えることで、堅牢で効率的なアグリゲーションシステムが必要である。 この手法は,最先端のビザンツ系レジリエントアグリゲータのロバスト性を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-02-12T06:38:30Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Flexible Model Aggregation for Quantile Regression [92.63075261170302]
  量子回帰は、予測の不確実性を定量化する必要性によって動機付けられた統計学習の基本的な問題である。 条件付き量子モデルの任意の数を集約する手法について検討する。 この論文で検討するモデルはすべて、現代のディープラーニングツールキットに適合します。
  論文  参考訳（メタデータ） (2021-02-26T23:21:16Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。