論文の概要: ZeroSiam: An Efficient Siamese for Test-Time Entropy Optimization without Collapse

• arxiv url: http://arxiv.org/abs/2509.23183v1
• Date: Sat, 27 Sep 2025 08:37:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.089829
• Title: ZeroSiam: An Efficient Siamese for Test-Time Entropy Optimization without Collapse
• Title（参考訳）: ZeroSiam: 崩壊のないテスト時間エントロピー最適化のための効率的なシム
• Authors: Guohao Chen, Shuaicheng Niu, Deyu Chen, Jiahao Yang, Zitian Zhang, Mingkui Tan, Pengcheng Wu, Zhiqi Shen,
• Abstract要約: 我々は、テスト時間エントロピー最小化に適した効率的な非対称なシームズアーキテクチャであるZeroSiamを紹介する。 ZeroSiamは非対称な分散アライメントによる崩壊を防止し、学習可能な予測器と停止勾配演算子によって効率的に達成される。 我々は、ZeroSiamが崩壊解を予防するだけでなく、バイアス学習信号の吸収と正則化を図り、崩壊が起こらない場合でも性能を向上させるという実証的および理論的証拠を提供する。
• 参考スコア（独自算出の注目度）: 45.0314640277594
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Test-time entropy minimization helps adapt a model to novel environments and incentivize its reasoning capability, unleashing the model's potential during inference by allowing it to evolve and improve in real-time using its own predictions, achieving promising performance. However, pure entropy minimization can favor non-generalizable shortcuts, such as inflating the logit norm and driving all predictions to a dominant class to reduce entropy, risking collapsed solutions (e.g., constant one-hot outputs) that trivially minimize the objective without meaningful learning. In this paper, we introduce ZeroSiam, an efficient asymmetric Siamese architecture tailored for test-time entropy minimization. ZeroSiam prevents collapse through asymmetric divergence alignment, which is efficiently achieved by a learnable predictor and a stop-gradient operator before the classifier. We provide empirical and theoretical evidence that ZeroSiam not only prevents collapse solutions, but also absorbs and regularizes biased learning signals, enhancing performance even when no collapse occurs. Despite its simplicity, extensive results show that ZeroSiam performs more stably over prior methods using negligible overhead, demonstrating efficacy on both vision adaptation and large language model reasoning tasks across challenging test scenarios and diverse models, including tiny models that are particularly collapse-prone.
• Abstract（参考訳）: テストタイムのエントロピーの最小化は、モデルを新しい環境に適応させ、推論能力を高めるのに役立つ。 しかし、純粋なエントロピー最小化は、ロジットノルムを膨らませたり、すべての予測を支配階級に推し進めたり、崩壊した解(例えば、一定の1ホットアウトプット)を危険にさらすような一般化不可能なショートカットを好むことができる。 本稿では、テスト時間エントロピー最小化に適した効率的な非対称なシームズアーキテクチャであるZeroSiamを紹介する。 ZeroSiamは非対称な発散アライメントによる崩壊を防止し、これは学習可能な予測器と、分類器の前に停止勾配演算子によって効率的に達成される。 我々は、ZeroSiamが崩壊解を予防するだけでなく、バイアス学習信号の吸収と正則化を図り、崩壊が起こらない場合でも性能を向上させるという実証的および理論的証拠を提供する。 その単純さにもかかわらず、より広範な結果は、ZeroSiamが無視できるオーバーヘッドを使って以前の方法よりも安定して実行し、視覚適応と大規模な言語モデル推論のタスクにおいて、特に崩壊しがちな小さなモデルを含む、挑戦的なテストシナリオと多様なモデルにわたる効果を示すことを示している。

関連論文リスト

• Ranked Entropy Minimization for Continual Test-Time Adaptation [7.5140668729696145]
  テストタイム適応は、テスト時間中に学習することで、オンラインで現実的な環境に適応することを目的としている。 エントロピーの最小化は、その効率性と適応性のためにテスト時間適応の主要な戦略として現れている。 本稿では,エントロピー最小化法の安定性問題を軽減するために,ランク付けエントロピー最小化を提案する。
  論文  参考訳（メタデータ） (2025-05-22T09:29:38Z)
• From Data to Uncertainty Sets: a Machine Learning Approach [5.877778007271621]
  我々は、堅牢な最適化を活用し、機械学習モデルの出力の不確実性に対する制約を保護する。 我々は違反の可能性を強く保証する。 合成計算実験では、この手法は他の手法よりも1桁小さい半径を持つ不確実性集合を必要とする。
  論文  参考訳（メタデータ） (2025-03-04T01:30:28Z)
• Improving Pre-trained Self-Supervised Embeddings Through Effective Entropy Maximization [25.854403747410146]
  自己教師型学習のための効果的なエントロピー基準(E2MC)を考案した。 すでにトレーニングされているSSLモデルのトレーニングをほんの一握りのエポックで継続することで、一貫性があり、場合によっては、ダウンストリームのパフォーマンスが大幅に改善されることを実証しています。 また、代替基準による事前トレーニングが顕著な改善につながらず、場合によっては性能を低下させることも示している。
  論文  参考訳（メタデータ） (2024-11-24T17:38:23Z)
• COME: Test-time adaption by Conservatively Minimizing Entropy [45.689829178140634]
  保守的に最小化されるエントロピー (COME) は従来のエントロピー (EM) の代替品である COMEはモデル予測よりもディリクレ事前分布を特徴付けることによって、不確実性を明示的にモデル化する。 我々はCOMEが一般的なベンチマークで最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-10-12T09:20:06Z)
• Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
  ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。 両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。 転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2023-10-10T10:48:52Z)
• Predicting Emergent Abilities with Infinite Resolution Evaluation [85.89911520190711]
  本稿では,デコードフェーズにおける大規模なサンプリングを通じて,理論的に無限の分解能を持つ評価戦略であるPassUntilを紹介する。 トレーニング開始前に0.05%の偏差でコード生成における2.4Bモデルの性能を予測する。 スケーリング曲線が標準スケーリング法則関数に適合できないような,高速化された出現の種を同定する。
  論文  参考訳（メタデータ） (2023-10-05T02:35:00Z)
• REALM: Robust Entropy Adaptive Loss Minimization for Improved Single-Sample Test-Time Adaptation [5.749155230209001]
  フルテスト時間適応(F-TTA)は、列車とテストデータの分散シフトによる性能損失を軽減することができる。 本稿では,F-TTAの雑音に対する堅牢性向上のための一般的な枠組みについて述べる。
  論文  参考訳（メタデータ） (2023-09-07T18:44:58Z)
• Understanding Collapse in Non-Contrastive Learning [122.2499276246997]
  モデルがデータセットサイズに対して小さすぎる場合,SimSiam表現が部分次元崩壊することを示す。 本稿では,この崩壊の度合いを計測し,微調整やラベルを使わずに下流のタスク性能を予測できる指標を提案する。
  論文  参考訳（メタデータ） (2022-09-29T17:59:55Z)
• Reparameterized Variational Divergence Minimization for Stable Imitation [57.06909373038396]
  確率的発散の選択における変動が、より高性能なILOアルゴリズムをもたらす可能性について検討する。 本稿では,提案する$f$-divergence最小化フレームワークの課題を軽減するために,逆模倣学習のための再パラメータ化手法を提案する。 経験的に、我々の設計選択は、ベースラインアプローチより優れ、低次元連続制御タスクにおける専門家のパフォーマンスとより密に適合するIOOアルゴリズムを許容することを示した。
  論文  参考訳（メタデータ） (2020-06-18T19:04:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。