論文の概要: Von Mises-Fisher Mixture Model with Dynamic Shrinkage for Realistic Test-Time Transduction
- arxiv url: http://arxiv.org/abs/2607.15851v1
- Date: Fri, 17 Jul 2026 11:08:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-20 17:56:52.832956
- Title: Von Mises-Fisher Mixture Model with Dynamic Shrinkage for Realistic Test-Time Transduction
- Title（参考訳）: 動的収縮を伴うVon Mises-Fisher混合モデルによる実効試験時間変換
- Abstract要約: 動的収縮(MOON)を伴うVon Mises-Fisherモデルの混合
MOONは、単位超球面上の特徴表現をモデル化するために、von Mises-Fisher分布の混合の上に構築される。
信頼性の低い代入を抑え、不利なクラスからの有害な更新を防ぐ。
- 参考スコア（独自算出の注目度）: 29.23829287730805
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A range of methods aim to enhance the performance of vision-language models (VLMs) at test time. Among them, transduction has emerged as a promising paradigm due to its strong compatibility and efficiency. However, realistic evaluations often involve highly imbalanced class distributions, which cause performance degradation or even collapse. In this work, we systematically revisit transduction from the perspective of penalized likelihood estimation (PLE), showing that PLE with a KL-divergence anchor term naturally yields an adaptive shrinkage behavior between prior anchors and empirical estimates. From this viewpoint, the brittleness of transductive methods can be attributed to the absence of anchoring mechanism and static modeling of the shrinkage strength. Therefore, we propose Mixture of Von Mises-Fisher Models with Dynamic Shrinkage (MOON). MOON is built upon a mixture of von Mises-Fisher distributions to model feature representations on the unit hypersphere. To handle imbalance, MOON dynamically adjusts the shrinkage strength using zero-shot priors at both instance and class levels. Thus, it suppresses unreliable assignments and prevents harmful updates from outlier classes, thereby mitigating negative transfer. MOON is model-agnostic, training-free, and requires no task-specific hyperparameter tuning. Extensive experiments further validate the advantage of MOON in both performance and efficiency. Our code is available at https://github.com/walawalagoose/MOON
- Abstract（参考訳）: テスト時の視覚言語モデル(VLM)の性能向上を目的としている。
中でもトランスダクションは、互換性と効率が強いことから、有望なパラダイムとして現れています。
しかし、現実的な評価は、しばしば高い不均衡なクラス分布を伴い、性能劣化や崩壊を引き起こす。
本研究では,KL-発散アンカー項を持つpleが,先行アンカーと経験的推定との適応的収縮挙動を自然に生み出すことを示す。
この観点から、トランスダクティブ手法の脆さは、アンカー機構の欠如と収縮強度の静的モデリングに起因すると考えられる。
そこで本研究では,動的収縮を伴うVon Mises-Fisher Models(MOON)の混合を提案する。
MOONは、単位超球面上の特徴表現をモデル化するために、von Mises-Fisher分布の混合の上に構築される。
不均衡に対処するため、MOONはインスタンスレベルとクラスレベルの両方でゼロショット先行値を使用して収縮強度を動的に調整する。
これにより、信頼できない代入を抑え、不利なクラスからの有害な更新を防止し、負の転送を軽減できる。
MOONはモデルに依存しない、トレーニング不要で、タスク固有のハイパーパラメータチューニングを必要としない。
広範囲な実験により、MOONの性能と効率の両面での利点が検証された。
私たちのコードはhttps://github.com/walawalagoose/MOONで利用可能です。
関連論文リスト
- Perceptual Flow Matching for Few-Step Generative Modeling [64.26537634881244]
知覚フローマッチング(Perceptual Flow Matching)は、フローマッチングモデルにおいて、数ステップ生成のためのフレームワークである。
PFMは、適切な表現空間で教師される際に、高品質な数ステップジェネレータを生成する。
論文 参考訳（メタデータ） (2026-07-03T17:55:01Z) - A Pontryagin Method of Model-based Reinforcement Learning via Hamiltonian Actor-Critic [16.49862942485022]
Hamiltonian Actor-Critic (HAC) は、明示的な値関数学習を排除したモデルベースのアプローチである。
値近似を避けることにより、HACは収束保証を認めながらモデルエラーに対する感度を低下させる。
限られたデータを持つオフライン設定では、HACは最先端のメソッドと一致または超過し、その強いサンプル効率を強調する。
論文 参考訳（メタデータ） (2026-03-30T20:14:19Z) - Which Layer Causes Distribution Deviation? Entropy-Guided Adaptive Pruning for Diffusion and Flow Models [77.55829017952728]
EntPrunerは、拡散およびフローモデルのためのエントロピー誘導自動プログレッシブプルーニングフレームワークである。
DiTモデルとSiTモデルの実験はEntPrunerの有効性を示し、最大2.22$times$推論スピードアップを達成する。
論文 参考訳（メタデータ） (2025-11-26T07:20:48Z) - Drift No More? Context Equilibria in Multi-Turn LLM Interactions [58.69551510148673]
コンテキストドリフト(Contexts drift)とは、ターン間のゴール一貫性のある振る舞いからモデルが出力する出力の段階的なばらつきである。
シングルターンエラーとは異なり、ドリフトは時間的に展開し、静的な評価指標では捉えにくい。
マルチターンドリフトは、避けられない崩壊というよりも、制御可能な平衡現象として理解できることを示す。
論文 参考訳（メタデータ） (2025-10-09T04:48:49Z) - Adversarial Transferability in Deep Denoising Models: Theoretical Insights and Robustness Enhancement via Out-of-Distribution Typical Set Sampling [6.189440665620872]
深層学習に基づく画像認識モデルは優れた性能を示すが、ロバストネス分析の欠如は依然として重要な懸念点である。
主な問題は、これらのモデルが敵攻撃の影響を受けやすいことである。
本稿では,新たな対人防御手法であるOut-of-Distribution typical Set Smpling Training戦略を提案する。
論文 参考訳（メタデータ） (2024-12-08T13:47:57Z) - Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。
我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
論文 参考訳（メタデータ） (2024-10-28T17:25:56Z) - Diffusion Model Conditioning on Gaussian Mixture Model and Negative
Gaussian Mixture Gradient [1.9298401192674903]
拡散モデル(DM)は、画像合成などに大きな影響を与える生成モデルの一種である。
本稿では,ガウス混合モデル(GMM)を特徴条件として用いた条件付け機構を提案する。
本研究では,特徴とクラスに基づく条件付き潜伏分布が著しく異なることを示し,特徴に対する条件付き潜伏分布は,クラスにおける条件付き潜伏分布よりも欠陥世代が少ないことを示した。
論文 参考訳（メタデータ） (2024-01-20T16:01:18Z) - Value function estimation using conditional diffusion models for control [62.27184818047923]
拡散値関数(DVF)と呼ばれる単純なアルゴリズムを提案する。
拡散モデルを用いて環境-ロボット相互作用の連成多段階モデルを学ぶ。
本稿では,DVFを用いて複数のコントローラの状態を効率よく把握する方法を示す。
論文 参考訳（メタデータ） (2023-06-09T18:40:55Z) - Your Autoregressive Generative Model Can be Better If You Treat It as an
Energy-Based One [83.5162421521224]
本稿では,自己回帰生成モデルの学習のための独自のE-ARM法を提案する。
E-ARMは、よく設計されたエネルギーベースの学習目標を活用する。
我々は、E-ARMを効率的に訓練でき、露光バイアス問題を緩和できることを示した。
論文 参考訳（メタデータ） (2022-06-26T10:58:41Z) - Attentive Contractive Flow with Lipschitz-constrained Self-Attention [25.84621883831624]
注意的収縮フロー(ACF)と呼ばれる新しいアプローチを導入する。
ACFは、フローベースの生成モデル - 収縮フロー - の特別なカテゴリを利用する。
我々は, ACFをプラグアンドプレイ方式で, 各種のアートフローモデルに導入できることを実証した。
論文 参考訳（メタデータ） (2021-09-24T18:02:49Z) - Mitigating Catastrophic Forgetting in Scheduled Sampling with Elastic
Weight Consolidation in Neural Machine Translation [15.581515781839656]
最大推定値で訓練された自己回帰モデルは、露出バイアスに悩まされる。
露光バイアスの軽減と出力品質の維持のトレードオフとして, 弾性重み強化(Elastic Weight Consolidation)を提案する。
2つのIWSLT'14翻訳タスクの実験は、我々のアプローチが破滅的な忘れを軽減し、BLEUを大幅に改善することを示した。
論文 参考訳（メタデータ） (2021-09-13T20:37:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。