論文の概要: VISTA: Validation-Informed Trajectory Adaptation via Self-Distillation

• arxiv url: http://arxiv.org/abs/2604.12044v1
• Date: Mon, 13 Apr 2026 20:36:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-15 19:11:32.115521
• Title: VISTA: Validation-Informed Trajectory Adaptation via Self-Distillation
• Title（参考訳）: VISTA: 自己蒸留によるバリデーションインフォームド軌道適応
• Authors: Eli Corn, Daphna Weinshall,
• Abstract要約: VISTAは、最適化軌道に沿って一貫性を強制するオンライン自己蒸留フレームワークである。 VISTAは、異なるデータ領域に対して特別な能力を保持する以前のモデルステートである専門家アンカーを特定する。 これらのアンカーのカバー重み付けアンサンブルは、トレーニング中にオンラインに統合され、失われた風景を規則化し、マスタードナレッジを保存する。
• 参考スコア（独自算出の注目度）: 7.6344611819427035
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning models may converge to suboptimal solutions despite strong validation accuracy, masking an optimization failure we term Trajectory Deviation. This is because as training proceeds, models can abandon high generalization states for specific data sub-populations, thus discarding previously learned latent features without triggering classical overfitting signals. To address this problem we introduce VISTA, an online self-distillation framework that enforces consistency along the optimization trajectory. Using a validation-informed Marginal Coverage score, VISTA identifies expert anchors, which are earlier model states that retain specialized competence over distinct data regions. A coverage-weighted ensemble of these anchors is integrated online during training, regularizing the loss landscape and preserving mastered knowledge. When evaluated across multiple benchmarks, VISTA demonstrates improved robustness and generalization over standard training and prior self-distillation methods, while a lightweight implementation reduces storage overhead by 90% without performance loss.
• Abstract（参考訳）: 深層学習モデルは、高い検証精度にもかかわらず最適下解に収束し、軌道偏差と呼ばれる最適化失敗を隠蔽する。 これは、トレーニングが進むにつれて、モデルは特定のデータサブポピュレーションに対して高い一般化状態を放棄できるため、古典的な過度な過度な信号を引き起こすことなく、以前に学習した潜在機能を破棄できるためである。 この問題に対処するために、最適化軌道に沿って一貫性を強制するオンライン自己蒸留フレームワークであるVISTAを紹介する。 検証インフォームされたMarginal Coverageスコアを使用して、VISTAは専門家のアンカーを特定する。 これらのアンカーのカバー重み付けアンサンブルは、トレーニング中にオンラインに統合され、失われた風景を規則化し、マスタードナレッジを保存する。 複数のベンチマークで評価すると、VISTAは標準トレーニングや事前の自己蒸留法よりも堅牢性と一般化が向上し、軽量な実装では性能の低下なしにストレージオーバーヘッドを90%削減する。

関連論文リスト

• Dual-Teacher Distillation with Subnetwork Rectification for Black-Box Domain Adaptation [69.7036779439312]
  ブラックボックスドメイン適応は、非常に実用的で非常に困難な設定である。 ブラックボックスソースモデルに埋め込まれた特定の知識を活用するサブネットワーク整合モデル(DDSR)を用いた二重蒸留法を提案する。 我々の手法は、ソースデータやモデルの使用を含む、最先端の手法に対する一貫した改善を実証する。
  論文  参考訳（メタデータ） (2026-03-24T07:54:19Z)
• Reference-Guided Machine Unlearning [16.1797488074794]
  未学習はむしろ分布の不明瞭さを優先すべきであり、モデルがデータを忘れる際の振る舞いと、真に見えないデータに対する振る舞いとを一致させるべきだ、と私たちは主張する。 そこで本研究では, 参照ガイド型アンラーニング(RegUn)を提案する。このフレームワークは, 解離したホールトアウトデータセットを利用して, 蒸留の原理的, クラス参照を提供する。
  論文  参考訳（メタデータ） (2026-03-11T18:27:05Z)
• CapTrack: Multifaceted Evaluation of Forgetting in LLM Post-Training [48.70704477452434]
  textbfCapTrackは,大規模言語モデルにおける忘れを解析する機能中心のフレームワークである。 我々は、ポストトレーニングアルゴリズム、ドメイン、モデルファミリーにまたがる大規模な実証的研究を行う。 私たちは、忘れることがパラメトリックな知識を超えて、頑健さとデフォルトの振る舞いに顕著なドリフトがあることに気付きました。
  論文  参考訳（メタデータ） (2026-02-19T09:46:24Z)
• Unleashing the Power of Vision-Language Models for Long-Tailed Multi-Label Visual Recognition [55.189113121465816]
  本稿では,長い尾を持つ多ラベル視覚認識のための新しい相関適応プロンプトネットワーク(CAPNET)を提案する。 CAPNETはCLIPのテキストエンコーダからの相関を明示的にモデル化する。 テスト時間アンサンブルによる一般化を改善し、視覚・テクスチャのモダリティを実現する。
  論文  参考訳（メタデータ） (2025-11-25T18:57:28Z)
• Towards Real Unsupervised Anomaly Detection Via Confident Meta-Learning [12.690752260618522]
  Confident Meta-learning(CoMet)は、未処理のデータセットから深層異常検出モデルを学ぶことができる新しいトレーニング戦略である。 本手法では,低信頼度サンプルに低重みを割り当てるSoft Confident Learningと,更新を規則化してトレーニングを安定化するMeta-Learningを統合した。
  論文  参考訳（メタデータ） (2025-08-04T11:03:12Z)
• The Achilles Heel of AI: Fundamentals of Risk-Aware Training Data for High-Consequence Models [0.0]
  高頻度ドメインのAIシステムは、厳密なリソース制約の下で運用しながら、稀で高インパクトなイベントを検出する必要がある。 ラベルのボリュームを情報的価値よりも優先する従来のアノテーション戦略は冗長性とノイズをもたらす。 本稿では、ラベルの多様性、モデル誘導選択、限界ユーティリティベースの停止を強調するトレーニングデータ戦略であるスマートサイズについて紹介する。
  論文  参考訳（メタデータ） (2025-05-20T22:57:35Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Posterior Consistency for Missing Data in Variational Autoencoders [11.18081298867526]
  本稿では,データから変分オートエンコーダ(VAE)を学習する際の問題点について考察する。 本稿では,この整合性を促進するエンコーダの後部分布の正規化手法を提案する。 この改良された性能は、正規化フローを備えたVAEを含む多くのVAEのクラスで観測できる。
  論文  参考訳（メタデータ） (2023-10-25T13:56:02Z)
• Self-Supervised Training with Autoencoders for Visual Anomaly Detection [61.62861063776813]
  我々は, 正規サンプルの分布を低次元多様体で支持する異常検出において, 特定のユースケースに焦点を当てた。 我々は、訓練中に識別情報を活用する自己指導型学習体制に適応するが、通常の例のサブ多様体に焦点をあてる。 製造領域における視覚異常検出のための挑戦的なベンチマークであるMVTec ADデータセットで、最先端の新たな結果を達成する。
  論文  参考訳（メタデータ） (2022-06-23T14:16:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。