論文の概要: Ever Evolving Evaluator (EV3): Towards Flexible and Reliable Meta-Optimization for Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2310.18893v1
• Date: Sun, 29 Oct 2023 04:00:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 15:38:43.681383
• Title: Ever Evolving Evaluator (EV3): Towards Flexible and Reliable Meta-Optimization for Knowledge Distillation
• Title（参考訳）: Ever Evolving Evaluator (EV3):知識蒸留のためのフレキシブルで信頼性の高いメタ最適化を目指して
• Authors: Li Ding, Masrour Zoghi, Guy Tennenholtz, Maryam Karimzadehgan
• Abstract要約: 本稿では,スケーラブルな機械学習モデルを効率的にトレーニングするために設計された,新しいメタ最適化フレームワークであるEV3を紹介する。 EV3の各イテレーションにおいて、様々なモデルパラメーターの更新を調査し、評価手法を用いて評価し、最適な更新と過去の進捗履歴に基づいてモデルを適応する。
• 参考スコア（独自算出の注目度）: 11.876595210121549
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce EV3, a novel meta-optimization framework designed to efficiently train scalable machine learning models through an intuitive explore-assess-adapt protocol. In each iteration of EV3, we explore various model parameter updates, assess them using pertinent evaluation methods, and adapt the model based on the optimal updates and previous progress history. EV3 offers substantial flexibility without imposing stringent constraints like differentiability on the key objectives relevant to the tasks of interest. Moreover, this protocol welcomes updates with biased gradients and allows for the use of a diversity of losses and optimizers. Additionally, in scenarios with multiple objectives, it can be used to dynamically prioritize tasks. With inspiration drawn from evolutionary algorithms, meta-learning, and neural architecture search, we investigate an application of EV3 to knowledge distillation. Our experimental results illustrate EV3's capability to safely explore model spaces, while hinting at its potential applicability across numerous domains due to its inherent flexibility and adaptability.
• Abstract（参考訳）: 我々は,スケーラブルな機械学習モデルを,直感的な探索-評価-適応プロトコルによって効率的に学習するように設計された,新しいメタ最適化フレームワークであるEV3を紹介した。 EV3の各イテレーションにおいて、様々なモデルパラメータの更新を調査し、関連する評価手法を用いてそれらを評価し、最適な更新と過去の進捗履歴に基づいてモデルを適応する。 ev3は、関心のあるタスクに関連する重要な目的に微分可能性のような厳密な制約を課すことなく、実質的な柔軟性を提供します。 さらに、このプロトコルはバイアスのある勾配で更新を歓迎し、損失と最適化の多様性を利用することができる。 さらに、複数の目的を持つシナリオでは、タスクを動的に優先順位付けするために使用することができる。 進化的アルゴリズム,メタラーニング,ニューラルアーキテクチャ検索からインスピレーションを得たEV3の知識蒸留への応用について検討する。 実験結果は,ev3がモデル空間を安全に探索する能力を示し,その柔軟性と適応性から,複数の領域にまたがる潜在的な適用可能性を示唆する。

関連論文リスト

• Foundation Model-Powered 3D Few-Shot Class Incremental Learning via Training-free Adaptor [9.54964908165465]
  本稿では,3Dポイントクラウド環境におけるFew-Shot連続インクリメンタルラーニング問題に対処する新しい手法を提案する。 私たちは、ポイントクラウドデータに基づいて広範囲にトレーニングされた基礎的な3Dモデルを活用します。 このアプローチでは、二重キャッシュシステムを使用します。まず、モデルの予測にどれだけ自信があるかに基づいて、以前のテストサンプルを使用し、次に、オーバーフィッティングを防ぐために、少数の新しいタスクサンプルを含んでいます。
  論文  参考訳（メタデータ） (2024-10-11T20:23:00Z)
• FSD-BEV: Foreground Self-Distillation for Multi-view 3D Object Detection [33.225938984092274]
  本稿では,分散の相違を効果的に回避するFSD方式を提案する。 また2つのポイントクラウド拡張(PCI)戦略を設計し、ポイントクラウドの幅を補う。 マルチスケール・フォアグラウンド・エンハンスメント(MSFE)モジュールを開発し,マルチスケール・フォアグラウンドの特徴を抽出・融合する。
  論文  参考訳（メタデータ） (2024-07-14T09:39:44Z)
• AdaOcc: Adaptive Forward View Transformation and Flow Modeling for 3D Occupancy and Flow Prediction [56.72301849123049]
  CVPR 2024 における nuScenes Open-Occ データセットチャレンジにおいて,視覚中心の3次元活動とフロー予測トラックのソリューションを提案する。 我々の革新的なアプローチは、適応的なフォワード・ビュー・トランスフォーメーションとフロー・モデリングを取り入れることで、3次元の占有率とフロー予測を向上させる2段階のフレームワークである。 提案手法は回帰と分類を組み合わせることで,様々な場面におけるスケールの変動に対処し,予測フローを利用して将来のフレームに現行のボクセル特徴をワープする。
  論文  参考訳（メタデータ） (2024-07-01T16:32:15Z)
• Benchmarking and Improving Bird's Eye View Perception Robustness in Autonomous Driving [55.93813178692077]
  本稿では,BEVアルゴリズムのレジリエンスを評価するためのベンチマークスイートであるRoboBEVを紹介する。 検出,マップセグメンテーション,深さ推定,占有予測といったタスクにまたがる33の最先端のBEVベースの知覚モデルを評価する。 また, 事前学習や深度自由なBEVトランスフォーメーションなどの戦略が, アウト・オブ・ディストリビューションデータに対するロバスト性を高める上で有効であることを示す。
  論文  参考訳（メタデータ） (2024-05-27T17:59:39Z)
• Evaluating the Effectiveness of Video Anomaly Detection in the Wild: Online Learning and Inference for Real-world Deployment [2.1374208474242815]
  Video Anomaly Detection (VAD) は、監視から医療まで幅広い応用の鍵となる、ビデオストリームにおける異常な活動を特定する。 実生活環境でのVADに取り組むことは、人間の行動の動的な性質、環境の変化、ドメインシフトによって大きな課題となる。 オンライン学習は、モデルを新しい情報に継続的に適応させることによって、この問題を軽減するための潜在的戦略である。
  論文  参考訳（メタデータ） (2024-04-29T14:47:32Z)
• DoE2Vec: Deep-learning Based Features for Exploratory Landscape Analysis [0.0]
  本研究では,地形特性を最適化するための変分オートエンコーダ(VAE)に基づく手法であるDoE2Vecを提案する。 古典的な探索的景観解析(ELA)法とは異なり,本手法では特徴工学は必要としない。 検証のために、潜伏再構成の品質を検査し、異なる実験を用いて潜伏表現を解析する。
  論文  参考訳（メタデータ） (2023-03-31T09:38:44Z)
• Design Amortization for Bayesian Optimal Experimental Design [70.13948372218849]
  予測情報ゲイン(EIG)のバウンダリに関してパラメータ化された変分モデルを最適化する。 実験者が1つの変分モデルを最適化し、潜在的に無限に多くの設計に対してEIGを推定できる新しいニューラルアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-10-07T02:12:34Z)
• SSMTL++: Revisiting Self-Supervised Multi-Task Learning for Video Anomaly Detection [108.57862846523858]
  自己教師型マルチタスク学習フレームワークを再考し、元の手法にいくつかのアップデートを提案する。 マルチヘッド・セルフアテンション・モジュールを導入することで3次元畳み込みバックボーンを近代化する。 モデルをさらに改良するために,セグメントマップの予測などの自己指導型学習タスクについて検討した。
  論文  参考訳（メタデータ） (2022-07-16T19:25:41Z)
• Stereo Neural Vernier Caliper [57.187088191829886]
  学習に基づくステレオ3Dオブジェクト検出のための新しいオブジェクト中心フレームワークを提案する。 初期3次元立方体推定値から改良された更新を予測する方法の問題に対処する。 提案手法は,KITTIベンチマークの最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-21T14:36:07Z)
• Trajectory-wise Multiple Choice Learning for Dynamics Generalization in Reinforcement Learning [137.39196753245105]
  本稿では,動的一般化のためのマルチヘッドダイナミックスモデルを学習するモデルベース強化学習アルゴリズムを提案する。 文脈学習は,過去の経験から得られる動的情報からコンテキスト潜在ベクトルにエンコードする。 提案手法は,最先端のRL法と比較して,様々な制御タスクにおいて優れたゼロショット一般化性能を示す。
  論文  参考訳（メタデータ） (2020-10-26T03:20:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。