論文の概要: Ever Evolving Evaluator (EV3): Towards Flexible and Reliable
Meta-Optimization for Knowledge Distillation
- arxiv url: http://arxiv.org/abs/2310.18893v2
- Date: Thu, 14 Dec 2023 04:55:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-16 03:57:24.612016
- Title: Ever Evolving Evaluator (EV3): Towards Flexible and Reliable
Meta-Optimization for Knowledge Distillation
- Title（参考訳）: Ever Evolving Evaluator (EV3):知識蒸留のためのフレキシブルで信頼性の高いメタ最適化を目指して
- Authors: Li Ding, Masrour Zoghi, Guy Tennenholtz, Maryam Karimzadehgan
- Abstract要約: 本稿では,スケーラブルな機械学習モデルを効率的にトレーニングするために設計された,新しいメタ最適化フレームワークであるEV3を紹介する。
EV3の各イテレーションにおいて、様々なモデルパラメーターの更新を調査し、関連する評価手法を用いてそれらを評価し、最適な更新と過去の進捗履歴に基づいてモデルを適応させる。
- 参考スコア（独自算出の注目度）: 11.876595210121549
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce EV3, a novel meta-optimization framework designed to efficiently
train scalable machine learning models through an intuitive
explore-assess-adapt protocol. In each iteration of EV3, we explore various
model parameter updates, assess them using pertinent evaluation methods, and
then adapt the model based on the optimal updates and previous progress
history. EV3 offers substantial flexibility without imposing stringent
constraints like differentiability on the key objectives relevant to the tasks
of interest, allowing for exploratory updates with intentionally-biased
gradients and through a diversity of losses and optimizers. Additionally, the
assessment phase provides reliable safety controls to ensure robust
generalization, and can dynamically prioritize tasks in scenarios with multiple
objectives. With inspiration drawn from evolutionary algorithms, meta-learning,
and neural architecture search, we investigate an application of EV3 to
knowledge distillation. Our experimental results illustrate EV3's capability to
safely explore the modeling landscape, while hinting at its potential
applicability across numerous domains due to its inherent flexibility and
adaptability. Finally, we provide a JAX implementation of EV3, along with
source code for experiments, available at:
https://github.com/google-research/google-research/tree/master/ev3.
- Abstract（参考訳）: 我々は,スケーラブルな機械学習モデルを,直感的な探索-評価-適応プロトコルによって効率的に学習するように設計された,新しいメタ最適化フレームワークであるEV3を紹介した。
EV3の各イテレーションにおいて、様々なモデルパラメータの更新を調査し、関連する評価手法を用いて評価し、最適更新と過去の進捗履歴に基づいてモデルを適応する。
EV3は、関心のタスクに関連する主要な目的に対する差別性のような厳密な制約を課すことなく、大幅な柔軟性を提供する。
さらに、評価フェーズは堅牢な一般化を保証するための信頼性の高い安全制御を提供し、複数の目的を持ったシナリオでタスクを動的に優先順位付けすることができる。
進化的アルゴリズム,メタラーニング,ニューラルアーキテクチャ検索からインスピレーションを得たEV3の知識蒸留への応用について検討する。
我々の実験結果は、EV3がモデリングのランドスケープを安全に探索する能力を示しながら、その固有の柔軟性と適応性のために、多くのドメインにまたがる潜在的な適用性を示唆している。
最後に、実験用のソースコードとともに、EV3のJAX実装を提供しています。
関連論文リスト
- Foundation Model-Powered 3D Few-Shot Class Incremental Learning via Training-free Adaptor [9.54964908165465]
本稿では,3Dポイントクラウド環境におけるFew-Shot連続インクリメンタルラーニング問題に対処する新しい手法を提案する。
私たちは、ポイントクラウドデータに基づいて広範囲にトレーニングされた基礎的な3Dモデルを活用します。
このアプローチでは、二重キャッシュシステムを使用します。まず、モデルの予測にどれだけ自信があるかに基づいて、以前のテストサンプルを使用し、次に、オーバーフィッティングを防ぐために、少数の新しいタスクサンプルを含んでいます。
論文 参考訳（メタデータ） (2024-10-11T20:23:00Z) - FSD-BEV: Foreground Self-Distillation for Multi-view 3D Object Detection [33.225938984092274]
本稿では,分散の相違を効果的に回避するFSD方式を提案する。
また2つのポイントクラウド拡張(PCI)戦略を設計し、ポイントクラウドの幅を補う。
マルチスケール・フォアグラウンド・エンハンスメント(MSFE)モジュールを開発し,マルチスケール・フォアグラウンドの特徴を抽出・融合する。
論文 参考訳（メタデータ） (2024-07-14T09:39:44Z) - AdaOcc: Adaptive Forward View Transformation and Flow Modeling for 3D Occupancy and Flow Prediction [56.72301849123049]
CVPR 2024 における nuScenes Open-Occ データセットチャレンジにおいて,視覚中心の3次元活動とフロー予測トラックのソリューションを提案する。
我々の革新的なアプローチは、適応的なフォワード・ビュー・トランスフォーメーションとフロー・モデリングを取り入れることで、3次元の占有率とフロー予測を向上させる2段階のフレームワークである。
提案手法は回帰と分類を組み合わせることで,様々な場面におけるスケールの変動に対処し,予測フローを利用して将来のフレームに現行のボクセル特徴をワープする。
論文 参考訳（メタデータ） (2024-07-01T16:32:15Z) - Benchmarking and Improving Bird's Eye View Perception Robustness in Autonomous Driving [55.93813178692077]
本稿では,BEVアルゴリズムのレジリエンスを評価するためのベンチマークスイートであるRoboBEVを紹介する。
検出,マップセグメンテーション,深さ推定,占有予測といったタスクにまたがる33の最先端のBEVベースの知覚モデルを評価する。
また, 事前学習や深度自由なBEVトランスフォーメーションなどの戦略が, アウト・オブ・ディストリビューションデータに対するロバスト性を高める上で有効であることを示す。
論文 参考訳（メタデータ） (2024-05-27T17:59:39Z) - Evaluating the Effectiveness of Video Anomaly Detection in the Wild: Online Learning and Inference for Real-world Deployment [2.1374208474242815]
Video Anomaly Detection (VAD) は、監視から医療まで幅広い応用の鍵となる、ビデオストリームにおける異常な活動を特定する。
実生活環境でのVADに取り組むことは、人間の行動の動的な性質、環境の変化、ドメインシフトによって大きな課題となる。
オンライン学習は、モデルを新しい情報に継続的に適応させることによって、この問題を軽減するための潜在的戦略である。
論文 参考訳（メタデータ） (2024-04-29T14:47:32Z) - DoE2Vec: Deep-learning Based Features for Exploratory Landscape Analysis [0.0]
本研究では,地形特性を最適化するための変分オートエンコーダ(VAE)に基づく手法であるDoE2Vecを提案する。
古典的な探索的景観解析(ELA)法とは異なり,本手法では特徴工学は必要としない。
検証のために、潜伏再構成の品質を検査し、異なる実験を用いて潜伏表現を解析する。
論文 参考訳（メタデータ） (2023-03-31T09:38:44Z) - Design Amortization for Bayesian Optimal Experimental Design [70.13948372218849]
予測情報ゲイン(EIG)のバウンダリに関してパラメータ化された変分モデルを最適化する。
実験者が1つの変分モデルを最適化し、潜在的に無限に多くの設計に対してEIGを推定できる新しいニューラルアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-10-07T02:12:34Z) - SSMTL++: Revisiting Self-Supervised Multi-Task Learning for Video
Anomaly Detection [108.57862846523858]
自己教師型マルチタスク学習フレームワークを再考し、元の手法にいくつかのアップデートを提案する。
マルチヘッド・セルフアテンション・モジュールを導入することで3次元畳み込みバックボーンを近代化する。
モデルをさらに改良するために,セグメントマップの予測などの自己指導型学習タスクについて検討した。
論文 参考訳（メタデータ） (2022-07-16T19:25:41Z) - Stereo Neural Vernier Caliper [57.187088191829886]
学習に基づくステレオ3Dオブジェクト検出のための新しいオブジェクト中心フレームワークを提案する。
初期3次元立方体推定値から改良された更新を予測する方法の問題に対処する。
提案手法は,KITTIベンチマークの最先端性能を実現する。
論文 参考訳（メタデータ） (2022-03-21T14:36:07Z) - Trajectory-wise Multiple Choice Learning for Dynamics Generalization in
Reinforcement Learning [137.39196753245105]
本稿では,動的一般化のためのマルチヘッドダイナミックスモデルを学習するモデルベース強化学習アルゴリズムを提案する。
文脈学習は,過去の経験から得られる動的情報からコンテキスト潜在ベクトルにエンコードする。
提案手法は,最先端のRL法と比較して,様々な制御タスクにおいて優れたゼロショット一般化性能を示す。
論文 参考訳（メタデータ） (2020-10-26T03:20:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。