論文の概要: ViT-MUL: A Baseline Study on Recent Machine Unlearning Methods Applied to Vision Transformers
- arxiv url: http://arxiv.org/abs/2403.09681v1
- Date: Wed, 7 Feb 2024 17:06:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-25 08:06:28.768713
- Title: ViT-MUL: A Baseline Study on Recent Machine Unlearning Methods Applied to Vision Transformers
- Title(参考訳): ViT-MUL:視覚変換器に適用した最近の機械学習手法のベースライン研究
- Authors: Ikhyun Cho, Changyeon Park, Julia Hockenmaier,
- Abstract要約: 機械学習(MUL)は、訓練されたモデルから特定のトレーニングデータポイントの学習情報を消去しようとする。
近年のMULアルゴリズムとデータセットを用いた視覚変換器(ViT)の総合的な実験を行った。
- 参考スコア(独自算出の注目度): 3.4663802786259104
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine unlearning (MUL) is an arising field in machine learning that seeks to erase the learned information of specific training data points from a trained model. Despite the recent active research in MUL within computer vision, the majority of work has focused on ResNet-based models. Given that Vision Transformers (ViT) have become the predominant model architecture, a detailed study of MUL specifically tailored to ViT is essential. In this paper, we present comprehensive experiments on ViTs using recent MUL algorithms and datasets. We anticipate that our experiments, ablation studies, and findings could provide valuable insights and inspire further research in this field.
- Abstract(参考訳): 機械学習(MUL)は、訓練されたモデルから特定のトレーニングデータポイントの学習情報を消去しようとする機械学習の分野である。
コンピュータビジョンにおける最近のMULの活発な研究にもかかわらず、ほとんどの研究はResNetベースのモデルに焦点を当てている。
ビジョントランスフォーマー(ViT)が主要なモデルアーキテクチャとなったことを考えると、特にViTに合わせたMULの詳細な研究が不可欠である。
本稿では,最新のMULアルゴリズムとデータセットを用いたViTの総合的な実験について述べる。
我々は、我々の実験、アブレーション研究、そして発見が貴重な洞察を与え、この分野のさらなる研究を促すことを期待する。
関連論文リスト
- VIoTGPT: Learning to Schedule Vision Tools towards Intelligent Video
Internet of Things [35.97876618109385]
Video Internet of Things(VIoT)は、前例のない量のビデオデータを収集する可能性を示している。
VIoTの細粒化と相互関連ツール使用による課題に対処するため、VIoTGPTを構築した。
論文 参考訳(メタデータ) (2023-12-01T07:50:53Z) - Vision-Language Instruction Tuning: A Review and Analysis [52.218690619616474]
VLIT(Vision-Language Instruction Tuning)は、純粋なテキスト命令チューニングよりも複雑な特徴を示す。
既存のVLITデータセットの詳細な分類と、高品質なVLITデータが持つべき特性を識別する。
これらの特徴を既存のVLITデータ構築プロセスに導出する原理として取り入れることで、我々は広範囲な実験を行い、調整されたマルチモーダルLCMの性能に対する肯定的な影響を検証した。
論文 参考訳(メタデータ) (2023-11-14T14:02:32Z) - Learn From Model Beyond Fine-Tuning: A Survey [78.80920533793595]
Learn From Model (LFM) は、モデルインターフェースに基づいた基礎モデル(FM)の研究、修正、設計に焦点を当てている。
LFM技術の研究は、モデルチューニング、モデル蒸留、モデル再利用、メタラーニング、モデル編集の5つの分野に大別できる。
本稿では, LFM の観点から, FM に基づく現在の手法を概観する。
論文 参考訳(メタデータ) (2023-10-12T10:20:36Z) - Instruction Tuning for Large Language Models: A Survey [52.86322823501338]
我々は、ITの一般的な方法論、ITデータセットの構築、ITモデルのトレーニング、異なるモダリティ、ドメイン、アプリケーションへのアプリケーションを含む、文献を体系的にレビューする。
また、ITの潜在的な落とし穴とそれに対する批判、および既存の戦略の現在の欠陥を指摘し、実りある研究の道筋を提案する。
論文 参考訳(メタデータ) (2023-08-21T15:35:16Z) - Multi-granulariy Time-based Transformer for Knowledge Tracing [9.788039182463768]
過去のテストスコアを含む学生の過去のデータを活用して、各学生にパーソナライズされたモデルを作成します。
次に、これらのモデルを使用して、将来のパフォーマンスを所定のテストで予測します。
論文 参考訳(メタデータ) (2023-04-11T14:46:38Z) - What do Vision Transformers Learn? A Visual Exploration [68.50771218442776]
視覚変換器(ViT)はコンピュータビジョンのデファクトアーキテクチャとして急速に普及しつつある。
本稿では、ViT上での可視化の障害に対処し、ViTとCNNの根本的な相違について検討する。
また、DeiT、CoaT、ConViT、PiT、Swin、Twinなど、さまざまなViT変種に対して大規模な可視化を行っています。
論文 参考訳(メタデータ) (2022-12-13T16:55:12Z) - On Pre-Training for Visuo-Motor Control: Revisiting a
Learning-from-Scratch Baseline [35.875051972318346]
データ拡張と浅いConvNetを組み込んだシンプルなLearning-from-Scratch(LfS)ベースラインを再検討する。
このベースラインは、大規模な視覚データセットでトレーニングされた凍結した視覚表現を活用する最近のアプローチと驚くほど競合している。
論文 参考訳(メタデータ) (2022-12-12T07:59:31Z) - Masked autoencoders are effective solution to transformer data-hungry [0.0]
ビジョントランスフォーマー(ViT)は、いくつかのビジョンタスクにおいて、そのグローバルモデリング能力で畳み込みニューラルネットワーク(CNN)を上回っている。
ViTには、畳み込みに固有の帰納バイアスがなく、トレーニングに大量のデータを必要とする。
マスク付きオートエンコーダ(MAE)は、トランスフォーマーが画像自体にもっと焦点を合わせることができる。
論文 参考訳(メタデータ) (2022-12-12T03:15:19Z) - Recent Advances in Vision Transformer: A Survey and Outlook of Recent
Work [1.6317061277457001]
視覚変換器(ViT)は、畳み込みニューラルネットワーク(CNN)と比較して、様々な視覚タスクにおいて、より人気があり支配的な技術になりつつある。
コンピュータビジョンにおける要求技術として、ViTは長距離関係に着目しながら様々な視覚問題を解くことに成功した。
一般的なベンチマークデータセット上で,様々なViTアルゴリズムと代表的CNN手法の性能を徹底的に比較する。
論文 参考訳(メタデータ) (2022-03-03T06:17:03Z) - Interpreting Deep Knowledge Tracing Model on EdNet Dataset [67.81797777936868]
この作業では、EdNetと呼ばれる大規模で新しく利用可能なデータセット上で、同様のタスクを実行します。
予備実験の結果,解釈手法の有効性が示された。
論文 参考訳(メタデータ) (2021-10-31T07:18:59Z) - An Empirical Study of Training Self-Supervised Visual Transformers [70.27107708555185]
自己監視型視覚トランスフォーマーの訓練におけるいくつかの基本成分の影響について検討する。
これらの結果は確かに部分的な失敗であり、トレーニングをより安定させると改善できる。
論文 参考訳(メタデータ) (2021-04-05T17:59:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。