論文の概要: Learning Where to Edit Vision Transformers

• arxiv url: http://arxiv.org/abs/2411.01948v1
• Date: Mon, 04 Nov 2024 10:17:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:39:35.878253
• Title: Learning Where to Edit Vision Transformers
• Title（参考訳）: 視覚変換器の編集方法の学習
• Authors: Yunqiao Yang, Long-Kai Huang, Shengzhuang Chen, Kede Ma, Ying Wei,
• Abstract要約: コンピュータビジョンにおける視覚変換器(ViT)の編集のための位置情報編集手法を提案する。 我々はまず、CutMix拡張データ上でハイパーネットワークをメタラーニングすることで、位置から編集までの課題に対処する。 提案手法を検証するため, サブポピュレーションシフトを導入した編集ベンチマークを構築した。
• 参考スコア（独自算出の注目度）: 27.038720045544867
• License:
• Abstract: Model editing aims to data-efficiently correct predictive errors of large pre-trained models while ensuring generalization to neighboring failures and locality to minimize unintended effects on unrelated examples. While significant progress has been made in editing Transformer-based large language models, effective strategies for editing vision Transformers (ViTs) in computer vision remain largely untapped. In this paper, we take initial steps towards correcting predictive errors of ViTs, particularly those arising from subpopulation shifts. Taking a locate-then-edit approach, we first address the where-to-edit challenge by meta-learning a hypernetwork on CutMix-augmented data generated for editing reliability. This trained hypernetwork produces generalizable binary masks that identify a sparse subset of structured model parameters, responsive to real-world failure samples. Afterward, we solve the how-to-edit problem by simply fine-tuning the identified parameters using a variant of gradient descent to achieve successful edits. To validate our method, we construct an editing benchmark that introduces subpopulation shifts towards natural underrepresented images and AI-generated images, thereby revealing the limitations of pre-trained ViTs for object recognition. Our approach not only achieves superior performance on the proposed benchmark but also allows for adjustable trade-offs between generalization and locality. Our code is available at https://github.com/hustyyq/Where-to-Edit.
• Abstract（参考訳）: モデル編集は、大きな事前訓練されたモデルの予測誤差をデータ効率よく補正することを目的としており、近隣の障害や局所性への一般化を保証し、無関係な例に対する意図しない影響を最小限に抑える。 トランスフォーマーをベースとした大規模言語モデルの編集には大きな進歩があったが、コンピュータビジョンにおけるビジョン・トランスフォーマー(ViT)を編集するための効果的な戦略はほとんど未完成のままである。 本稿では,ViTsの予測誤差,特にサブポピュレーションシフトに起因する誤差を補正するための最初のステップについて述べる。 そこで我々はまず,信頼性向上のために生成したCutMix拡張データ上で,ハイパーネットワークをメタラーニングすることで,位置対応の課題に対処する。 このトレーニングされたハイパーネットワークは、実世界の障害サンプルに応答して、構造化されたモデルパラメータのスパースサブセットを識別する一般化可能なバイナリマスクを生成する。 その後、勾配降下の変種を用いて同定されたパラメータを微調整し、編集を成功させることで、ハウ・トゥ・エジットの問題を解決する。 提案手法を検証するため,対象認識のための事前学習されたViTの限界を明らかにするために,自然の未表現画像やAI生成画像へのサブポピュレーションシフトを導入する編集ベンチマークを構築した。 提案手法は,提案したベンチマークにおいて優れた性能を発揮するだけでなく,一般化と局所性の間のトレードオフを調整可能である。 私たちのコードはhttps://github.com/hustyyq/Where-to-Editで公開されています。

関連論文リスト

• Open-Set Deepfake Detection: A Parameter-Efficient Adaptation Method with Forgery Style Mixture [58.60915132222421]
  本稿では,顔偽造検出に汎用的かつパラメータ効率の高い手法を提案する。 フォージェリー・ソース・ドメインの多様性を増大させるフォージェリー・ミックス・フォーミュレーションを設計する。 設計したモデルは、トレーニング可能なパラメータを著しく減らし、最先端の一般化性を実現する。
  論文  参考訳（メタデータ） (2024-08-23T01:53:36Z)
• MoE-FFD: Mixture of Experts for Generalized and Parameter-Efficient Face Forgery Detection [54.545054873239295]
  ディープフェイクは、最近、国民の間で重大な信頼問題とセキュリティ上の懸念を提起した。 ViT法はトランスの表現性を生かし,優れた検出性能を実現する。 この研究は、汎用的でパラメータ効率のよいViTベースのアプローチであるFace Forgery Detection (MoE-FFD)のためのMixture-of-Expertsモジュールを導入する。
  論文  参考訳（メタデータ） (2024-04-12T13:02:08Z)
• Generalized Face Forgery Detection via Adaptive Learning for Pre-trained Vision Transformer [54.32283739486781]
  適応学習パラダイムの下で,textbfForgery-aware textbfAdaptive textbfVision textbfTransformer(FA-ViT)を提案する。 FA-ViTは、クロスデータセット評価において、Celeb-DFおよびDFDCデータセット上で93.83%と78.32%のAUCスコアを達成する。
  論文  参考訳（メタデータ） (2023-09-20T06:51:11Z)
• Transformer-Patcher: One Mistake worth One Neuron [40.04159325505842]
  AIサービスのデプロイには、相変わらずの間違いがあり、時間内に修正されない場合、同じ間違いが再発生する可能性がある。 トランスフォーマー・パッチ(Transformer-Patcher)は、トランスフォーマーをベースとしたモデルの振舞いを、数個のニューロンの追加とトレーニングによって変化させることができる新しいモデルエディタである。 提案手法は,従来の微調整およびハイパーネットワークに基づく手法より優れ,逐次モデル編集(SME)の最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-01-24T02:12:42Z)
• Aging with GRACE: Lifelong Model Editing with Discrete Key-Value Adaptors [53.819805242367345]
  本稿では,展開モデルのストリーミングエラーにスポットフィックスを実装した生涯モデル編集手法であるGRACEを提案する。 GRACEはトレーニング済みモデルの潜在空間に新しいマッピングを記述し、モデルの重みを変更することなく、個別にローカルな編集のコードブックを作成する。 T5,BERT,GPTモデルを用いた実験では,非表示入力に一般化しつつ,編集および保持におけるGRACEの最先端性能を示す。
  論文  参考訳（メタデータ） (2022-11-20T17:18:22Z)
• Memory-Based Model Editing at Scale [102.28475739907498]
  既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。 SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。 SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
  論文  参考訳（メタデータ） (2022-06-13T23:40:34Z)
• Fast Model Editing at Scale [77.69220974621425]
  MEND(Gradient Decomposition)を用いたモデルエディタネットワークを提案する。 MENDは、所望の入力出力ペアを使って、訓練済みのモデルに高速で局所的な編集を行う、小さな補助的な編集ネットワークの集合である。 MENDは100億以上のパラメータモデルであっても、1日以内で1つのGPUでトレーニングすることができる。
  論文  参考訳（メタデータ） (2021-10-21T17:41:56Z)
• A Structural Model for Contextual Code Changes [20.185486717922615]
  部分的に編集されたコードスニペットが与えられた場合、私たちのゴールは、スニペットの残りの部分に対する編集の完了を予測することです。 提案モデルでは,最先端のシーケンシャルモデルよりも28%,編集コードの生成を学習する構文モデルよりも2倍高い精度を実現している。
  論文  参考訳（メタデータ） (2020-05-27T07:16:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。