論文の概要: Black-Box Forgetting

• arxiv url: http://arxiv.org/abs/2411.00409v1
• Date: Fri, 01 Nov 2024 07:10:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:47:26.203239
• Title: Black-Box Forgetting
• Title（参考訳）: ブラックボックスフォーミング
• Authors: Yusuke Kuwana, Yuta Goto, Takashi Shibata, Go Irie,
• Abstract要約: 我々は,ブラックボックスフォーッティングというブラックボックスモデルの選択的忘れ問題に対処する。 本稿では,複数のトークン間で共通な低次元潜在成分をプロンプトに導入するLatent Context Sharingを提案する。 4つの標準ベンチマークデータセットに対する実験は、妥当なベースラインを持つ手法の優位性を実証している。
• 参考スコア（独自算出の注目度）: 8.84485103053191
• License:
• Abstract: Large-scale pre-trained models (PTMs) provide remarkable zero-shot classification capability covering a wide variety of object classes. However, practical applications do not always require the classification of all kinds of objects, and leaving the model capable of recognizing unnecessary classes not only degrades overall accuracy but also leads to operational disadvantages. To mitigate this issue, we explore the selective forgetting problem for PTMs, where the task is to make the model unable to recognize only the specified classes while maintaining accuracy for the rest. All the existing methods assume "white-box" settings, where model information such as architectures, parameters, and gradients is available for training. However, PTMs are often "black-box," where information on such models is unavailable for commercial reasons or social responsibilities. In this paper, we address a novel problem of selective forgetting for black-box models, named Black-Box Forgetting, and propose an approach to the problem. Given that information on the model is unavailable, we optimize the input prompt to decrease the accuracy of specified classes through derivative-free optimization. To avoid difficult high-dimensional optimization while ensuring high forgetting performance, we propose Latent Context Sharing, which introduces common low-dimensional latent components among multiple tokens for the prompt. Experiments on four standard benchmark datasets demonstrate the superiority of our method with reasonable baselines. The code is available at https://github.com/yusukekwn/Black-Box-Forgetting.
• Abstract（参考訳）: 大規模事前訓練モデル(PTM)は、様々なオブジェクトクラスをカバーする顕著なゼロショット分類機能を提供する。 しかし、実用アプリケーションは必ずしもあらゆる種類のオブジェクトの分類を必要とするわけではなく、不必要なクラスを認識することができるモデルが全体の精度を低下させるだけでなく、運用上の不利益をもたらす。 この問題を緩和するために, PTM の選択的忘れ問題について検討し, 残りの精度を維持しつつ, モデルが指定されたクラスのみを認識できないようにする。 既存のすべてのメソッドが"ホワイトボックス"の設定を前提としており、アーキテクチャやパラメータ、勾配といったモデル情報がトレーニングに利用できる。 しかしながら、PTMはしばしば「ブラックボックス」であり、そのようなモデルに関する情報は商業的理由や社会的責任のために利用できない。 本稿では,ブラックボックス・フォージッティング (Black-Box Forgetting) という名前のブラックボックス・モデルの選択的忘れ問題に対処し,この問題に対するアプローチを提案する。 モデルに関する情報が利用できないことを考慮し、インプットプロンプトを最適化し、デリバティブフリーの最適化によって特定クラスの精度を下げる。 高精度な高次元最適化を実現するために,複数のトークン間で共通な低次元遅延成分を導入した遅延コンテキスト共有を提案する。 4つの標準ベンチマークデータセットに対する実験は、妥当なベースラインを持つ手法の優位性を実証している。 コードはhttps://github.com/yusukekwn/Black-Box-Forgetting.comで入手できる。

関連論文リスト

• Sparse Concept Bottleneck Models: Gumbel Tricks in Contrastive Learning [86.15009879251386]
  概念ボトルネックモデル(CBM)を用いた新しいアーキテクチャと説明可能な分類法を提案する。 CBMには、さらなる概念のセットが必要である。 CLIPをベースとしたボトルネックモデルにおいて,スパース隠れ層を用いた精度の大幅な向上を示す。
  論文  参考訳（メタデータ） (2024-04-04T09:43:43Z)
• Black-Box Tuning of Vision-Language Models with Effective Gradient Approximation [71.21346469382821]
  ブラックボックスモデルに対するテキストプロンプト最適化と出力特徴適応のための協調ブラックボックスチューニング(CBBT)を導入する。 CBBTは11のダウンストリームベンチマークで広範囲に評価され、既存のブラックボックスVL適応法と比較して顕著に改善されている。
  論文  参考訳（メタデータ） (2023-12-26T06:31:28Z)
• DREAM: Domain-free Reverse Engineering Attributes of Black-box Model [51.37041886352823]
  ブラックボックス対象モデルの属性をドメインに依存しないリバースエンジニアリングの新しい問題を提案する。 対象のブラックボックスモデルの属性を未知のトレーニングデータで推測するために,ドメインに依存しないモデルを学ぶ。
  論文  参考訳（メタデータ） (2023-07-20T16:25:58Z)
• Enhancing Black-Box Few-Shot Text Classification with Prompt-Based Data Augmentation [42.05617728412819]
  大規模言語モデルの勾配にアクセスすることなく、少数ショットのテキスト分類を最適化する方法を示す。 我々のアプローチはBT-Classifierと呼ばれ、最先端のブラックボックス学習者よりもはるかに優れています。
  論文  参考訳（メタデータ） (2023-05-23T07:54:34Z)
• How to Robustify Black-Box ML Models? A Zeroth-Order Optimization Perspective [74.47093382436823]
  入力クエリと出力フィードバックだけでブラックボックスモデルを堅牢化する方法? 我々は,ブラックボックスモデルに適用可能な防御操作の一般的な概念を提案し,それを復号化スムーシング(DS)のレンズを通して設計する。 我々は,ZO-AE-DSが既存のベースラインよりも精度,堅牢性,クエリの複雑さを向上できることを実証的に示す。
  論文  参考訳（メタデータ） (2022-03-27T03:23:32Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)
• Few-Shot Lifelong Learning [35.05196800623617]
  Few-Shot Lifelong Learningにより、深層学習モデルが短距離/連続学習を実行できます。 提案手法では,モデルからごく少数のパラメータを選択して,モデル全体をトレーニングする代わりに,新しいクラスのセットをトレーニングする。 提案手法は, miniImageNet, CIFAR-100, CUB-200データセットにおいて, 既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-03-01T13:26:57Z)
• Design of Dynamic Experiments for Black-Box Model Discrimination [72.2414939419588]
  選択したいような動的モデル判別の設定を考えてみましょう。 (i) 最高のメカニスティックな時間変化モデルと (ii) 最高のモデルパラメータ推定値です。 勾配情報にアクセス可能な競合する力学モデルに対しては、既存の手法を拡張し、より広い範囲の問題の不確実性を組み込む。 これらのブラックボックスモデルをガウス過程サロゲートモデルに置き換えることで、モデル識別設定を拡張して、競合するブラックボックスモデルをさらに取り入れる。
  論文  参考訳（メタデータ） (2021-02-07T11:34:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。