論文の概要: Deep Support Vectors

• arxiv url: http://arxiv.org/abs/2403.17329v2
• Date: Thu, 27 Jun 2024 06:19:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-28 19:16:49.554581
• Title: Deep Support Vectors
• Title（参考訳）: ディープサポートベクトル
• Authors: Junhoo Lee, Hyunho Lee, Kyomin Hwang, Nojun Kwak,
• Abstract要約: ディープラーニングモデルに対する従来のKKT条件の適応であるDeepKKT条件を提案する。 我々は,DeepKKT条件が従来の分類モデルを高忠実度な生成モデルに変換することを実証した。
• 参考スコア（独自算出の注目度）: 24.864079237990538
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning has achieved tremendous success. \nj{However,} unlike SVMs, which provide direct decision criteria and can be trained with a small dataset, it still has significant weaknesses due to its requirement for massive datasets during training and the black-box characteristics on decision criteria. \nj{This paper addresses} these issues by identifying support vectors in deep learning models. To this end, we propose the DeepKKT condition, an adaptation of the traditional Karush-Kuhn-Tucker (KKT) condition for deep learning models, and confirm that generated Deep Support Vectors (DSVs) using this condition exhibit properties similar to traditional support vectors. This allows us to apply our method to few-shot dataset distillation problems and alleviate the black-box characteristics of deep learning models. Additionally, we demonstrate that the DeepKKT condition can transform conventional classification models into generative models with high fidelity, particularly as latent \jh{generative} models using class labels as latent variables. We validate the effectiveness of DSVs \nj{using common datasets (ImageNet, CIFAR10 \nj{and} CIFAR100) on the general architectures (ResNet and ConvNet)}, proving their practical applicability. (See Fig.~\ref{fig:generated})
• Abstract（参考訳）: ディープラーニングは素晴らしい成功を収めました。 直接的な意思決定基準を提供し、小さなデータセットでトレーニングできるSVMとは異なり、トレーニング中に大量のデータセットを必要とすることや、意思決定基準のブラックボックス特性のために、依然として重大な弱点がある。 この論文は、ディープラーニングモデルにおけるサポートベクトルを特定することによって、これらの問題に対処する。 そこで本研究では,ディープラーニングモデルに対する従来のKKT条件の適応であるDeepKKT条件を提案し,この条件を用いたDeep Support Vectors(DSV)が,従来のサポートベクトルに類似した特性を示すことを確認した。 これにより,本手法を数発のデータセット蒸留問題に適用し,深層学習モデルのブラックボックス特性を緩和することができる。 さらに,DeepKKT条件は,従来の分類モデルを高忠実度な生成モデルに変換することができることを示す。 汎用アーキテクチャ (ResNet と ConvNet) における共通データセット (ImageNet, CIFAR10 \nj{and} CIFAR100) を用いた DSVs \nj{using の有効性を検証する。 (Fig〜\ref{fig: generated}参照)

関連論文リスト

• Identifying and Mitigating Model Failures through Few-shot CLIP-aided Diffusion Generation [65.268245109828]
  本稿では,突発的相関に付随する障害モードのテキスト記述を生成するためのエンドツーエンドフレームワークを提案する。 これらの記述は拡散モデルのような生成モデルを用いて合成データを生成するのに使うことができる。 本実験では, ハードサブポピュレーションの精度(sim textbf21%$)が著しく向上した。
  論文  参考訳（メタデータ） (2023-12-09T04:43:49Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Retrieval-Enhanced Contrastive Vision-Text Models [61.783728119255365]
  そこで本研究では,メモリから取得したクロスモーダルな情報を推論時に表現することで,その埋め込みを洗練できる視覚テキストモデルを提案する。 注目すべきことに、これは凍ったCLIPの上に軽量の単層核融合トランスを用いて行うことができる。 検索強化コントラスト訓練(RECO)がCLIPの性能を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-06-12T15:52:02Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• Propheter: Prophetic Teacher Guided Long-Tailed Distribution Learning [44.947984354108094]
  本稿では,より深いネットワークの学習を外部の事前知識で導くことによってボトルネックを突破する,革新的なロングテール学習パラダイムを提案する。 提案された予言的パラダイムは、長い尾のデータセットにおける限られたクラス知識の挑戦に対する有望な解決策として機能する。
  論文  参考訳（メタデータ） (2023-04-09T02:02:19Z)
• Studying How to Efficiently and Effectively Guide Models with Explanations [52.498055901649025]
  「モデルガイダンス」とは「正しい理由のために正しい」ことを保証するためにモデルの説明を規則化する考え方である。 PASCAL VOC 2007 および MS COCO 2014 データセット上で, 各種損失関数, 帰属方法, モデル, 誘導深度について詳細な評価を行う。 具体的には、一般的に使用されるセグメンテーションマスクよりもはるかに安価で入手可能なバウンディングボックスアノテーションを用いてモデルをガイドする。
  論文  参考訳（メタデータ） (2023-03-21T15:34:50Z)
• Interpretable ML for Imbalanced Data [22.355966235617014]
  不均衡なデータは、クラス間の関係が歪んで不明瞭である可能性があるため、ディープ・ネットワークのブラックボックスの性質を合成する。 不均衡なデータの複雑性を調査する既存の手法は、バイナリ分類、浅い学習モデル、低次元データを対象としている。 本稿では,ディープラーニングモデルの利用者がクラスプロトタイプ,サブコンセプト,アウトリアインスタンスを識別し,視覚化し,理解するために利用できる一連の手法を提案する。
  論文  参考訳（メタデータ） (2022-12-15T11:50:31Z)
• Multi-layer Representation Learning for Robust OOD Image Classification [3.1372269816123994]
  我々は、CNNの中間層から特徴を抽出することで、モデルの最終的な予測を支援することができると主張している。 具体的には、ハイパーカラム法をResNet-18に適用し、NICOデータセットで評価した場合、モデルの精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-27T17:46:06Z)
• CONVIQT: Contrastive Video Quality Estimator [63.749184706461826]
  知覚ビデオ品質評価(VQA)は、多くのストリーミングおよびビデオ共有プラットフォームにおいて不可欠な要素である。 本稿では,視覚的に関連のある映像品質表現を自己指導的に学習する問題について考察する。 本研究は, 自己教師型学習を用いて, 知覚力による説得力のある表現が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-29T15:22:01Z)
• On the Interpretability of Deep Learning Based Models for Knowledge Tracing [5.120837730908589]
  知識追跡により、Intelligent Tutoring Systemsは、学生が習得したトピックやスキルを推測することができる。 Deep Knowledge Tracing(DKT)やDynamic Key-Value Memory Network(DKVMN)といったディープラーニングベースのモデルは、大幅に改善されている。 しかし、これらのディープラーニングベースのモデルは、ディープニューラルネットワークによって学習される意思決定プロセスが完全には理解されていないため、他のモデルほど解釈できない。
  論文  参考訳（メタデータ） (2021-01-27T11:55:03Z)
• Causality-aware counterfactual confounding adjustment for feature representations learned by deep models [14.554818659491644]
  因果モデリングは機械学習(ML)における多くの課題に対する潜在的な解決策として認識されている。 深層ニューラルネットワーク(DNN)モデルによって学習された特徴表現を分解するために、最近提案された対実的アプローチが依然として使われている方法について説明する。
  論文  参考訳（メタデータ） (2020-04-20T17:37:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。