論文の概要: Deep Support Vectors
- arxiv url: http://arxiv.org/abs/2403.17329v1
- Date: Tue, 26 Mar 2024 02:24:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-27 16:55:40.572495
- Title: Deep Support Vectors
- Title(参考訳): ディープサポートベクトル
- Authors: Junhoo Lee, Hyunho Lee, Kyomin Hwang, Nojun Kwak,
- Abstract要約: 本稿では,ディープラーニングモデルにおける深層支援ベクトル(DSV)の同定に焦点を当てた。
実証的な調査を通じて、DSVはSVM(Support Vector Machines)において、サポートベクトルと類似性を示すことを示す。
以上の結果から,SVM のプロセスに類似した DSV を用いてモデルを効果的に再構築できることが示唆された。
- 参考スコア(独自算出の注目度): 24.864079237990538
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While the success of deep learning is commonly attributed to its theoretical equivalence with Support Vector Machines (SVM), the practical implications of this relationship have not been thoroughly explored. This paper pioneers an exploration in this domain, specifically focusing on the identification of Deep Support Vectors (DSVs) within deep learning models. We introduce the concept of DeepKKT conditions, an adaptation of the traditional Karush-Kuhn-Tucker (KKT) conditions tailored for deep learning. Through empirical investigations, we illustrate that DSVs exhibit similarities to support vectors in SVM, offering a tangible method to interpret the decision-making criteria of models. Additionally, our findings demonstrate that models can be effectively reconstructed using DSVs, resembling the process in SVM. The code will be available.
- Abstract(参考訳): 深層学習の成功は、SVM(Support Vector Machines)と理論的等価性に起因することが一般的であるが、この関係の実践的意味は十分に解明されていない。
本稿では,深層学習モデルにおける深層支援ベクトル(DSV)の同定に着目し,この領域における探索の先駆者となる。
本稿では、ディープラーニングに適した従来のKKT条件の適応であるDeepKKT条件について紹介する。
実験的な調査を通じて、DSVはSVMにおけるサポートベクトルと類似性を示し、モデルの意思決定基準を解釈するための具体的な方法を提供する。
さらに,本研究では,SVM のプロセスに類似した DSV を用いてモデルを効果的に再構成できることが示唆された。
コードは利用可能です。
関連論文リスト
- Cognitive modeling and learning with sparse binary hypervectors [0.0]
学習アルゴリズムは、入力データストリームからモデルをブートストラップするために導入された。
トレーニングはオンラインで行われ、推論はセッション中である。
NLP(Natural Language Processing)分野におけるさらなる応用について検討する。
論文 参考訳(メタデータ) (2023-09-16T01:58:51Z) - Diffusion-based Visual Counterfactual Explanations -- Towards Systematic
Quantitative Evaluation [64.0476282000118]
視覚的対物的説明法(VCE)の最新手法は、深い生成モデルの力を利用して、印象的な画質の高次元画像の新しい例を合成する。
評価手順が大きく異なり,個々の実例の視覚検査や小規模なユーザスタディなど,これらのVCE手法の性能を比較することは,現時点では困難である。
本稿では,VCE手法の体系的,定量的評価のためのフレームワークと,使用する指標の最小セットを提案する。
論文 参考訳(メタデータ) (2023-08-11T12:22:37Z) - Vector Quantized Wasserstein Auto-Encoder [57.29764749855623]
生成的視点から深層離散表現を学習する。
我々は,コードワード列上の離散分布を付与し,コードワード列上の分布をデータ分布に伝達する決定論的デコーダを学習する。
WS 距離のクラスタリングの観点と結びつけて,より優れた,より制御可能なクラスタリングソリューションを実現するための,さらなる理論を開発しています。
論文 参考訳(メタデータ) (2023-02-12T13:51:36Z) - EmbedDistill: A Geometric Knowledge Distillation for Information
Retrieval [83.79667141681418]
大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する
本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。
提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95~97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
論文 参考訳(メタデータ) (2023-01-27T22:04:37Z) - Improving Monocular Visual Odometry Using Learned Depth [84.05081552443693]
単眼深度推定を応用して視力計測(VO)を改善する枠組みを提案する。
我々のフレームワークの中核は、多様なシーンに対して強力な一般化能力を持つ単眼深度推定モジュールである。
現在の学習型VO法と比較して,本手法は多様なシーンに対してより強力な一般化能力を示す。
論文 参考訳(メタデータ) (2022-04-04T06:26:46Z) - X-Distill: Improving Self-Supervised Monocular Depth via Cross-Task
Distillation [69.9604394044652]
そこで本研究では,クロスタスク知識蒸留による単眼深度の自己指導的訓練を改善する手法を提案する。
トレーニングでは,事前訓練されたセマンティックセグメンテーション教師ネットワークを使用し,そのセマンティック知識を深度ネットワークに転送する。
提案手法の有効性をKITTIベンチマークで評価し,最新技術と比較した。
論文 参考訳(メタデータ) (2021-10-24T19:47:14Z) - On the Interpretability of Deep Learning Based Models for Knowledge
Tracing [5.120837730908589]
知識追跡により、Intelligent Tutoring Systemsは、学生が習得したトピックやスキルを推測することができる。
Deep Knowledge Tracing(DKT)やDynamic Key-Value Memory Network(DKVMN)といったディープラーニングベースのモデルは、大幅に改善されている。
しかし、これらのディープラーニングベースのモデルは、ディープニューラルネットワークによって学習される意思決定プロセスが完全には理解されていないため、他のモデルほど解釈できない。
論文 参考訳(メタデータ) (2021-01-27T11:55:03Z) - A Convolutional Deep Markov Model for Unsupervised Speech Representation
Learning [32.59760685342343]
確率的潜在変数モデルは、音声からの言語表現学習のための自己教師付き学習アプローチの代替を提供する。
本研究では,深いニューラルネットワークによってモデル化された非線形放出と遷移関数を持つガウス状態空間モデルであるConvDMMを提案する。
大規模音声データセット(LibriSpeech)で訓練すると、ConvDMMは複数の自己教師付き特徴抽出法よりもはるかに優れた特徴を生成する。
論文 参考訳(メタデータ) (2020-06-03T21:50:20Z) - Towards Interpretable Deep Learning Models for Knowledge Tracing [62.75876617721375]
本稿では,深層学習に基づく知識追跡(DLKT)モデルの解釈可能性問題に対処するポストホック手法を提案する。
具体的には、RNNに基づくDLKTモデルを解釈するために、レイヤワイズ関連伝搬法(LRP)を適用することに焦点をあてる。
実験結果から,DLKTモデルの予測をLRP法で解釈できることを示す。
論文 参考訳(メタデータ) (2020-05-13T04:03:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。