Fugu-MT 論文翻訳(概要): Deep Support Vectors

論文の概要: Deep Support Vectors

arxiv url: http://arxiv.org/abs/2403.17329v1
Date: Tue, 26 Mar 2024 02:24:32 GMT
ステータス: 処理完了
システム内更新日: 2024-03-27 16:55:40.572495
Title: Deep Support Vectors
Title（参考訳）: ディープサポートベクトル
Authors: Junhoo Lee, Hyunho Lee, Kyomin Hwang, Nojun Kwak,
Abstract要約: 本稿では,ディープラーニングモデルにおける深層支援ベクトル(DSV)の同定に焦点を当てた。実証的な調査を通じて、DSVはSVM(Support Vector Machines)において、サポートベクトルと類似性を示すことを示す。以上の結果から,SVM のプロセスに類似した DSV を用いてモデルを効果的に再構築できることが示唆された。
参考スコア（独自算出の注目度）: 24.864079237990538
License: http://creativecommons.org/licenses/by/4.0/
Abstract: While the success of deep learning is commonly attributed to its theoretical equivalence with Support Vector Machines (SVM), the practical implications of this relationship have not been thoroughly explored. This paper pioneers an exploration in this domain, specifically focusing on the identification of Deep Support Vectors (DSVs) within deep learning models. We introduce the concept of DeepKKT conditions, an adaptation of the traditional Karush-Kuhn-Tucker (KKT) conditions tailored for deep learning. Through empirical investigations, we illustrate that DSVs exhibit similarities to support vectors in SVM, offering a tangible method to interpret the decision-making criteria of models. Additionally, our findings demonstrate that models can be effectively reconstructed using DSVs, resembling the process in SVM. The code will be available.
Abstract（参考訳）: 深層学習の成功は、SVM(Support Vector Machines)と理論的等価性に起因することが一般的であるが、この関係の実践的意味は十分に解明されていない。本稿では,深層学習モデルにおける深層支援ベクトル(DSV)の同定に着目し,この領域における探索の先駆者となる。本稿では、ディープラーニングに適した従来のKKT条件の適応であるDeepKKT条件について紹介する。実験的な調査を通じて、DSVはSVMにおけるサポートベクトルと類似性を示し、モデルの意思決定基準を解釈するための具体的な方法を提供する。さらに,本研究では,SVM のプロセスに類似した DSV を用いてモデルを効果的に再構成できることが示唆された。コードは利用可能です。

関連論文リスト

Identifying and Mitigating Model Failures through Few-shot CLIP-aided Diffusion Generation [65.268245109828]
本稿では,突発的相関に付随する障害モードのテキスト記述を生成するためのエンドツーエンドフレームワークを提案する。これらの記述は拡散モデルのような生成モデルを用いて合成データを生成するのに使うことができる。本実験では, ハードサブポピュレーションの精度(sim textbf21%$)が著しく向上した。
論文参考訳（メタデータ） (2023-12-09T04:43:49Z)
Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文参考訳（メタデータ） (2023-12-07T07:17:24Z)
Retrieval-Enhanced Contrastive Vision-Text Models [61.783728119255365]
そこで本研究では,メモリから取得したクロスモーダルな情報を推論時に表現することで,その埋め込みを洗練できる視覚テキストモデルを提案する。注目すべきことに、これは凍ったCLIPの上に軽量の単層核融合トランスを用いて行うことができる。検索強化コントラスト訓練(RECO)がCLIPの性能を大幅に向上することを示す。
論文参考訳（メタデータ） (2023-06-12T15:52:02Z)
Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文参考訳（メタデータ） (2023-05-18T16:28:29Z)
Propheter: Prophetic Teacher Guided Long-Tailed Distribution Learning [44.947984354108094]
本稿では,より深いネットワークの学習を外部の事前知識で導くことによってボトルネックを突破する,革新的なロングテール学習パラダイムを提案する。提案された予言的パラダイムは、長い尾のデータセットにおける限られたクラス知識の挑戦に対する有望な解決策として機能する。
論文参考訳（メタデータ） (2023-04-09T02:02:19Z)
Studying How to Efficiently and Effectively Guide Models with Explanations [52.498055901649025]
「モデルガイダンス」とは「正しい理由のために正しい」ことを保証するためにモデルの説明を規則化する考え方である。 PASCAL VOC 2007 および MS COCO 2014 データセット上で, 各種損失関数, 帰属方法, モデル, 誘導深度について詳細な評価を行う。具体的には、一般的に使用されるセグメンテーションマスクよりもはるかに安価で入手可能なバウンディングボックスアノテーションを用いてモデルをガイドする。
論文参考訳（メタデータ） (2023-03-21T15:34:50Z)
Interpretable ML for Imbalanced Data [22.355966235617014]
不均衡なデータは、クラス間の関係が歪んで不明瞭である可能性があるため、ディープ・ネットワークのブラックボックスの性質を合成する。不均衡なデータの複雑性を調査する既存の手法は、バイナリ分類、浅い学習モデル、低次元データを対象としている。本稿では,ディープラーニングモデルの利用者がクラスプロトタイプ,サブコンセプト,アウトリアインスタンスを識別し,視覚化し,理解するために利用できる一連の手法を提案する。
論文参考訳（メタデータ） (2022-12-15T11:50:31Z)
Multi-layer Representation Learning for Robust OOD Image Classification [3.1372269816123994]
我々は、CNNの中間層から特徴を抽出することで、モデルの最終的な予測を支援することができると主張している。具体的には、ハイパーカラム法をResNet-18に適用し、NICOデータセットで評価した場合、モデルの精度を大幅に向上させる。
論文参考訳（メタデータ） (2022-07-27T17:46:06Z)
CONVIQT: Contrastive Video Quality Estimator [63.749184706461826]
知覚ビデオ品質評価(VQA)は、多くのストリーミングおよびビデオ共有プラットフォームにおいて不可欠な要素である。本稿では,視覚的に関連のある映像品質表現を自己指導的に学習する問題について考察する。本研究は, 自己教師型学習を用いて, 知覚力による説得力のある表現が得られることを示す。
論文参考訳（メタデータ） (2022-06-29T15:22:01Z)
On the Interpretability of Deep Learning Based Models for Knowledge Tracing [5.120837730908589]
知識追跡により、Intelligent Tutoring Systemsは、学生が習得したトピックやスキルを推測することができる。 Deep Knowledge Tracing(DKT)やDynamic Key-Value Memory Network(DKVMN)といったディープラーニングベースのモデルは、大幅に改善されている。しかし、これらのディープラーニングベースのモデルは、ディープニューラルネットワークによって学習される意思決定プロセスが完全には理解されていないため、他のモデルほど解釈できない。
論文参考訳（メタデータ） (2021-01-27T11:55:03Z)
Causality-aware counterfactual confounding adjustment for feature representations learned by deep models [14.554818659491644]
因果モデリングは機械学習(ML)における多くの課題に対する潜在的な解決策として認識されている。深層ニューラルネットワーク(DNN)モデルによって学習された特徴表現を分解するために、最近提案された対実的アプローチが依然として使われている方法について説明する。
論文参考訳（メタデータ） (2020-04-20T17:37:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。