論文の概要: Leveraging Expert Models for Training Deep Neural Networks in Scarce Data Domains: Application to Offline Handwritten Signature Verification

• arxiv url: http://arxiv.org/abs/2308.01136v1
• Date: Wed, 2 Aug 2023 13:28:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-03 13:03:24.753605
• Title: Leveraging Expert Models for Training Deep Neural Networks in Scarce Data Domains: Application to Offline Handwritten Signature Verification
• Title（参考訳）: スカースデータ領域におけるディープニューラルネットワーク訓練のためのエキスパートモデルの活用:オフライン手書き署名検証への応用
• Authors: Dimitrios Tsourounis, Ilias Theodorakopoulos, Elias N. Zois and George Economou
• Abstract要約: 提案方式はオフライン手書き署名検証(OffSV)に適用される。 特徴量に基づく知識蒸留(FKD)を利用したS-T構成の提案 注目すべきなのは、このテクニックを使ってトレーニングされたモデルは、3つの一般的なシグネチャデータセット間で、教師モデルに匹敵するパフォーマンスを示すことだ。
• 参考スコア（独自算出の注目度）: 15.88604823470663
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This paper introduces a novel approach to leverage the knowledge of existing expert models for training new Convolutional Neural Networks, on domains where task-specific data are limited or unavailable. The presented scheme is applied in offline handwritten signature verification (OffSV) which, akin to other biometric applications, suffers from inherent data limitations due to regulatory restrictions. The proposed Student-Teacher (S-T) configuration utilizes feature-based knowledge distillation (FKD), combining graph-based similarity for local activations with global similarity measures to supervise student's training, using only handwritten text data. Remarkably, the models trained using this technique exhibit comparable, if not superior, performance to the teacher model across three popular signature datasets. More importantly, these results are attained without employing any signatures during the feature extraction training process. This study demonstrates the efficacy of leveraging existing expert models to overcome data scarcity challenges in OffSV and potentially other related domains.
• Abstract（参考訳）: 本稿では,タスク固有データが制限されたり利用できない領域において,既存のエキスパートモデルの知識を活用して新しい畳み込みニューラルネットワークを訓練する手法を提案する。 提案方式はオフライン手書き署名検証(OffSV)で適用され、他の生体認証アプリケーションと同様、規制によるデータ制限に悩まされる。 提案するs-t構成は,局所活性化のためのグラフベースの類似性と,手書きテキストデータのみを用いて学生の学習を監督するグローバル類似性尺度を組み合わせた機能ベース知識蒸留(fkd)を採用している。 驚くべきことに、このテクニックを使ってトレーニングされたモデルは、3つの人気のあるシグネチャデータセットにわたる教師モデルに匹敵するパフォーマンスを示している。 さらに重要なことに、これらの結果は特徴抽出トレーニングプロセス中にシグネチャを使わずに達成される。 本研究は、既存のエキスパートモデルを活用して、OFFSVや他の関連ドメインにおけるデータ不足を克服する効果を示す。

関連論文リスト

• Self-Regulated Data-Free Knowledge Amalgamation for Text Classification [9.169836450935724]
  そこで我々は,複数の教師モデルから学習できる軽量な学生ネットワークを構築した。 そこで本研究では,各教師に適したテキストデータを生成するモデリングフレームワークSTRATANETを提案する。 本手法は,ラベルやドメインの異なる3つのベンチマークテキスト分類データセットを用いて評価する。
  論文  参考訳（メタデータ） (2024-06-16T21:13:30Z)
• Self-Supervised Representation Learning for Online Handwriting Text Classification [0.8594140167290099]
  本稿では,日本語と中国語の個人によるオンライン筆跡から情報表現を抽出するための事前学習の前提として,新しいストロークマスキング(POSM)を提案する。 抽出した表現の質を評価するために,本質的評価法と外生的評価法の両方を用いる。 事前訓練されたモデルは、作家の識別、性別分類、手書きの分類といったタスクにおいて、最先端の結果を達成するために微調整される。
  論文  参考訳（メタデータ） (2023-10-10T14:07:49Z)
• Independent Distribution Regularization for Private Graph Embedding [55.24441467292359]
  グラフ埋め込みは属性推論攻撃の影響を受けやすいため、攻撃者は学習したグラフ埋め込みからプライベートノード属性を推測することができる。 これらの懸念に対処するため、プライバシ保護グラフ埋め込み手法が登場した。 独立分散ペナルティを正規化項として支援し, PVGAE(Private Variational Graph AutoEncoders)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-08-16T13:32:43Z)
• Distilling Knowledge from Self-Supervised Teacher by Embedding Graph Alignment [52.704331909850026]
  我々は、自己指導型事前学習モデルから他の学生ネットワークへ知識を伝達するための新しい知識蒸留フレームワークを定式化した。 自己教師型学習におけるインスタンス識別の精神に触発され,特徴埋め込み空間におけるグラフ定式化によるインスタンスとインスタンスの関係をモデル化する。 蒸留方式は, 学生ネットワーク上での表現学習を促進するために, 自己指導型知識の伝達に柔軟に適用できる。
  論文  参考訳（メタデータ） (2022-11-23T19:27:48Z)
• CHALLENGER: Training with Attribution Maps [63.736435657236505]
  ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。 特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-05-30T13:34:46Z)
• Data-Free Adversarial Knowledge Distillation for Graph Neural Networks [62.71646916191515]
  グラフ構造化データ(DFAD-GNN)を用いたデータフリー逆知識蒸留のための第1のエンドツーエンドフレームワークを提案する。 具体的には、DFAD-GNNは、教師モデルと学生モデルとを2つの識別器とみなし、教師モデルから学生モデルに知識を抽出するために学習グラフを導出するジェネレータという、主に3つの成分からなる生成的対向ネットワークを採用している。 我々のDFAD-GNNは、グラフ分類タスクにおける最先端のデータフリーベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2022-05-08T08:19:40Z)
• Learning to Augment for Data-Scarce Domain BERT Knowledge Distillation [55.34995029082051]
  本稿では,データスカース領域BERT知識蒸留のための拡張学習法を提案する。 提案手法が4つの異なるタスクにおける最先端のベースラインを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2021-01-20T13:07:39Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• Pseudo-Representation Labeling Semi-Supervised Learning [0.0]
  近年、半教師付き学習は、ラベルのないデータを活用してディープラーニングモデルの性能向上に成功している。 本研究は、擬似ラベル付け技術を用いて少量の未ラベルデータを反復的にラベル付けし、それらをトレーニングデータとして使用する、シンプルで柔軟なフレームワークである擬似表現ラベリングを提案する。 従来の手法と比較して、擬似表現ラベリングはより直感的であり、現実世界の実践的な問題を効果的に解決することができる。
  論文  参考訳（メタデータ） (2020-05-31T03:55:41Z)
• Transfer Learning for Information Extraction with Limited Data [2.201264358342234]
  本稿では,詳細な情報抽出への実践的アプローチを提案する。 まずBERTを利用して、実際のシナリオにおけるトレーニングデータの制限に対処します。 次に、BERTを畳み込みニューラルネットワークで積み重ねて、分類のための隠れ表現を学習する。
  論文  参考訳（メタデータ） (2020-03-06T08:08:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。