論文の概要: Domain-Agnostic Neural Architecture for Class Incremental Continual Learning in Document Processing Platform

• arxiv url: http://arxiv.org/abs/2307.05399v1
• Date: Tue, 11 Jul 2023 16:01:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-12 14:05:10.825002
• Title: Domain-Agnostic Neural Architecture for Class Incremental Continual Learning in Document Processing Platform
• Title（参考訳）: 文書処理プラットフォームにおけるクラスインクリメンタル連続学習のためのドメインに依存しないニューラルアーキテクチャ
• Authors: Mateusz W\'ojcik, Witold Ko\'sciukiewicz, Mateusz Baran, Tomasz Kajdanowicz, Adam Gonczarek
• Abstract要約: 学習勾配を持つ最近の手法は、そのような設定に苦しむか、メモリバッファのような制限があることが示されている。 本稿では,各クラスからサンプルを別々に提示した場合に,高性能な分類器の訓練を可能にする,Mixture of Expertsモデルに基づく完全微分可能なアーキテクチャを提案する。 各種ドメインに適用可能であること,実運用環境でオンライン学習できることを実証する徹底的な実験を行った。
• 参考スコア（独自算出の注目度）: 3.630365560970225
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Production deployments in complex systems require ML architectures to be highly efficient and usable against multiple tasks. Particularly demanding are classification problems in which data arrives in a streaming fashion and each class is presented separately. Recent methods with stochastic gradient learning have been shown to struggle in such setups or have limitations like memory buffers, and being restricted to specific domains that disable its usage in real-world scenarios. For this reason, we present a fully differentiable architecture based on the Mixture of Experts model, that enables the training of high-performance classifiers when examples from each class are presented separately. We conducted exhaustive experiments that proved its applicability in various domains and ability to learn online in production environments. The proposed technique achieves SOTA results without a memory buffer and clearly outperforms the reference methods.
• Abstract（参考訳）: 複雑なシステムにおけるプロダクションデプロイメントでは、MLアーキテクチャは、複数のタスクに対して非常に効率的で有用である必要がある。 特に要求されるのは、データがストリーミング形式で到着し、各クラスが別々に提示される分類問題である。 確率的勾配学習を用いた最近の手法では、そのような設定に苦労したり、メモリバッファのような制限があったり、現実世界のシナリオでの使用を無効にする特定の領域に限定されていることが示されている。 そこで,我々は,各クラスからのサンプルが別々に提示された場合に,高性能分類器の訓練を可能にするエキスパートモデルの混合に基づく完全微分可能なアーキテクチャを提案する。 各種ドメインに適用可能であること,実運用環境でオンライン学習できることを実証する徹底的な実験を行った。 提案手法は,メモリバッファを使わずにSOTA結果が得られ,参照手法よりも明らかに優れている。

関連論文リスト

• MoP-CLIP: A Mixture of Prompt-Tuned CLIP Models for Domain Incremental Learning [12.737883740101438]
  本稿では,プロンプト調整型CLIPモデル(MoP-CLIP)を用いた新しいDIL手法を提案する。 トレーニング段階では、各ドメインの各クラスの特徴分布をモデル化し、個々のテキストと視覚的プロンプトを学習して、特定のドメインに適応させます。 学習した分布は、与えられたテストサンプルが既知のドメインに属しているかどうかを識別し、分類タスクの正しいプロンプトを選択する。
  論文  参考訳（メタデータ） (2023-07-11T18:17:50Z)
• Self-Paced Learning for Open-Set Domain Adaptation [50.620824701934]
  従来のドメイン適応手法は、ソースとターゲットドメインのクラスが同一であると仮定する。 オープンセットドメイン適応(OSDA)は、この制限に対処する。 そこで,本研究では,共通クラスと未知クラスを識別するための自己評価学習に基づく新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-10T14:11:09Z)
• Learning from Mistakes: Self-Regularizing Hierarchical Representations in Point Cloud Semantic Segmentation [15.353256018248103]
  LiDARセマンティックセマンティックセマンティクスは、きめ細かいシーン理解を実現するために注目を集めている。 本稿では、標準モデルから派生した分類ミスタケス(LEAK)からLEArnを分離する粗大な設定を提案する。 我々のLEAKアプローチは非常に一般的で、どんなセグメンテーションアーキテクチャにもシームレスに適用できます。
  論文  参考訳（メタデータ） (2023-01-26T14:52:30Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)
• Neural Architecture for Online Ensemble Continual Learning [6.241435193861262]
  我々は、エンドツーエンドのニューラルネットワークのアンサンブルを効率的に訓練できる、完全に微分可能なアンサンブル法を提案する。 提案手法は,メモリバッファを使わずにSOTA結果が得られ,参照手法よりも明らかに優れている。
  論文  参考訳（メタデータ） (2022-11-27T23:17:08Z)
• An Additive Instance-Wise Approach to Multi-class Model Interpretation [53.87578024052922]
  解釈可能な機械学習は、ブラックボックスシステムの特定の予測を駆動する要因に関する洞察を提供する。 既存の手法は主に、局所的な加法的あるいはインスタンス的なアプローチに従う説明的入力特徴の選択に重点を置いている。 本研究は,両手法の長所を生かし,複数の対象クラスに対する局所的な説明を同時に学習するためのグローバルフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-07T06:50:27Z)
• CHALLENGER: Training with Attribution Maps [63.736435657236505]
  ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。 特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-05-30T13:34:46Z)
• Hyperspherical embedding for novel class classification [1.5952956981784217]
  本稿では,正規化ソフトマックス損失下での潜在空間の表現に制約に基づくアプローチを提案する。 本研究では,メトリクス学習と正規化ソフトマックス損失の両方を用いて,異なるデータセット上の未知のクラスを分類するための提案手法を実験的に検証した。 この結果から,提案した戦略は,ペアワイズ学習を必要とせず,メトリック学習戦略よりも優れた分類結果を提供するため,より大規模なクラスで効率的に学習可能であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-05T15:42:13Z)
• Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
  本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。 また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
  論文  参考訳（メタデータ） (2020-12-01T11:46:03Z)
• Multifaceted Context Representation using Dual Attention for Ontology Alignment [6.445605125467574]
  オントロジーアライメントは、データ統合、データ転送、データ準備など、さまざまな分野に適用できる重要な研究課題である。 We propose VeeAlign, a Deep Learning based model that using a dual-attention mechanism to compute the contextualized representation of a concept to learn alignments。 我々は、異なるドメインや多言語設定の様々なデータセットに対するアプローチを検証するとともに、SOTA法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2020-10-16T18:28:38Z)
• MetaPerturb: Transferable Regularizer for Heterogeneous Tasks and Architectures [61.73533544385352]
  本稿ではメタパーターブ(MetaPerturb)というトランスファー可能な摂動モデルを提案する。 MetaPerturbは、レイヤやタスクにまたがる多様な分散を訓練したセット関数であるため、異種タスクやアーキテクチャを一般化することができる。
  論文  参考訳（メタデータ） (2020-06-13T02:54:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。