論文の概要: Improving Deep Learning Models via Constraint-Based Domain Knowledge: a Brief Survey

• arxiv url: http://arxiv.org/abs/2005.10691v1
• Date: Tue, 19 May 2020 15:34:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 13:03:58.612948
• Title: Improving Deep Learning Models via Constraint-Based Domain Knowledge: a Brief Survey
• Title（参考訳）: 制約に基づくドメイン知識によるディープラーニングモデルの改善: 簡単な調査
• Authors: Andrea Borghesi, Federico Baldo, Michela Milano
• Abstract要約: 本稿では、ディープラーニング(DL)学習モデルにおいて、制約の形で表現されたドメイン知識を統合するために考案されたアプローチを初めて調査する。 1)特徴空間に作用する,2)仮説空間の変更,3)データ拡張,4)正規化スキーム,5)制約付き学習。
• 参考スコア（独自算出の注目度）: 11.034875974800487
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Learning (DL) models proved themselves to perform extremely well on a wide variety of learning tasks, as they can learn useful patterns from large data sets. However, purely data-driven models might struggle when very difficult functions need to be learned or when there is not enough available training data. Fortunately, in many domains prior information can be retrieved and used to boost the performance of DL models. This paper presents a first survey of the approaches devised to integrate domain knowledge, expressed in the form of constraints, in DL learning models to improve their performance, in particular targeting deep neural networks. We identify five (non-mutually exclusive) categories that encompass the main approaches to inject domain knowledge: 1) acting on the features space, 2) modifications to the hypothesis space, 3) data augmentation, 4) regularization schemes, 5) constrained learning.
• Abstract（参考訳）: ディープラーニング(DL)モデルは、大規模なデータセットから有用なパターンを学ぶことができるため、幅広い学習タスクで非常にうまく機能することが証明された。 しかし、純粋データ駆動モデルは、非常に難しい関数を学習する必要がある場合や、十分なトレーニングデータがない場合に苦労する可能性がある。 幸いなことに、多くのドメインで事前情報を検索し、DLモデルの性能を高めるために使用することができる。 本稿では,制約形式で表現されたドメイン知識をDL学習モデルに組み込むことによって,その性能向上,特に深層ニューラルネットワークを対象とするアプローチについて,最初の調査を行った。 ドメイン知識を注入する主要なアプローチを含む5つのカテゴリを識別する。 1)特徴空間に作用すること 2)仮説空間の変更 3)データ拡張 4)正規化スキーム, 5) 制約学習。

関連論文リスト

• Accelerating Deep Learning with Fixed Time Budget [2.190627491782159]
  本稿では,一定時間内に任意のディープラーニングモデルを学習するための効果的な手法を提案する。 提案手法はコンピュータビジョンにおける分類タスクと回帰タスクの両方において広範囲に評価される。
  論文  参考訳（メタデータ） (2024-10-03T21:18:04Z)
• A More Practical Approach to Machine Unlearning [0.0]
  機械学習は、訓練されたモデルから特定のデータポイントの影響を取り除く能力である。 GPT-2の埋め込み層は効果的なアンラーニングに不可欠である。 ファジィマッチング技術はモデルを新しい最適に移行し、反復的アンラーニングはより完全なモダリティを提供する。
  論文  参考訳（メタデータ） (2024-06-13T17:59:06Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
  大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。 本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
  論文  参考訳（メタデータ） (2023-11-29T05:33:28Z)
• PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [71.63186089279218]
  本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。 一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。 一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
  論文  参考訳（メタデータ） (2023-09-13T17:55:11Z)
• Maximizing Model Generalization for Machine Condition Monitoring with Self-Supervised Learning and Federated Learning [4.214064911004321]
  Deep Learningは、手動で設計された統計的特徴なしで、障害を診断し、生の状態監視データからマシンの健康を評価する。 伝統的な教師付き学習は、目に見えない対象ドメインに一般化するコンパクトで差別的な表現を学ぶのに苦労することがある。 本研究は,対象領域にモデルをコピーするために,ソース領域における特徴一般化の最大化と重み移動によるTLの適用に焦点をあてる。
  論文  参考訳（メタデータ） (2023-04-27T17:57:54Z)
• CHALLENGER: Training with Attribution Maps [63.736435657236505]
  ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。 特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-05-30T13:34:46Z)
• Data-Free Adversarial Knowledge Distillation for Graph Neural Networks [62.71646916191515]
  グラフ構造化データ(DFAD-GNN)を用いたデータフリー逆知識蒸留のための第1のエンドツーエンドフレームワークを提案する。 具体的には、DFAD-GNNは、教師モデルと学生モデルとを2つの識別器とみなし、教師モデルから学生モデルに知識を抽出するために学習グラフを導出するジェネレータという、主に3つの成分からなる生成的対向ネットワークを採用している。 我々のDFAD-GNNは、グラフ分類タスクにおける最先端のデータフリーベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2022-05-08T08:19:40Z)
• Leveraging Intrinsic Gradient Information for Machine Learning Model Training [4.682734815593623]
  入力に対する対象変数の微分を利用して、微分可能な機械学習モデルの精度を向上させることができる。 1)線形回帰モデルとフィードフォワードニューラルネットワーク(NN)の予測精度の向上,(2)勾配情報と非勾配情報との差を利用してNNの複雑さを調整すること,(4)勾配情報を用いて生成画像モデルを改善すること。
  論文  参考訳（メタデータ） (2021-11-30T20:50:45Z)
• Injective Domain Knowledge in Neural Networks for Transprecision Computing [17.300144121921882]
  本稿では,非自明な学習課題を扱う際に,事前知識を統合することで得られる改善について検討する。 その結果,問題固有情報を利用したMLモデルは純粋にデータ駆動のモデルよりも優れており,平均精度は約38%向上していることがわかった。
  論文  参考訳（メタデータ） (2020-02-24T12:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。