論文の概要: Constraint Guided Gradient Descent: Guided Training with Inequality Constraints

• arxiv url: http://arxiv.org/abs/2206.06202v1
• Date: Mon, 13 Jun 2022 14:33:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-14 15:33:46.435643
• Title: Constraint Guided Gradient Descent: Guided Training with Inequality Constraints
• Title（参考訳）: 拘束ガイド グラディエントドライズ:不平等制約による指導訓練
• Authors: Quinten Van Baelen Peter Karsmakers
• Abstract要約: 訓練手順にドメイン知識を注入することのできる制約ガイド付きグラディエントDescent (CGGD) を提案する。 CGGDはトレーニングデータの不等式制約を満たすモデルに収束する。 これは、CGGDがトレーニングをネットワークの初期化に依存しないようにする2つの独立したデータセットと小さなデータセットに実証的に示される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning is typically performed by learning a neural network solely from data in the form of input-output pairs ignoring available domain knowledge. In this work, the Constraint Guided Gradient Descent (CGGD) framework is proposed that enables the injection of domain knowledge into the training procedure. The domain knowledge is assumed to be described as a conjunction of hard inequality constraints which appears to be a natural choice for several applications. Compared to other neuro-symbolic approaches, the proposed method converges to a model that satisfies any inequality constraint on the training data and does not require to first transform the constraints into some ad-hoc term that is added to the learning (optimisation) objective. Under certain conditions, it is shown that CGGD can converges to a model that satisfies the constraints on the training set, while prior work does not necessarily converge to such a model. It is empirically shown on two independent and small data sets that CGGD makes training less dependent on the initialisation of the network and improves the constraint satisfiability on all data.
• Abstract（参考訳）: ディープラーニングは通常、利用可能なドメイン知識を無視した入出力ペアという形式で、データのみからニューラルネットワークを学習することによって行われる。 本研究では,訓練手順にドメイン知識を注入できるCGGD(Constraint Guided Gradient Descent)フレームワークを提案する。 ドメイン知識は、いくつかのアプリケーションにとって自然な選択であるように見えるハード不等式制約の結合として記述される。 他のニューロシンボリックアプローチと比較すると、提案手法はトレーニングデータに対する不等式制約を満たすモデルに収束し、学習(最適化)目標に追加されるアドホックな用語にまず制約を変換する必要がなくなる。 ある条件下では、CGGDはトレーニングセット上の制約を満たすモデルに収束するが、事前の作業は必ずしもそのようなモデルに収束するとは限らない。 これは、CGGDがトレーニングをネットワークの初期化に依存しにくくし、全てのデータに対する制約を満たすことを実証的に示している。

関連論文リスト

• DiffClass: Diffusion-Based Class Incremental Learning [30.514281721324853]
  クラスインクリメンタルラーニング(CIL)は破滅的な忘れが原因で困難である。 最近の例のないCIL手法は、過去のタスクデータを合成することによって破滅的な忘れを軽減しようとする。 そこで本研究では,これらの問題を克服するために,新しい非定型CIL法を提案する。
  論文  参考訳（メタデータ） (2024-03-08T03:34:18Z)
• Deep Neural Network for Constraint Acquisition through Tailored Loss Function [0.0]
  データから制約を学習することの重要性は、実世界の問題解決における潜在的な応用によって裏付けられている。 この研究は、シンボリック回帰に基づくディープニューラルネットワーク(DNN)に基づく新しいアプローチを導入する。
  論文  参考訳（メタデータ） (2024-03-04T13:47:33Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Regularized Conditional Alignment for Multi-Domain Text Classification [6.629561563470492]
  本稿では,正規化条件アライメント(RCA)と呼ばれる手法を提案する。 我々は、ラベルのないデータに関する予測の不確実性を抑制するために、エントロピーの最小化と仮想対位トレーニングを採用している。 2つのベンチマークデータセットによる実験結果から、我々のRCAアプローチは最先端のMDTC技術より優れていることが示された。
  論文  参考訳（メタデータ） (2023-12-18T05:52:05Z)
• Neural Fields with Hard Constraints of Arbitrary Differential Order [61.49418682745144]
  我々は、ニューラルネットワークに厳しい制約を課すための一連のアプローチを開発する。 制約は、ニューラルネットワークとそのデリバティブに適用される線形作用素として指定することができる。 私たちのアプローチは、広範囲の現実世界のアプリケーションで実証されています。
  論文  参考訳（メタデータ） (2023-06-15T08:33:52Z)
• CONDA: Continual Unsupervised Domain Adaptation Learning in Visual Perception for Self-Driving Cars [11.479857808195774]
  本稿では,モデルが新しいデータの存在に関して継続的に学習し,適応することを可能にする,連続的教師なしドメイン適応(CONDA)アプローチを提案する。 破滅的な忘れの問題を避け, セグメンテーションモデルの性能を維持するために, 新規な主観的最大損失を提示する。
  論文  参考訳（メタデータ） (2022-12-01T16:15:54Z)
• A Curriculum-style Self-training Approach for Source-Free Semantic Segmentation [91.13472029666312]
  ソースフリーなドメイン適応型セマンティックセマンティックセグメンテーションのためのカリキュラムスタイルの自己学習手法を提案する。 提案手法は, ソースフリーなセマンティックセグメンテーションタスクにおいて, 合成-実-実-実-実-実-実-非実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実
  論文  参考訳（メタデータ） (2021-06-22T10:21:39Z)
• Developing Constrained Neural Units Over Time [81.19349325749037]
  本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。 ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。 提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
  論文  参考訳（メタデータ） (2020-09-01T09:07:25Z)
• Differentiable Causal Discovery from Interventional Data [141.41931444927184]
  本稿では、介入データを活用可能なニューラルネットワークに基づく理論的基盤化手法を提案する。 提案手法は,様々な環境下での美術品の状態と良好に比較できることを示す。
  論文  参考訳（メタデータ） (2020-07-03T15:19:17Z)
• Universal Source-Free Domain Adaptation [57.37520645827318]
  ドメイン適応のための新しい2段階学習プロセスを提案する。 Procurementの段階では、今後のカテゴリギャップやドメインシフトに関する事前知識を前提とせず、将来的なソースフリーデプロイメントのためのモデルの提供を目標としています。 Deploymentの段階では、幅広いカテゴリギャップをまたいで動作可能な統一適応アルゴリズムを設計することを目的としている。
  論文  参考訳（メタデータ） (2020-04-09T07:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。