論文の概要: Semantic Objective Functions: A distribution-aware method for adding logical constraints in deep learning
- arxiv url: http://arxiv.org/abs/2405.15789v1
- Date: Fri, 3 May 2024 19:21:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-02 14:39:48.897110
- Title: Semantic Objective Functions: A distribution-aware method for adding logical constraints in deep learning
- Title（参考訳）: 意味的目的関数:ディープラーニングにおける論理的制約を付加する分布認識法
- Authors: Miguel Angel Mendez-Lucero, Enrique Bojorquez Gallardo, Vaishak Belle,
- Abstract要約: 制約付き学習と知識蒸留技術は有望な結果を示した。
本稿では,機械学習モデルに知識を付加した論理的制約を組み込むロスベース手法を提案する。
本手法は,論理的制約のある分類タスクを含む,様々な学習課題において評価する。
- 参考スコア（独自算出の注目度）: 4.854297874710511
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Issues of safety, explainability, and efficiency are of increasing concern in learning systems deployed with hard and soft constraints. Symbolic Constrained Learning and Knowledge Distillation techniques have shown promising results in this area, by embedding and extracting knowledge, as well as providing logical constraints during neural network training. Although many frameworks exist to date, through an integration of logic and information geometry, we provide a construction and theoretical framework for these tasks that generalize many approaches. We propose a loss-based method that embeds knowledge-enforces logical constraints-into a machine learning model that outputs probability distributions. This is done by constructing a distribution from the external knowledge/logic formula and constructing a loss function as a linear combination of the original loss function with the Fisher-Rao distance or Kullback-Leibler divergence to the constraint distribution. This construction includes logical constraints in the form of propositional formulas (Boolean variables), formulas of a first-order language with finite variables over a model with compact domain (categorical and continuous variables), and in general, likely applicable to any statistical model that was pretrained with semantic information. We evaluate our method on a variety of learning tasks, including classification tasks with logic constraints, transferring knowledge from logic formulas, and knowledge distillation from general distributions.
- Abstract（参考訳）: 安全性、説明可能性、効率性の問題は、ハードおよびソフトな制約でデプロイされた学習システムにおいて、関心が高まることである。
シンボリック制約学習と知識蒸留技術は、知識の埋め込みと抽出、ニューラルネットワークトレーニング中の論理的制約の提供によって、この分野で有望な結果を示している。
現在までに多くのフレームワークが存在するが、論理学と情報幾何学の統合により、我々はこれらのタスクの構築と理論的枠組みを提供し、多くのアプローチを一般化している。
本稿では,確率分布を出力する機械学習モデルに,知識を付加した論理的制約を組み込むロスベース手法を提案する。
これは、外部知識・論理式からの分布を構築し、元の損失関数とフィッシャー・ラオ距離またはクルバック・リーブラの制約分布への線形結合として損失関数を構成する。
この構成には、命題公式(ブール変数)の形式における論理的制約、コンパクトな領域を持つモデル(カテゴリー変数と連続変数)上の有限変数を持つ一階言語の式、そして一般に、意味情報で事前訓練された任意の統計モデルに適用可能である。
本稿では,論理制約付き分類タスク,論理式からの知識の伝達,一般分布からの知識蒸留など,様々な学習課題について評価する。
関連論文リスト
- Neuro-symbolic Learning Yielding Logical Constraints [22.649543443988712]
ニューロシンボリックシステムのエンドツーエンドの学習は、まだ未解決の課題である。
本稿では,ネットワーク,シンボル接地,論理的制約合成を両立させるフレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-28T12:18:25Z) - Learning with Logical Constraints but without Shortcut Satisfaction [23.219364371311084]
論理的制約による学習のための新しいフレームワークを提案する。
具体的には、論理接続のための双対変数を導入することで、ショートカット満足度問題に対処する。
本稿では,符号化された論理制約を分布損失として表現する変分フレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-01T07:17:20Z) - Logic-induced Diagnostic Reasoning for Semi-supervised Semantic
Segmentation [85.12429517510311]
LogicDiagは、セマンティックセグメンテーションのためのニューラルネットワークによる半教師付き学習フレームワークである。
私たちの重要な洞察は、記号的知識によって識別される擬似ラベル内の衝突は、強いが一般的に無視される学習信号として機能する、ということです。
本稿では,論理規則の集合として意味論的概念の構造的抽象化を定式化するデータ・ハングリーセグメンテーションシナリオにおけるLogicDiagの実践的応用について紹介する。
論文 参考訳（メタデータ） (2023-08-24T06:50:07Z) - PROTOtypical Logic Tensor Networks (PROTO-LTN) for Zero Shot Learning [2.236663830879273]
論理ネットワーク(英: Logic Networks, LTN)は、ディープニューラルネットワークに根ざした微分可能な一階述語論理に基づくニューロシンボリックシステムである。
ここでは、ほとんどの意味的画像解釈タスクをエンコードする基本となるsubsumptionまたはtextttisOfClass述語に焦点を当てる。
本稿では,オブジェクト埋め込みと対応するクラスプロトタイプ間の距離の関数を真理レベルとする,共通のtextttisOfClass述語を提案する。
論文 参考訳（メタデータ） (2022-06-26T18:34:07Z) - Logical blocks for fault-tolerant topological quantum computation [55.41644538483948]
本稿では,プラットフォームに依存しない論理ゲート定義の必要性から,普遍的なフォールトトレラント論理の枠組みを提案する。
資源オーバーヘッドを改善するユニバーサル論理の新しいスキームについて検討する。
境界のない計算に好適な論理誤差率を動機として,新しい計算手法を提案する。
論文 参考訳（メタデータ） (2021-12-22T19:00:03Z) - Leveraging Unlabeled Data for Entity-Relation Extraction through
Probabilistic Constraint Satisfaction [54.06292969184476]
シンボリックドメイン知識の存在下でのエンティティ関係抽出の問題を研究する。
本手法では,論理文の正確な意味を捉える意味的損失を用いる。
低データ体制に焦点をあてて、セマンティックな損失がベースラインをはるかに上回ることを示す。
論文 参考訳（メタデータ） (2021-03-20T00:16:29Z) - Reinforcement Learning with External Knowledge by using Logical Neural
Networks [67.46162586940905]
論理ニューラルネットワーク(LNN)と呼ばれる最近のニューラルシンボリックフレームワークは、ニューラルネットワークとシンボリックロジックの両方のキープロパティを同時に提供することができる。
外部知識ソースからのモデルフリー強化学習を可能にする統合手法を提案する。
論文 参考訳（メタデータ） (2021-03-03T12:34:59Z) - Logical Neural Networks [51.46602187496816]
ニューラルネットワーク(学習)と記号論理(知識と推論)の両方の重要な特性をシームレスに提供する新しいフレームワークを提案する。
すべてのニューロンは、重み付けされた実数値論理における公式の構成要素としての意味を持ち、非常に解釈不能な非絡み合い表現をもたらす。
推論は事前に定義されたターゲット変数ではなく、オムニであり、論理的推論に対応する。
論文 参考訳（メタデータ） (2020-06-23T16:55:45Z) - An Integer Linear Programming Framework for Mining Constraints from Data [81.60135973848125]
データから制約をマイニングするための一般的なフレームワークを提案する。
特に、構造化された出力予測の推論を整数線形プログラミング(ILP)問題とみなす。
提案手法は,9×9のスドクパズルの解法を学習し,基礎となるルールを提供することなく,例からツリー問題を最小限に分散させることが可能であることを示す。
論文 参考訳（メタデータ） (2020-06-18T20:09:53Z) - Relational Neural Machines [19.569025323453257]
本稿では,学習者のパラメータと一階論理に基づく推論を共同で学習するフレームワークを提案する。
ニューラルネットワークは、純粋な準記号学習の場合の古典的な学習結果とマルコフ論理ネットワークの両方を復元することができる。
適切なアルゴリズム解は、大規模な問題において学習と推論が引き出すことができるように考案されている。
論文 参考訳（メタデータ） (2020-02-06T10:53:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。