論文の概要: Guaranteed Conformance of Neurosymbolic Models to Natural Constraints

• arxiv url: http://arxiv.org/abs/2212.01346v8
• Date: Tue, 7 Nov 2023 14:05:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-08 20:12:28.689074
• Title: Guaranteed Conformance of Neurosymbolic Models to Natural Constraints
• Title（参考訳）: ニューロシンボリックモデルの自然拘束に対する保証的適合性
• Authors: Kaustubh Sridhar, Souradeep Dutta, James Weimer, Insup Lee
• Abstract要約: 安全クリティカルな応用においては、データ駆動モデルは自然科学の確立した知識に適合することが重要である。 我々はこの適合性を保証する方法を提案する。 拘束されたニューロシンボリックモデルが特定のモデルに適合していることを実験的に示す。
• 参考スコア（独自算出の注目度）: 4.598757178874836
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks have emerged as the workhorse for a large section of robotics and control applications, especially as models for dynamical systems. Such data-driven models are in turn used for designing and verifying autonomous systems. They are particularly useful in modeling medical systems where data can be leveraged to individualize treatment. In safety-critical applications, it is important that the data-driven model is conformant to established knowledge from the natural sciences. Such knowledge is often available or can often be distilled into a (possibly black-box) model. For instance, an F1 racing car should conform to Newton's laws (which are encoded within a unicycle model). In this light, we consider the following problem - given a model $M$ and a state transition dataset, we wish to best approximate the system model while being a bounded distance away from $M$. We propose a method to guarantee this conformance. Our first step is to distill the dataset into a few representative samples called memories, using the idea of a growing neural gas. Next, using these memories we partition the state space into disjoint subsets and compute bounds that should be respected by the neural network in each subset. This serves as a symbolic wrapper for guaranteed conformance. We argue theoretically that this only leads to a bounded increase in approximation error; which can be controlled by increasing the number of memories. We experimentally show that on three case studies (Car Model, Drones, and Artificial Pancreas), our constrained neurosymbolic models conform to specified models (each encoding various constraints) with order-of-magnitude improvements compared to the augmented Lagrangian and vanilla training methods. Our code can be found at: https://github.com/kaustubhsridhar/Constrained_Models
• Abstract（参考訳）: ディープニューラルネットワークは、特に力学系のモデルとして、ロボット工学と制御応用の幅広い部分のワークホースとして登場した。 このようなデータ駆動モデルは、自律システムの設計と検証に使用される。 データは治療の個別化に活用できる医療システムのモデリングに特に有用である。 安全クリティカルな応用においては、データ駆動モデルは自然科学の確立した知識に適合することが重要である。 そのような知識はしばしば利用可能であり、しばしば(おそらくブラックボックス)モデルに蒸留される。 例えば、f1レーシングカーはニュートンの法則(一輪車モデルにエンコードされる)に従わなければならない。 モデル $m$ と状態遷移データセットが与えられたとき、私たちは$m$ から離れた境界距離でありながら、システムモデルを最もよく近似したいと考えています。 この適合性を保証する方法を提案する。 最初のステップは、神経ガスの増加というアイデアを使って、データセットをmemoriesと呼ばれる代表的なサンプルに蒸留することです。 次に、これらの記憶を用いて状態空間を非結合部分集合に分割し、各サブセットでニューラルネットワークによって尊重されるべき境界を計算する。 これは保証された適合性のシンボリックラッパーとして機能する。 理論的には、これは近似誤差の有界増加に繋がるだけであり、これは記憶数を増やすことによって制御できる。 カーモデル, ドローン, 人工膵の3つのケーススタディにおいて, 拘束されたニューロシンボリックモデルが, ラグランジアンおよびバニラの訓練法と比較して, オーダー・オブ・マグニチュードの改善を伴う特定のモデル(各制約を符号化する)に適合していることが実験的に示された。 私たちのコードは、https://github.com/kaustubhsridhar/constrained_modelsにあります。

関連論文リスト

• Beyond Closure Models: Learning Chaotic-Systems via Physics-Informed Neural Operators [78.64101336150419]
  カオスシステムの長期的挙動を予測することは、気候モデリングなどの様々な応用に不可欠である。 このような完全解法シミュレーションに対する別のアプローチは、粗いグリッドを使用して、時間テキストモデルによってエラーを修正することである。 この制限を克服する物理インフォームド・ニューラル演算子(PINO)を用いたエンド・ツー・エンドの学習手法を提案する。
  論文  参考訳（メタデータ） (2024-08-09T17:05:45Z)
• Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
  GMLM(Generative Masked Language Models)に焦点を当てる。 我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。 我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-07-22T18:00:00Z)
• Harmony in Diversity: Merging Neural Networks with Canonical Correlation Analysis [17.989809995141044]
  相関解析に基づくCCAマージを提案する。 2モデル以上のモデルがマージされた場合、CCAは過去の方法よりもはるかにうまく機能することを示す。
  論文  参考訳（メタデータ） (2024-07-07T14:21:04Z)
• Neural Abstractions [72.42530499990028]
  本稿では,ニューラルネットワークを用いた非線形力学モデルの安全性検証手法を提案する。 提案手法は,既存のベンチマーク非線形モデルにおいて,成熟度の高いFlow*と同等に動作することを示す。
  論文  参考訳（メタデータ） (2023-01-27T12:38:09Z)
• Inverting brain grey matter models with likelihood-free inference: a tool for trustable cytoarchitecture measurements [62.997667081978825]
  脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。 我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。 次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
  論文  参考訳（メタデータ） (2021-11-15T09:08:27Z)
• GAN Cocktail: mixing GANs without dataset access [18.664733153082146]
  実世界でしばしば発生する2つの制約を考えると、モデルマージの問題に取り組みます。 第一段階では、モデルルートと呼ぶ手法により、全てのモデルの重みを同じパラメータ空間に変換する。 第2段階では、ルートモデルの重みを平均化し、元のトレーニングされたモデルによって生成されたデータのみを使用して、特定のドメイン毎に微調整することで、ルートモデルとマージする。
  論文  参考訳（メタデータ） (2021-06-07T17:59:04Z)
• A Twin Neural Model for Uplift [59.38563723706796]
  Upliftは条件付き治療効果モデリングの特定のケースです。 相対リスクのベイズ解釈との関連性を利用して定義した新たな損失関数を提案する。 本提案手法は,シミュレーション設定の最先端と大規模ランダム化実験による実データとの競合性を示す。
  論文  参考訳（メタデータ） (2021-05-11T16:02:39Z)
• Learning physically consistent mathematical models from data using group sparsity [2.580765958706854]
  生物学、高騒音レベル、センサーによる相関、強いシステム間変動といった分野では、データ駆動モデルは非感覚的または物理的に矛盾する。 データ駆動モデリングにおいて$textitpriors$を強制する利点を示すシステム生物学のいくつかの応用例を示す。
  論文  参考訳（メタデータ） (2020-12-11T14:45:38Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。