論文の概要: Query languages for neural networks

• arxiv url: http://arxiv.org/abs/2408.10362v1
• Date: Mon, 19 Aug 2024 18:59:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-21 17:53:16.052223
• Title: Query languages for neural networks
• Title（参考訳）: ニューラルネットワークのためのクエリ言語
• Authors: Martin Grohe, Christoph Standke, Juno Steegmans, Jan Van den Bussche,
• Abstract要約: 我々は、ニューラルネットワークモデルへのアクセスにおいて主に異なる一階述語論理に基づく異なるクエリ言語について研究する。 実数体上の一階述語論理は、ネットワークをブラックボックスと見なす言語を自然に生成する。 ホワイトボックス言語は、ネットワークを重み付きグラフと見なし、重み付き項の和で一階述語論理を拡張することで得られる。
• 参考スコア（独自算出の注目度）: 2.189522312470092
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We lay the foundations for a database-inspired approach to interpreting and understanding neural network models by querying them using declarative languages. Towards this end we study different query languages, based on first-order logic, that mainly differ in their access to the neural network model. First-order logic over the reals naturally yields a language which views the network as a black box; only the input--output function defined by the network can be queried. This is essentially the approach of constraint query languages. On the other hand, a white-box language can be obtained by viewing the network as a weighted graph, and extending first-order logic with summation over weight terms. The latter approach is essentially an abstraction of SQL. In general, the two approaches are incomparable in expressive power, as we will show. Under natural circumstances, however, the white-box approach can subsume the black-box approach; this is our main result. We prove the result concretely for linear constraint queries over real functions definable by feedforward neural networks with a fixed number of hidden layers and piecewise linear activation functions.
• Abstract（参考訳）: 私たちは、宣言型言語を使ってニューラルネットワークモデルをクエリすることで、ニューラルネットワークモデルを解釈し理解するための、データベースにインスパイアされたアプローチの基礎を築いた。 この目的のために、ニューラルネットワークモデルへのアクセスにおいて主に異なる一階述語論理に基づく異なるクエリ言語について研究する。 実数体上の一階述語論理は、ネットワークをブラックボックスと見なす言語を自然に生成する。 これは本質的に制約クエリ言語のアプローチです。 一方、ホワイトボックス言語は、ネットワークを重み付きグラフと見なし、重み付き項の和で一階述語論理を拡張することで得られる。 後者のアプローチは基本的にSQLの抽象化です。 一般に、この2つのアプローチは表現力では比較できない。 しかし、自然条件下では、ホワイトボックスアプローチはブラックボックスアプローチを仮定することができる。 固定数の隠れ層を持つフィードフォワードニューラルネットワークで定義可能な実関数上での線形制約クエリの結果を具体的に証明する。

関連論文リスト

• Training Neural Networks as Recognizers of Formal Languages [87.06906286950438]
  形式言語理論は、特に認識者に関するものである。 代わりに、非公式な意味でのみ類似したプロキシタスクを使用するのが一般的である。 ニューラルネットワークを文字列のバイナリ分類器として直接訓練し評価することで、このミスマッチを補正する。
  論文  参考訳（メタデータ） (2024-11-11T16:33:25Z)
• LinSATNet: The Positive Linear Satisfiability Neural Networks [116.65291739666303]
  本稿では,ニューラルネットワークに人気の高い正の線形満足度を導入する方法について検討する。 本稿では,古典的なシンクホーンアルゴリズムを拡張し,複数の辺分布の集合を共同で符号化する,最初の微分可能満足層を提案する。
  論文  参考訳（メタデータ） (2024-07-18T22:05:21Z)
• Codebook Features: Sparse and Discrete Interpretability for Neural Networks [43.06828312515959]
  ニューラルネットワークが、疎く、離散的で、より解釈可能な隠された状態を持つように訓練できるかどうかを探る。 コードブックの特徴は、各層にベクトル量子化ボトルネックを持つニューラルネットワークを微調整することによって生成される。 ニューラルネットワークは、パフォーマンスをわずかに低下させるだけで、この極端なボトルネックの下で動作できることがわかりました。
  論文  参考訳（メタデータ） (2023-10-26T08:28:48Z)
• Empower Nested Boolean Logic via Self-Supervised Curriculum Learning [67.46052028752327]
  大規模言語モデルを含む事前学習された言語モデルは、多言語論理に直面するランダムセレクタのように振る舞う。 この基本的能力で言語モデルを強化するために,本稿では,新たな自己教師付き学習手法であるtextitCurriculum Logical Reasoning (textscClr) を提案する。
  論文  参考訳（メタデータ） (2023-10-09T06:54:02Z)
• LOGICSEG: Parsing Visual Semantics with Neural Logic Learning and Reasoning [73.98142349171552]
  LOGICSEGは、神経誘導学習と論理推論をリッチデータとシンボリック知識の両方に統合する、全体論的視覚意味論である。 ファジィ論理に基づく連続的な緩和の間、論理式はデータとニューラルな計算グラフに基礎を置いており、論理によるネットワークトレーニングを可能にする。 これらの設計によりLOGICSEGは、既存のセグメンテーションモデルに容易に統合できる汎用的でコンパクトなニューラル論理マシンとなる。
  論文  参考訳（メタデータ） (2023-09-24T05:43:19Z)
• Learning Language Representations with Logical Inductive Bias [19.842271716111153]
  より優れた言語表現学習のための新しい論理帰納バイアスについて検討する。 我々はこの新たな帰納バイアスを符号化するために、FOLNetという新しいニューラルネットワークを開発した。 変換器の自己アテンションモジュールは2つのニューラルロジック演算子によって構成できることがわかった。
  論文  参考訳（メタデータ） (2023-02-19T02:21:32Z)
• Neural Methods for Logical Reasoning Over Knowledge Graphs [14.941769519278745]
  知識グラフ(KGs)上でのマルチホップ論理的クエリの応答に焦点をあてる。 これまでのほとんどの作業では、FOL(First-Order Logical)クエリを完全に受け入れるモデルを作成することができなかった。 本稿では,ニューラルネットワークを用いて一点ベクトル埋め込みを生成し,問合せに答えるモデルを提案する。
  論文  参考訳（メタデータ） (2022-09-28T23:10:09Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Rule Extraction from Binary Neural Networks with Convolutional Rules for Model Validation [16.956140135868733]
  本稿では,畳み込みニューラルネットワーク(CNN)を用いて抽出可能な論理則である一階畳み込み規則について紹介する。 提案手法は,ローカルサーチを用いたバイナリニューラルネットワークからのルール抽出に基づいている。 実験の結果,提案手法はニューラルネットワークの機能をモデル化できると同時に,解釈可能な論理ルールを生成できることがわかった。
  論文  参考訳（メタデータ） (2020-12-15T17:55:53Z)
• Learning Syllogism with Euler Neural-Networks [20.47827965932698]
  ボールの中心ベクトルは、従来のニューラルネットワークの表現力を継承できるベクトルである。 6つのRectified Space Units (ReSU) を持つ新しいバックプロパゲーションアルゴリズムは、論理的前提を表すオイラー図を最適化することができる。 従来のニューラルネットワークとは対照的に、ERNはSyllogismの24の異なる構造をすべて正確に表現することができる。
  論文  参考訳（メタデータ） (2020-07-14T19:35:35Z)
• Linguistically Driven Graph Capsule Network for Visual Question Reasoning [153.76012414126643]
  我々は「言語的に駆動されるグラフカプセルネットワーク」と呼ばれる階層的構成推論モデルを提案する。 具体的には,各カプセルを最下層に結合させ,元の質問に1つの単語を埋め込んだ言語的埋め込みを視覚的証拠で橋渡しする。 CLEVRデータセット、CLEVR合成生成テスト、およびFinalQAデータセットの実験は、我々のエンドツーエンドモデルの有効性と構成一般化能力を示す。
  論文  参考訳（メタデータ） (2020-03-23T03:34:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。