論文の概要: Adaptive n-ary Activation Functions for Probabilistic Boolean Logic

• arxiv url: http://arxiv.org/abs/2203.08977v1
• Date: Wed, 16 Mar 2022 22:47:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-18 13:15:41.690429
• Title: Adaptive n-ary Activation Functions for Probabilistic Boolean Logic
• Title（参考訳）: 確率的ブール論理に対する適応n-ary Activation関数
• Authors: Jed A. Duersch, Thomas A. Catanach, and Niladri Das
• Abstract要約: マッチングやアリティ向上の活性化関数を用いて,任意の論理を単一層で学習できることが示される。 我々は,非ゼロパラメータの数を信念関数の有効アリティに直接関連付ける基礎を用いて,信念表を表現する。 これにより、パラメータの間隔を誘導することで論理的複雑性を低減する最適化アプローチが開かれる。
• 参考スコア（独自算出の注目度）: 2.294014185517203
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Balancing model complexity against the information contained in observed data is the central challenge to learning. In order for complexity-efficient models to exist and be discoverable in high dimensions, we require a computational framework that relates a credible notion of complexity to simple parameter representations. Further, this framework must allow excess complexity to be gradually removed via gradient-based optimization. Our n-ary, or n-argument, activation functions fill this gap by approximating belief functions (probabilistic Boolean logic) using logit representations of probability. Just as Boolean logic determines the truth of a consequent claim from relationships among a set of antecedent propositions, probabilistic formulations generalize predictions when antecedents, truth tables, and consequents all retain uncertainty. Our activation functions demonstrate the ability to learn arbitrary logic, such as the binary exclusive disjunction (p xor q) and ternary conditioned disjunction ( c ? p : q ), in a single layer using an activation function of matching or greater arity. Further, we represent belief tables using a basis that directly associates the number of nonzero parameters to the effective arity of the belief function, thus capturing a concrete relationship between logical complexity and efficient parameter representations. This opens optimization approaches to reduce logical complexity by inducing parameter sparsity.
• Abstract（参考訳）: 観測データに含まれる情報に対するモデルの複雑さのバランスをとることが、学習の重要な課題である。 複雑性効率のモデルが存在し、高次元で発見できるためには、複雑性の概念を単純なパラメータ表現に関連付ける計算フレームワークが必要である。 さらに、このフレームワークは勾配に基づく最適化を通じて、余分な複雑さを徐々に除去しなければなりません。 n-ary、n-argument、アクティベーション関数は、確率のロジット表現を用いて信念関数(確率論理)を近似することでこのギャップを埋めます。 ブール論理が一連の先行命題間の関係から連関主張の真理を決定するのと同じように、確率的定式化は、先行命題、真理表、そして連続体が不確実性を保持するときの予測を一般化する。 我々のアクティベーション関数は、二項排他的ジャンクション (p xor q) や三項条件付きジャンクション (c ? p : q ) のような任意の論理を、マッチングあるいはより大きいアリティのアクティベーション関数を用いて単一の層で学習する能力を示す。 さらに,ゼロでないパラメータの数と信念関数の有効性を直接関連付ける基礎を用いて信念表を表現し,論理複雑性と効率的なパラメータ表現との具体的関係を捉えた。 これにより、パラメータの間隔を誘導することで論理的複雑性を低減する最適化アプローチが開かれる。

関連論文リスト

• TabVer: Tabular Fact Verification with Natural Logic [11.002475880349452]
  本稿では,自然論理の文脈における数値と算術関数の集合論的解釈を提案する。 大規模言語モデルを用いて,テーブル上で関数を実行することで応答するクレームの健全な部分に関する質問を生成することにより,算術式を生成する。 FEVEROUS上の数ショット設定では、71.4の精度を達成し、完全な神経的および象徴的推論モデルの両方を3.4ポイント上回る。
  論文  参考訳（メタデータ） (2024-11-02T00:36:34Z)
• Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
  低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。 既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。 提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
  論文  参考訳（メタデータ） (2023-07-08T15:41:48Z)
• Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
  実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。 本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
  論文  参考訳（メタデータ） (2023-06-13T01:18:16Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Evolutionary Construction of Perfectly Balanced Boolean Functions [7.673465837624365]
  遺伝的プログラミング (GP) と遺伝的アルゴリズム (GA) を用いて, 特性, 完全均衡性, および優れた非線形性プロファイルを満たすブール関数を構築する。 意外なことに、重み付けされた表現を持つGAは、非常に非線形なWPB関数を見つける際に、古典的真理表表現型でGPより優れていた。
  論文  参考訳（メタデータ） (2022-02-16T18:03:04Z)
• Logical Credal Networks [87.25387518070411]
  本稿では,論理と確率を組み合わせた先行モデルの多くを一般化した表現的確率論的論理である論理的クレダルネットワークを紹介する。 本稿では,不確実性のあるマスターミンドゲームを解くこと,クレジットカード詐欺を検出することを含む,最大後部推論タスクの性能について検討する。
  論文  参考訳（メタデータ） (2021-09-25T00:00:47Z)
• Parsimonious Inference [0.0]
  parsimonious inferenceは任意のアーキテクチャ上の推論の情報理論的な定式化である。 提案手法は,効率的な符号化と巧妙なサンプリング戦略を組み合わせて,クロスバリデーションを伴わない予測アンサンブルを構築する。
  論文  参考訳（メタデータ） (2021-03-03T04:13:14Z)
• Logic Embeddings for Complex Query Answering [56.25151854231117]
  skolemisationを用いて効率的なクエリのための存在変数を排除する、複雑なクエリを組み込む新しいアプローチであるlogic embeddedsを提案する。 論理組込みは,大規模で不完全な知識グラフ上でのクエリ応答において競争的に高速かつ正確であり,否定的問合せよりも優れており,特に回答の不確かさのモデリングが向上している。
  論文  参考訳（メタデータ） (2021-02-28T07:52:37Z)
• Tractable Inference in Credal Sentential Decision Diagrams [116.6516175350871]
  確率感性決定図は、解離ゲートの入力が確率値によってアノテートされる論理回路である。 我々は、局所確率を質量関数のクレーダル集合に置き換えることができる確率の一般化である、クレーダル感性決定図を開発する。 まず,ノイズの多い7セグメント表示画像に基づく簡単なアプリケーションについて検討する。
  論文  参考訳（メタデータ） (2020-08-19T16:04:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。