論文の概要: PDFA Distillation via String Probability Queries
- arxiv url: http://arxiv.org/abs/2406.18328v2
- Date: Fri, 28 Jun 2024 12:45:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-01 11:00:13.965660
- Title: PDFA Distillation via String Probability Queries
- Title（参考訳）: 文字列確率クエリによるPDFA蒸留
- Authors: Robert Baumgartner, Sicco Verwer,
- Abstract要約: 本稿では,確率的決定論的有限オートマトン (PDFA) をニューラルネットワークから抽出するアルゴリズムを提案する。
我々のアルゴリズムはL#アルゴリズムの派生であり、新しいタイプのクエリからPDFAを学習することができる。
訓練されたニューラルネットワークの集合からPDFAを蒸留することにより、最近の公開データセット上での有効性を示す。
- 参考スコア（独自算出の注目度）: 6.767885381740953
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Probabilistic deterministic finite automata (PDFA) are discrete event systems modeling conditional probabilities over languages: Given an already seen sequence of tokens they return the probability of tokens of interest to appear next. These types of models have gained interest in the domain of explainable machine learning, where they are used as surrogate models for neural networks trained as language models. In this work we present an algorithm to distill PDFA from neural networks. Our algorithm is a derivative of the L# algorithm and capable of learning PDFA from a new type of query, in which the algorithm infers conditional probabilities from the probability of the queried string to occur. We show its effectiveness on a recent public dataset by distilling PDFA from a set of trained neural networks.
- Abstract（参考訳）: 確率論的決定論的有限オートマトン(PDFA)は、言語上の条件付き確率をモデル化する離散事象系である。
これらのモデルは、言語モデルとして訓練されたニューラルネットワークの代理モデルとして使用される、説明可能な機械学習の領域に関心を寄せている。
本研究では,ニューラルネットワークからPDFAを抽出するアルゴリズムを提案する。
我々のアルゴリズムはL#アルゴリズムの派生であり、新しいタイプのクエリからPDFAを学習し、クエリされた文字列の確率から条件付き確率を推定する。
訓練されたニューラルネットワークの集合からPDFAを蒸留することにより、最近の公開データセット上での有効性を示す。
関連論文リスト
- Revisiting Random Walks for Learning on Graphs [15.64437981617624]
我々は、グラフ上のランダムウォークが機械可読レコードを生成する、グラフ上の機械学習の簡単なアイデアを再考する。
これらの機械をランダムウォークニューラルネットワークと呼ぶ。
確率におけるグラフ関数の普遍近似を可能としながら、同型不変として設計できることが示される。
論文 参考訳（メタデータ） (2024-07-01T11:59:59Z) - Probabilistic Verification of Neural Networks using Branch and Bound [3.0567348883549816]
ニューラルネットワークの確率的検証は、入力の確率分布の下で、ニューラルネットワークの出力を正式に解析することに関わる。
本稿では,ニューラルネットワークの確率的検証を計算アルゴリズムに基づいて定量化するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-05-27T18:00:03Z) - Closing the Curious Case of Neural Text Degeneration [91.22954750742183]
トラニケートサンプリングの有効性を理論的に説明する。
モデルエラーの既知の源であるソフトマックスボトルネックを利用して、特定のトークンが真の確率がゼロでないことを示す。
提案手法は,低エントロピーテキスト生成におけるしきい値ベースよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-10-02T23:16:25Z) - Mapping of attention mechanisms to a generalized Potts model [50.91742043564049]
ニューラルネットワークのトレーニングは、いわゆる擬似様相法によって逆ポッツ問題を解くのと全く同じであることを示す。
また、レプリカ法を用いてモデルシナリオにおける自己意図の一般化誤差を解析的に計算する。
論文 参考訳（メタデータ） (2023-04-14T16:32:56Z) - Analyzing B\"uchi Automata with Graph Neural Networks [0.4795582035438344]
B"uchi Automata on infinite words has many interesting problem and often used in program verification and model check。
グラフニューラルネットワークを用いて,B"uchi Automatica"の基本特性を確実に予測する方法を示す。
論文 参考訳（メタデータ） (2022-06-20T08:11:19Z) - Evaluating Distributional Distortion in Neural Language Modeling [81.83408583979745]
稀な事象の重みは、言語における分布の総確率質量のかなりの量を占める。
パープレキシティなどの標準言語モデリングメトリクスは、集約された言語モデル(LM)のパフォーマンスを定量化する。
自然言語を人工言語として訓練した生成モデルを用いた制御評価手法を開発した。
論文 参考訳（メタデータ） (2022-03-24T01:09:46Z) - PAC-Bayesian Learning of Aggregated Binary Activated Neural Networks
with Probabilities over Representations [2.047424180164312]
本研究では,確率論的ニューラルネットワークの予測器としての期待値について検討し,実数値重みによる正規分布を持つ二元活性化ニューラルネットワークの集約に着目した。
我々は、動的プログラミングアプローチのおかげで、深いが狭いニューラルネットワークに対して、正確な計算が引き続き実行可能であることを示す。
論文 参考訳（メタデータ） (2021-10-28T14:11:07Z) - Extracting Grammars from a Neural Network Parser for Anomaly Detection
in Unknown Formats [79.6676793507792]
強化学習は、ある未知のフォーマットで文を解析するために、人工知能を訓練する技術として、最近約束されている。
本稿では、ニューラルネットワークから生成規則を抽出し、これらの規則を用いて、ある文が名目か異常かを決定する手順を提案する。
論文 参考訳（メタデータ） (2021-07-30T23:10:24Z) - Distillation of Weighted Automata from Recurrent Neural Networks using a
Spectral Approach [0.0]
本稿では,ディープラーニングと文法推論のギャップを埋める試みである。
言語モデリングのためにトレーニングされたリカレントニューラルネットワークからフォーマルな言語を抽出するアルゴリズムを提供する。
論文 参考訳（メタデータ） (2020-09-28T07:04:15Z) - Open Set Recognition with Conditional Probabilistic Generative Models [51.40872765917125]
オープンセット認識のための条件付き確率生成モデル(CPGM)を提案する。
CPGMは未知のサンプルを検出できるが、異なる潜在特徴を条件付きガウス分布に近似させることで、既知のクラスを分類できる。
複数のベンチマークデータセットの実験結果から,提案手法がベースラインを著しく上回ることがわかった。
論文 参考訳（メタデータ） (2020-08-12T06:23:49Z) - Parameter Space Factorization for Zero-Shot Learning across Tasks and
Languages [112.65994041398481]
本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。
タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。
我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
論文 参考訳（メタデータ） (2020-01-30T16:58:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。