論文の概要: Extracting Grammars from a Neural Network Parser for Anomaly Detection
in Unknown Formats
- arxiv url: http://arxiv.org/abs/2108.00103v1
- Date: Fri, 30 Jul 2021 23:10:24 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-03 15:02:06.421245
- Title: Extracting Grammars from a Neural Network Parser for Anomaly Detection
in Unknown Formats
- Title（参考訳）: 未知形式における異常検出のためのニューラルネットワーク解析器からの文法抽出
- Authors: Alexander Grushin and Walt Woods
- Abstract要約: 強化学習は、ある未知のフォーマットで文を解析するために、人工知能を訓練する技術として、最近約束されている。
本稿では、ニューラルネットワークから生成規則を抽出し、これらの規則を用いて、ある文が名目か異常かを決定する手順を提案する。
- 参考スコア（独自算出の注目度）: 79.6676793507792
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning has recently shown promise as a technique for training
an artificial neural network to parse sentences in some unknown format. A key
aspect of this approach is that rather than explicitly inferring a grammar that
describes the format, the neural network learns to perform various parsing
actions (such as merging two tokens) over a corpus of sentences, with the goal
of maximizing the total reward, which is roughly based on the estimated
frequency of the resulting parse structures. This can allow the learning
process to more easily explore different action choices, since a given choice
may change the optimality of the parse (as expressed by the total reward), but
will not result in the failure to parse a sentence. However, the approach also
exhibits limitations: first, the neural network does not provide production
rules for the grammar that it uses during parsing; second, because this neural
network can successfully parse any sentence, it cannot be directly used to
identify sentences that deviate from the format of the training sentences,
i.e., that are anomalous. In this paper, we address these limitations by
presenting procedures for extracting production rules from the neural network,
and for using these rules to determine whether a given sentence is nominal or
anomalous, when compared to structures observed within training data. In the
latter case, an attempt is made to identify the location of the anomaly.
Additionally, a two pass mechanism is presented for dealing with formats
containing high-entropy information. We empirically evaluate the approach on
artificial formats, demonstrating effectiveness, but also identifying
limitations. By further improving parser learning, and leveraging rule
extraction and anomaly detection, one might begin to understand common errors,
either benign or malicious, in practical formats.
- Abstract（参考訳）: 強化学習は、最近promiseを、未知の形式で文を解析するために人工ニューラルネットワークをトレーニングするテクニックとして示した。
このアプローチの重要な側面は、形式を記述する文法を明示的に推論するのではなく、ニューラルネットワークは文のコーパス上で様々なパースアクション(例えば2つのトークンをマージするなど)を行うことを学び、結果のパース構造の推定頻度に基づいて総報酬を最大化することである。
与えられた選択は(総報酬で表されるように)パースの最適性を変化させるが、構文解析に失敗することはないため、学習プロセスは異なるアクションの選択をより容易に探索することができる。
第一に、ニューラルネットワークは、構文解析中に使用する文法のプロダクションルールを提供していない;第二に、このニューラルネットワークは、任意の文を解析できるため、訓練文の形式、すなわち異常である形式から逸脱した文を直接識別することはできない。
本稿では、ニューラルネットワークから生成規則を抽出するための手順を提示し、これらの規則を用いて、与えられた文が名目か異常であるかをトレーニングデータで観察された構造と比較することにより、これらの制限に対処する。
後者の場合、異常の位置を特定する試みが行われる。
さらに、高エントロピー情報を含むフォーマットを扱うための2つのパス機構を示す。
人工フォーマットのアプローチを実証的に評価し,有効性を示すとともに,限界を特定する。
パーサ学習をさらに改善し、規則抽出と異常検出を活用することで、良性または悪意のある共通のエラーを実用的なフォーマットで理解し始めるかもしれない。
関連論文リスト
- Structural Optimization Ambiguity and Simplicity Bias in Unsupervised Neural Grammar Induction [2.3020018305241337]
我々の研究は、よりコンパクトで正確で一貫した明示的な文法の学習を促進し、より良い解釈可能性を促進する。
教師なし解析ベンチマークテストでは,過度に単純化された解析に対するバイアスを低減しつつ,性能を著しく改善する。
論文 参考訳（メタデータ） (2024-07-23T04:57:03Z) - Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。
トラクタブル回路において,これを効率的に計算する方法を示す。
我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
論文 参考訳（メタデータ） (2023-02-28T00:04:22Z) - A Neural Model for Regular Grammar Induction [8.873449722727026]
我々は文法を計算のモデルとして扱い、正および負の例から正規文法を誘導する新しいニューラルアプローチを提案する。
我々のモデルは完全に説明可能であり、その中間結果は部分解析として直接解釈可能であり、十分なデータが得られると任意の正規文法を学習することができる。
論文 参考訳（メタデータ） (2022-09-23T14:53:23Z) - Unsupervised Mismatch Localization in Cross-Modal Sequential Data [5.932046800902776]
我々は、コンテンツミスマッチしたクロスモーダルデータ間の関係を推測できる教師なし学習アルゴリズムを開発した。
本稿では,音声生成過程を階層的に構造化された潜在変数に分解する,ミスマッチ局所化変分自動符号化(ML-VAE)という階層型ベイズディープラーニングモデルを提案する。
実験の結果,ML-VAEは人間のアノテーションを必要とせず,テキストと音声のミスマッチの特定に成功した。
論文 参考訳（メタデータ） (2022-05-05T14:23:27Z) - On The Ingredients of an Effective Zero-shot Semantic Parser [95.01623036661468]
我々は、標準発話とプログラムの訓練例を文法から言い換えて、ゼロショット学習を分析する。
改良された文法,より強力なパラフレーズ,効率的な学習手法を用いて,これらのギャップを埋めることを提案する。
我々のモデルはラベル付きデータゼロの2つの意味解析ベンチマーク(Scholar, Geo)で高い性能を達成する。
論文 参考訳（メタデータ） (2021-10-15T21:41:16Z) - SparseGAN: Sparse Generative Adversarial Network for Text Generation [8.634962333084724]
本稿では,識別器への入力として,意味解釈可能ながスパース文表現を生成するスパースGANを提案する。
このような意味豊かな表現により、効率の良い対人訓練のための不要なノイズを低減できるだけでなく、学習過程全体を完全に差別化できる。
論文 参考訳（メタデータ） (2021-03-22T04:44:43Z) - Narrative Incoherence Detection [76.43894977558811]
本稿では,文間セマンティック理解のための新たなアリーナとして,物語不整合検出の課題を提案する。
複数文の物語を考えると、物語の流れに意味的な矛盾があるかどうかを決定します。
論文 参考訳（メタデータ） (2020-12-21T07:18:08Z) - Measuring Memorization Effect in Word-Level Neural Networks Probing [0.9156064716689833]
そこで,本研究では,学習における目に見える単語と見えない単語の対称選択に基づいて,記憶効果を簡易に測定する手法を提案する。
提案手法は, 探索装置で発生した記憶量の定量化に有効であり, 適切な設定が選択可能であり, 検証結果が信頼性推定値で解釈可能である。
論文 参考訳（メタデータ） (2020-06-29T14:35:42Z) - Mechanisms for Handling Nested Dependencies in Neural-Network Language
Models and Humans [75.15855405318855]
我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。
ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。
我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
論文 参考訳（メタデータ） (2020-06-19T12:00:05Z) - Fact-aware Sentence Split and Rephrase with Permutation Invariant
Training [93.66323661321113]
Sentence Split と Rephrase は、複雑な文をいくつかの単純な文に分解し、その意味を保存することを目的としている。
従来の研究では、パラレル文対からのSeq2seq学習によってこの問題に対処する傾向があった。
本稿では,この課題に対するSeq2seq学習における順序分散の効果を検証するために,置換訓練を導入する。
論文 参考訳（メタデータ） (2020-01-16T07:30:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。