論文の概要: Neural-Symbolic Inference for Robust Autoregressive Graph Parsing via Compositional Uncertainty Quantification

• arxiv url: http://arxiv.org/abs/2301.11459v1
• Date: Thu, 26 Jan 2023 23:11:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-30 16:59:17.589903
• Title: Neural-Symbolic Inference for Robust Autoregressive Graph Parsing via Compositional Uncertainty Quantification
• Title（参考訳）: 構成不確実性定量化によるロバスト自己回帰グラフ解析のためのニューラルシンボリック推論
• Authors: Zi Lin, Jeremiah Liu, Jingbo Shang
• Abstract要約: モデル信頼度から得られるニューラルシンボリック推論に対する構成性を考慮したアプローチについて検討する。 我々は,標準内ドメインと7つのOOD文法の多種多様なスイートにおける英語資源解析問題(ERG)のアプローチを実証的に検討した。 提案手法は, ニューラルネットワークおよび記号的アプローチに対して, 集約されたSグラマースコアの35.26%と35.60%の誤差を減少させ, ニューラルモデル上でのキーテール言語カテゴリーにおいて, 14%の絶対精度向上をもたらす。
• 参考スコア（独自算出の注目度）: 28.084115398817016
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained seq2seq models excel at graph semantic parsing with rich annotated data, but generalize worse to out-of-distribution (OOD) and long-tail examples. In comparison, symbolic parsers under-perform on population-level metrics, but exhibit unique strength in OOD and tail generalization. In this work, we study compositionality-aware approach to neural-symbolic inference informed by model confidence, performing fine-grained neural-symbolic reasoning at subgraph level (i.e., nodes and edges) and precisely targeting subgraph components with high uncertainty in the neural parser. As a result, the method combines the distinct strength of the neural and symbolic approaches in capturing different aspects of the graph prediction, leading to well-rounded generalization performance both across domains and in the tail. We empirically investigate the approach in the English Resource Grammar (ERG) parsing problem on a diverse suite of standard in-domain and seven OOD corpora. Our approach leads to 35.26% and 35.60% error reduction in aggregated Smatch score over neural and symbolic approaches respectively, and 14% absolute accuracy gain in key tail linguistic categories over the neural model, outperforming prior state-of-art methods that do not account for compositionality or uncertainty.
• Abstract（参考訳）: 事前学習されたseq2seqモデルは、豊富な注釈付きデータによるグラフセマンティクス解析に優れているが、od(out-of-distribution)やロングテールの例に一般化している。 シンボリック・パーサーは人口レベルの指標では性能が劣るが、OODと尾の一般化には独特な強さを示す。 本研究では,モデル信頼度にフィードバックされたニューラルシンボリック推論に対する構成性認識アプローチ,サブグラフレベルでのきめ細かなニューラルシンボリック推論(つまりノードとエッジ),ニューラルパーサ内の不確かさの高いサブグラフコンポーネントを的確にターゲットとした。 その結果、グラフ予測の異なる側面を捉える際に、ニューラルネットワークとシンボリックアプローチの異なる強みを組み合わせ、ドメイン間および尾部の両方において、十分に包括された一般化性能をもたらす。 我々は,英語資源文法(ERG)解析問題における,標準内ドメインとOODコーパスの多種多様な組に関するアプローチを実証的に検討した。 提案手法は, ニューラルモデルとシンボリックアプローチに比較して, 集約されたSmatchスコアの35.26%と35.60%の誤差低減を実現し, ニューラルモデルに対するキーテール言語カテゴリーの絶対精度は14%向上し, 構成性や不確実性を考慮しない先行技術手法よりも優れていた。

関連論文リスト

• Graph Out-of-Distribution Generalization via Causal Intervention [69.70137479660113]
  本稿では,ノードレベルの分散シフトの下で頑健なグラフニューラルネットワーク(GNN)をトレーニングするための,概念的に単純だが原則化されたアプローチを提案する。 本手法は,環境推定器と熟練GNN予測器を協調する因果推論に基づく新たな学習目標を提案する。 本モデルでは,様々な分散シフトによる一般化を効果的に向上し,グラフOOD一般化ベンチマーク上での最先端の精度を最大27.4%向上させることができる。
  論文  参考訳（メタデータ） (2024-02-18T07:49:22Z)
• Neural Network-Based Score Estimation in Diffusion Models: Optimization and Generalization [12.812942188697326]
  拡散モデルは、忠実さ、柔軟性、堅牢性を改善した高品質なサンプルを生成する際に、GANと競合する強力なツールとして登場した。 これらのモデルの主要な構成要素は、スコアマッチングを通じてスコア関数を学ぶことである。 様々なタスクにおいて経験的な成功にもかかわらず、勾配に基づくアルゴリズムが証明可能な精度でスコア関数を学習できるかどうかは不明である。
  論文  参考訳（メタデータ） (2024-01-28T08:13:56Z)
• Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
  ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。 トラクタブル回路において,これを効率的に計算する方法を示す。 我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
  論文  参考訳（メタデータ） (2023-02-28T00:04:22Z)
• Joint Edge-Model Sparse Learning is Provably Efficient for Graph Neural Networks [89.28881869440433]
  本稿では,グラフニューラルネットワーク(GNN)における結合エッジモデルスパース学習の理論的特徴について述べる。 解析学的には、重要なノードをサンプリングし、最小のマグニチュードでプルーニングニューロンをサンプリングすることで、サンプルの複雑さを減らし、テスト精度を損なうことなく収束を改善することができる。
  論文  参考訳（メタデータ） (2023-02-06T16:54:20Z)
• Predicting the generalization gap in neural networks using topological data analysis [33.511371257571504]
  トポロジカルデータ解析の手法を用いて,ニューラルネットワークの一般化ギャップについて検討する。 トレーニング後のニューロン活性化相関から構築した重み付きグラフのホモロジー永続図を計算する。 持続性図から異なる数値要約の有用性を比較し、それらの組み合わせによって、テストセットを必要とせずに、その一般化ギャップを正確に予測し、部分的に説明できることを示す。
  論文  参考訳（メタデータ） (2022-03-23T11:15:36Z)
• Bayesian Graph Contrastive Learning [55.36652660268726]
  本稿では,ランダムな拡張がエンコーダにつながることを示すグラフコントラスト学習手法の新たな視点を提案する。 提案手法は,各ノードを決定論的ベクトルに埋め込む既存の手法とは対照的に,各ノードを潜在空間の分布で表現する。 いくつかのベンチマークデータセットにおける既存の最先端手法と比較して,性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2021-12-15T01:45:32Z)
• Does BERT look at sentiment lexicon? [0.0]
  本稿では,ロシア語RuBERTモデルの注意重み行列について検討する。 我々は感傷テキストコーパスでRuBERTを微調整し、感傷的および中立的語彙に対する注意重みの分布を比較した。
  論文  参考訳（メタデータ） (2021-11-19T08:50:48Z)
• Correlation Analysis between the Robustness of Sparse Neural Networks and their Random Hidden Structural Priors [0.0]
  本稿では,グラフ理論特性とスパースニューラルネットワークの頑健性との間にある既存の相関関係について検討することを目的とする。 我々の仮説は、ニューラルネットワーク構造の前駆体としてのグラフ理論的性質は、その堅牢性に関係している、というものである。
  論文  参考訳（メタデータ） (2021-07-13T15:13:39Z)
• Maximum Spanning Trees Are Invariant to Temperature Scaling in Graph-based Dependency Parsing [0.0]
  現代のグラフベースの構文依存は、文内の各トークンに対して、その可能な構文ヘッド上の確率分布を予測することによって機能する。 ニューラルネットワークのポストホックキャリブレーションの一般的な手法である温度スケーリングは、解析手順の出力を変えることができないことを実証する。 我々は,グラフ依存の誤校正に対処するためには,他の手法が必要であると結論付けた。
  論文  参考訳（メタデータ） (2021-06-15T13:57:24Z)
• Learning compositional structures for semantic graph parsing [81.41592892863979]
  本稿では、AM依存性解析をニューラル潜在変数モデルで直接トレーニングする方法を示す。 本モデルでは,いくつかの言語現象を独自に把握し,教師あり学習に匹敵する精度を達成している。
  論文  参考訳（メタデータ） (2021-06-08T14:20:07Z)
• Closed Loop Neural-Symbolic Learning via Integrating Neural Perception, Grammar Parsing, and Symbolic Reasoning [134.77207192945053]
  従来の手法は強化学習アプローチを用いてニューラルシンボリックモデルを学ぶ。 我々は,脳神経知覚と記号的推論を橋渡しする前に,textbfgrammarモデルをテキストシンボリックとして導入する。 本稿では,トップダウンのヒューマンライクな学習手順を模倣して誤りを伝播する新しいtextbfback-searchアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-11T17:42:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。