論文の概要: Structural generalization in COGS: Supertagging is (almost) all you need

• arxiv url: http://arxiv.org/abs/2310.14124v1
• Date: Sat, 21 Oct 2023 21:51:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 01:43:26.090437
• Title: Structural generalization in COGS: Supertagging is (almost) all you need
• Title（参考訳）: COGSの構造的一般化:スーパータグは(ほとんど)必要なすべてだ
• Authors: Alban Petit, Caio Corro, Fran\c{c}ois Yvon
• Abstract要約: 最近のセマンティック解析データセットは、合成一般化が必要な場合において、ニューラルネットワークの重要な制限を提示している。 この問題を軽減するために、ニューラルネットワークベースのセマンティックパーシングフレームワークをいくつかの方法で拡張します。
• 参考スコア（独自算出の注目度）: 12.991247861348048
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In many Natural Language Processing applications, neural networks have been found to fail to generalize on out-of-distribution examples. In particular, several recent semantic parsing datasets have put forward important limitations of neural networks in cases where compositional generalization is required. In this work, we extend a neural graph-based semantic parsing framework in several ways to alleviate this issue. Notably, we propose: (1) the introduction of a supertagging step with valency constraints, expressed as an integer linear program; (2) a reduction of the graph prediction problem to the maximum matching problem; (3) the design of an incremental early-stopping training strategy to prevent overfitting. Experimentally, our approach significantly improves results on examples that require structural generalization in the COGS dataset, a known challenging benchmark for compositional generalization. Overall, our results confirm that structural constraints are important for generalization in semantic parsing.
• Abstract（参考訳）: 多くの自然言語処理アプリケーションにおいて、ニューラルネットワークは分布外例の一般化に失敗している。 特に、最近のセマンティックパーシングデータセットは、合成一般化が必要な場合において、ニューラルネットワークの重要な制限を提示している。 本稿では,この問題を軽減するために,ニューラルネットワークを用いた意味解析フレームワークをいくつかの方法で拡張する。 特に,(1) 整数線形プログラムとして表現される値制約付きスーパータグの導入,(2) グラフ予測問題を最大マッチング問題に還元すること,(3) オーバーフィッティングを防止するための漸進的な早期停止トレーニング戦略の設計を提案する。 実験的に,本手法は構成的一般化の難解なベンチマークであるcogsデータセットにおける構造的一般化を必要とする例において,結果を大幅に改善する。 その結果,構造的制約が意味解析の一般化に重要であることを確認した。

関連論文リスト

• HG-Adapter: Improving Pre-Trained Heterogeneous Graph Neural Networks with Dual Adapters [53.97380482341493]
  事前学習, 即時学習」は, 事前学習したヘテロジニアスグラフニューラルネットワーク(HGNN)のチューニング性能を示す。 本稿では、2つの新しいアダプタと潜在的ラベル付きデータ拡張を組み合わせた統合フレームワークを提案し、事前学習されたHGNNモデルの一般化を改善する。
  論文  参考訳（メタデータ） (2024-11-02T06:43:54Z)
• Towards Bridging Generalization and Expressivity of Graph Neural Networks [11.560730203511111]
  グラフニューラルネットワーク(GNN)における表現性と一般化の関係について検討する。 本稿では,GNNの一般化と,それらが捉えることのできるグラフ構造の分散を結合する新しいフレームワークを提案する。 我々は,クラス内濃度とクラス間分離のトレードオフを明らかにする。
  論文  参考訳（メタデータ） (2024-10-14T00:31:16Z)
• On the Expressiveness and Generalization of Hypergraph Neural Networks [77.65788763444877]
  この拡張抽象化はハイパーグラフニューラルネットワーク(HyperGNN)の表現性、学習、および(構造的)一般化を分析するためのフレームワークを記述する。 具体的には、HyperGNNが有限データセットからどのように学習し、任意の入力サイズのグラフ推論問題に構造的に一般化するかに焦点を当てる。
  論文  参考訳（メタデータ） (2023-03-09T18:42:18Z)
• Joint Edge-Model Sparse Learning is Provably Efficient for Graph Neural Networks [89.28881869440433]
  本稿では,グラフニューラルネットワーク(GNN)における結合エッジモデルスパース学習の理論的特徴について述べる。 解析学的には、重要なノードをサンプリングし、最小のマグニチュードでプルーニングニューロンをサンプリングすることで、サンプルの複雑さを減らし、テスト精度を損なうことなく収束を改善することができる。
  論文  参考訳（メタデータ） (2023-02-06T16:54:20Z)
• Understanding Robust Generalization in Learning Regular Languages [85.95124524975202]
  我々は、リカレントニューラルネットワークを用いて正規言語を学習する文脈における堅牢な一般化について研究する。 この問題に対処するための構成戦略を提案する。 構成戦略がエンド・ツー・エンド戦略よりもはるかに優れていることを理論的に証明する。
  論文  参考訳（メタデータ） (2022-02-20T02:50:09Z)
• Learning Theory Can (Sometimes) Explain Generalisation in Graph Neural Networks [13.518582483147325]
  本稿では,トランスダクティブ推論の文脈におけるニューラルネットワークの性能を厳密に分析する。 本稿では, ブロックモデルに対するグラフ畳み込みネットワークの一般化特性について, トランスダクティブなRademacher複雑性が説明できることを示す。
  論文  参考訳（メタデータ） (2021-12-07T20:06:23Z)
• Grounded Graph Decoding Improves Compositional Generalization in Question Answering [68.72605660152101]
  質問応答モデルは、長いシーケンスやより複雑なテスト構造のようなトレーニングパターンの新しい構成に一般化するのに苦労する。 構造化された予測をアテンション機構でグラウンド化することで,言語表現の合成一般化を改善する手法であるグラウンドドグラフデコーディングを提案する。 本モデルは,質問応答における合成一般化の挑戦的ベンチマークである構成自由ベース質問(CFQ)データセットにおいて,最先端のベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2021-11-05T17:50:14Z)
• Disentangled Sequence to Sequence Learning for Compositional Generalization [62.954842223732435]
  本稿では,ソース入力を適応的に再符号化することで,不整合表現の学習を可能にするシーケンス・ツー・シーケンス・モデルの拡張を提案する。 意味解析と機械翻訳の実験結果から,提案手法はより不整合な表現とより優れた一般化をもたらすことが示された。
  論文  参考訳（メタデータ） (2021-10-09T22:27:19Z)
• Neuro-Symbolic Constraint Programming for Structured Prediction [32.427665902031436]
  ニューラルネットワークを制約付き構造予測器に注入する手法であるNesterを提案する。 Nesterは2つのコンポーネントの特徴を活用している。ニューラルネットワークは低レベルのデータから複雑な表現を学習する。 手書き式認識の実証的評価は、Nesterがニューラルネットワークと制約構造予測器の両方よりも優れたパフォーマンスを達成することを示している。
  論文  参考訳（メタデータ） (2021-03-31T17:31:33Z)
• Neuro-algorithmic Policies enable Fast Combinatorial Generalization [16.74322664734553]
  近年, 標準アーキテクチャの一般化は, 排他的データ取得後にのみ改善されることが示唆されている。 MDPフレームワークの特定のサブクラスに対して、これは神経アルゴリズムアーキテクチャーによって緩和できることを示す。 本稿では,ニューラルネットワークと組込み時間に依存した最短経路ソルバからなる自律神経系ポリシアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-02-15T11:07:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。