論文の概要: Compositionality as Lexical Symmetry

• arxiv url: http://arxiv.org/abs/2201.12926v1
• Date: Sun, 30 Jan 2022 21:44:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-01 14:42:42.878949
• Title: Compositionality as Lexical Symmetry
• Title（参考訳）: 語彙対称性としての組成性
• Authors: Ekin Aky\"urek and Jacob Andreas
• Abstract要約: 我々は、トレーニングデータに適用した場合に、新しい、よくできたサンプルを生成することが保証される、データ変換関数のファミリーが存在することを示す。 これらの変換関数を用いて、通常のRNNおよびトランスフォーマーシーケンスモデルのためのデータ拡張を行い、CLEVR-CoGenTビジュアル質問応答データセット上で最先端の結果を得る。
• 参考スコア（独自算出の注目度）: 42.37422271002712
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Standard deep network models lack the inductive biases needed to generalize compositionally in tasks like semantic parsing, translation, and question answering. A large body of work in natural language processing seeks to overcome this limitation with new model architectures that enforce a compositional process of sentence interpretation. In this paper, we present a domain-general framework for compositional modeling that instead formulates compositionality as a constraint on data distributions. We prove that for any task factorizable into a lexicon and a composition function, there exists a family of data transformation functions that are guaranteed to produce new, well-formed examples when applied to training data. We further show that it is possible to identify these data transformations even when the composition function is unknown (e.g. when we do not know how to write or infer a symbolic grammar). Using these transformation functions to perform data augmentation for ordinary RNN and transformer sequence models, we obtain state-of-the-art results on the CLEVR-CoGenT visual question answering dataset, and results comparable to specialized model architectures on the COGS semantic parsing dataset.
• Abstract（参考訳）: 標準的なディープネットワークモデルは、意味解析、翻訳、質問応答といったタスクで構成的に一般化するために必要な誘導バイアスを欠いている。 自然言語処理における膨大な作業は、文解釈の合成プロセスを実行する新しいモデルアーキテクチャによって、この制限を克服しようとするものである。 本稿では,データ分布の制約として合成性を定式化する合成モデリングのためのドメイン一般フレームワークを提案する。 我々は、辞書と合成関数に分解可能なタスクに対して、トレーニングデータに適用した場合に、新しい良く整形されたサンプルを生成することが保証されるデータ変換関数のファミリーが存在することを証明した。 さらに、合成関数が未知である場合でも、これらのデータ変換を識別できることも示している(例えば、記号文法の書き方や推論方法を知らない場合)。 これらの変換関数を用いて、通常のRNNおよびトランスフォーマーシーケンスモデルのためのデータ拡張を行い、CLEVR-CoGenT視覚質問応答データセットの最先端結果と、COGS意味解析データセットの特殊なモデルアーキテクチャに匹敵する結果を得る。

関連論文リスト

• Visual Analytics for Fine-grained Text Classification Models and Datasets [3.6873612681664016]
  SemLaは、きめ細かいテキスト分類に適した、新しいビジュアル分析システムである。 本稿では,SemLaにおける反復設計研究と結果のイノベーションについて述べる。
  論文  参考訳（メタデータ） (2024-03-21T17:26:28Z)
• DiSK: A Diffusion Model for Structured Knowledge [12.472921856815942]
  Diffusion Models of Structured Knowledge (DiSK) は構造化データに特化した新しいアーキテクチャとトレーニング手法である。 DiSKはガウス混合モデルアプローチを用いてテキスト、分類、連続的な数値データを処理する。
  論文  参考訳（メタデータ） (2023-12-08T18:59:14Z)
• On Conditional and Compositional Language Model Differentiable Prompting [75.76546041094436]
  プロンプトは、下流タスクでうまく機能するために、凍結した事前訓練言語モデル(PLM)を適応するための効果的な方法であることが示されている。 タスク命令や入力メタデータを連続的なプロンプトに変換することを学習する新しいモデル Prompt Production System (PRopS) を提案する。
  論文  参考訳（メタデータ） (2023-07-04T02:47:42Z)
• Conjunct Resolution in the Face of Verbal Omissions [51.220650412095665]
  本稿では,テキスト上で直接動作する接続分解タスクを提案し,コーディネーション構造に欠けている要素を復元するために,分割・言い換えパラダイムを利用する。 クラウドソースアノテーションによる自然に発生する動詞の省略例を10万件以上を含む,大規模なデータセットをキュレートする。 我々は、このタスクのために様々な神経ベースラインをトレーニングし、最良の手法が適切なパフォーマンスを得る一方で、改善のための十分なスペースを残していることを示す。
  論文  参考訳（メタデータ） (2023-05-26T08:44:02Z)
• Recursive Neural Networks with Bottlenecks Diagnose (Non-)Compositionality [65.60002535580298]
  データの構成性の定量化は難しい課題であり、主に短い発話のために研究されている。 モデルにおけるデータの表現とボトルネックの有無を比較することで,構成性の測定値が得られることを示す。 本手法は、合成データを用いた算術式の評価と、自然言語データを用いた感情分類に適用する。
  論文  参考訳（メタデータ） (2023-01-31T15:46:39Z)
• Mutual Exclusivity Training and Primitive Augmentation to Induce Compositionality [84.94877848357896]
  最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。 本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。 広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
  論文  参考訳（メタデータ） (2022-11-28T17:36:41Z)
• Improving Compositional Generalization with Latent Structure and Data Augmentation [39.24527889685699]
  合成構造学習者(CSL)と呼ばれるモデルを用いたより強力なデータ組換え手法を提案する。 CSLは、準同期の文脈自由文法バックボーンを持つ生成モデルである。 この手順は、診断タスクのためにCSLの組成バイアスの大部分をT5に効果的に転送する。
  論文  参考訳（メタデータ） (2021-12-14T18:03:28Z)
• Learning to Generalize Compositionally by Transferring Across Semantic Parsing Tasks [37.66114618645146]
  本研究では,ある構成課題から別の構成課題への移動学習を容易にする学習表現について検討する。 本手法を3つの全く異なるデータセットを用いて意味解析に適用する。 本手法は,対象タスクのテストセット上でのベースラインに対する合成一般化を著しく改善する。
  論文  参考訳（メタデータ） (2021-11-09T09:10:21Z)
• Improving Compositional Generalization with Self-Training for Data-to-Text Generation [36.973617793800315]
  データ・テキスト・タスクにおける現在の生成モデルの合成一般化について検討する。 構成的気象データセットの構造変化をシミュレートすることにより、T5モデルは目に見えない構造に一般化できないことを示す。 擬似応答選択のための細調整BLEURTを用いた自己学習に基づく手法を提案する。
  論文  参考訳（メタデータ） (2021-10-16T04:26:56Z)
• Structured Reordering for Modeling Latent Alignments in Sequence Transduction [86.94309120789396]
  本稿では,分離可能な置換の辺りを正確に推定する効率的な動的プログラミングアルゴリズムを提案する。 結果のSeq2seqモデルは、合成問題やNLPタスクの標準モデルよりも体系的な一般化が優れている。
  論文  参考訳（メタデータ） (2021-06-06T21:53:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。