論文の概要: Learning to Generalize Compositionally by Transferring Across Semantic Parsing Tasks

• arxiv url: http://arxiv.org/abs/2111.05013v1
• Date: Tue, 9 Nov 2021 09:10:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-10 20:19:06.972181
• Title: Learning to Generalize Compositionally by Transferring Across Semantic Parsing Tasks
• Title（参考訳）: 意味的パースタスク間の転送による合成一般化のための学習
• Authors: Wang Zhu, Peter Shaw, Tal Linzen, Fei Sha
• Abstract要約: 本研究では,ある構成課題から別の構成課題への移動学習を容易にする学習表現について検討する。 本手法を3つの全く異なるデータセットを用いて意味解析に適用する。 本手法は,対象タスクのテストセット上でのベースラインに対する合成一般化を著しく改善する。
• 参考スコア（独自算出の注目度）: 37.66114618645146
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural network models often generalize poorly to mismatched domains or distributions. In NLP, this issue arises in particular when models are expected to generalize compositionally, that is, to novel combinations of familiar words and constructions. We investigate learning representations that facilitate transfer learning from one compositional task to another: the representation and the task-specific layers of the models are strategically trained differently on a pre-finetuning task such that they generalize well on mismatched splits that require compositionality. We apply this method to semantic parsing, using three very different datasets, COGS, GeoQuery and SCAN, used alternately as the pre-finetuning and target task. Our method significantly improves compositional generalization over baselines on the test set of the target task, which is held out during fine-tuning. Ablation studies characterize the utility of the major steps in the proposed algorithm and support our hypothesis.
• Abstract（参考訳）: ニューラルネットワークモデルは、しばしば不整合なドメインや分布にあまり一般化しない。 NLPでは、この問題は特に、モデルが作曲を一般化する、すなわち、よく知られた単語と構成の新たな組み合わせを期待する場合に生じる。 モデルの表象とタスク固有の層は、構成性を必要とするミスマッチされた分割をうまく一般化するように、事前調整されたタスクに基づいて戦略的に訓練される。 本手法を意味解析に応用し,3つの異なるデータセット,cogs,geoquery,scanを用いて,事前調整および目標タスクとして交互に使用する。 本手法は, 微調整時に行う対象タスクのテストセットに基づいて, ベースラインに対する合成一般化を著しく改善する。 アブレーション研究は,提案アルゴリズムにおける主要なステップの有用性を特徴とし,仮説を支持する。

関連論文リスト

• Interpetable Target-Feature Aggregation for Multi-Task Learning based on Bias-Variance Analysis [53.38518232934096]
  マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパフォーマンスを改善するために設計された強力な機械学習パラダイムである。 本稿では,タスククラスタリングと特徴変換の交点におけるMTL手法を提案する。 両段階において、鍵となる側面は減った目標と特徴の解釈可能性を維持することである。
  論文  参考訳（メタデータ） (2024-06-12T08:30:16Z)
• Task Groupings Regularization: Data-Free Meta-Learning with Heterogeneous Pre-trained Models [83.02797560769285]
  Data-Free Meta-Learning (DFML)は、トレーニング済みモデルのコレクションから、元のデータにアクセスせずに知識を抽出することを目的としている。 現在の手法は、事前訓練されたモデル間の不均一性を見落とし、タスクの衝突による性能低下につながることが多い。 課題群規則化(Task Groupings Regularization)は、矛盾するタスクをグループ化し整合させることにより、モデルの不均一性から恩恵を受ける新しいアプローチである。
  論文  参考訳（メタデータ） (2024-05-26T13:11:55Z)
• Variational Cross-Graph Reasoning and Adaptive Structured Semantics Learning for Compositional Temporal Grounding [143.5927158318524]
  テンポラルグラウンドティング(Temporal grounding)とは、クエリ文に従って、未編集のビデオから特定のセグメントを特定するタスクである。 新たに構成時間グラウンドタスクを導入し,2つの新しいデータセット分割を構築した。 ビデオや言語に内在する構造的意味論は、構成的一般化を実現する上で重要な要素である、と我々は主張する。
  論文  参考訳（メタデータ） (2023-01-22T08:02:23Z)
• Fast Inference and Transfer of Compositional Task Structures for Few-shot Task Generalization [101.72755769194677]
  本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。 我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。 提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
  論文  参考訳（メタデータ） (2022-05-25T10:44:25Z)
• Compositionality as Lexical Symmetry [42.37422271002712]
  意味解析、命令追従、質問応答といったタスクでは、標準的なディープネットワークは小さなデータセットから合成的に一般化できない。 本稿では、モデルよりもデータ分布の対称性の制約として、構成性のドメイン一般およびモデル非依存の定式化を提案する。 LEXSYMと呼ばれる手法は,これらの変換を自動的に検出し,通常のニューラルシーケンスモデルのトレーニングデータに適用する。
  論文  参考訳（メタデータ） (2022-01-30T21:44:46Z)
• Improving Compositional Generalization with Latent Structure and Data Augmentation [39.24527889685699]
  合成構造学習者(CSL)と呼ばれるモデルを用いたより強力なデータ組換え手法を提案する。 CSLは、準同期の文脈自由文法バックボーンを持つ生成モデルである。 この手順は、診断タスクのためにCSLの組成バイアスの大部分をT5に効果的に転送する。
  論文  参考訳（メタデータ） (2021-12-14T18:03:28Z)
• Meta-Learning to Compositionally Generalize [34.656819307701156]
  教師あり学習のメタラーニング拡張版を実装した。 既存のトレーニングデータをサブサンプリングすることでメタ学習のためのタスクのペアを構築する。 COGSおよびSCANデータセットの実験結果から、類似性駆動型メタラーニングにより一般化性能が向上することが示された。
  論文  参考訳（メタデータ） (2021-06-08T11:21:48Z)
• Set Representation Learning with Generalized Sliced-Wasserstein Embeddings [22.845403993200932]
  集合構造データから表現を学習するための幾何学的解釈可能なフレームワークを提案する。 特に、確率測度からのサンプルとして集合の要素を扱い、一般化スライスワッサーシュタインに対する正確なユークリッド埋め込みを提案する。 我々は,複数の教師付きおよび教師なし集合学習タスクに関する提案フレームワークを評価し,最先端集合表現学習アプローチに対するその優位性を実証する。
  論文  参考訳（メタデータ） (2021-03-05T19:00:34Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。