論文の概要: Compositional Generalization in Semantic Parsing: Pre-training vs. Specialized Architectures

• arxiv url: http://arxiv.org/abs/2007.08970v3
• Date: Wed, 22 Sep 2021 09:06:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 13:03:39.070595
• Title: Compositional Generalization in Semantic Parsing: Pre-training vs. Specialized Architectures
• Title（参考訳）: 意味構文解析における合成一般化--事前学習と特殊アーキテクチャ
• Authors: Daniel Furrer, Marc van Zee, Nathan Scales, Nathanael Sch\"arli
• Abstract要約: 事前トレーニングは、同等の非事前トレーニングモデルと比較して、パフォーマンスが大幅に向上することを示す。 我々は、中間表現とともに事前学習を用いて、CFQ合成一般化ベンチマークの新たな技術状態を確立する。
• 参考スコア（独自算出の注目度）: 1.8434042562191812
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While mainstream machine learning methods are known to have limited ability to compositionally generalize, new architectures and techniques continue to be proposed to address this limitation. We investigate state-of-the-art techniques and architectures in order to assess their effectiveness in improving compositional generalization in semantic parsing tasks based on the SCAN and CFQ datasets. We show that masked language model (MLM) pre-training rivals SCAN-inspired architectures on primitive holdout splits. On a more complex compositional task, we show that pre-training leads to significant improvements in performance vs. comparable non-pre-trained models, whereas architectures proposed to encourage compositional generalization on SCAN or in the area of algorithm learning fail to lead to significant improvements. We establish a new state of the art on the CFQ compositional generalization benchmark using MLM pre-training together with an intermediate representation.
• Abstract（参考訳）: 主流の機械学習手法は構成的に一般化する能力に制限があることが知られているが、この制限に対処するために新しいアーキテクチャや技術が提案され続けている。 そこで本研究では,SCAN と CFQ のデータセットに基づく意味解析タスクにおける構成一般化の改善効果を評価するために,最先端技術とアーキテクチャについて検討する。 マスク付き言語モデル(MLM)は,プリミティブホールドアウト分割においてSCANにインスパイアされたアーキテクチャを事前学習する。 より複雑な構成課題では、事前学習は、同等の事前学習モデルに比べて性能が大幅に向上することを示し、一方、SCANやアルゴリズム学習領域における構成一般化を促進するアーキテクチャは、大幅な改善には至らなかった。 MLMプレトレーニングと中間表現を用いたCFQ合成一般化ベンチマークの新たな技術状況を確立する。

関連論文リスト

• HPT++: Hierarchically Prompting Vision-Language Models with Multi-Granularity Knowledge Generation and Improved Structure Modeling [39.14392943549792]
  本稿では,階層型プロンプトチューニング(HPT)と呼ばれる新しい手法を提案し,構造化知識と従来の言語知識の同時モデリングを可能にする。 低レベルの即時学習のためのエンティティと属性間のペアワイズ関連をキャプチャする、関係誘導型アテンションモジュールを導入する。 全体意味論をモデル化する高レベルかつグローバルレベルのプロンプトを取り入れることで、提案された階層構造は、クロスレベルな相互リンクを偽造し、より複雑で長期的な関係を扱うようにモデルに権限を与える。
  論文  参考訳（メタデータ） (2024-08-27T06:50:28Z)
• Task Agnostic Architecture for Algorithm Induction via Implicit Composition [10.627575117586417]
  本研究の目的は,このような統一アーキテクチャの構築を探求することであり,その構築方法に関する理論的枠組みを提案することである。 最近のジェネレーティブAI、特にトランスフォーマーベースのモデルは、幅広い領域のアルゴリズムを構築することができるアーキテクチャとしての可能性を示している。 アルゴリズム合成におけるトランスフォーマーおよび他の手法の現在の機能と限界について検討する。
  論文  参考訳（メタデータ） (2024-04-03T04:31:09Z)
• Structure-CLIP: Towards Scene Graph Knowledge to Enhance Multi-modal Structured Representations [70.41385310930846]
  マルチモーダルな構造表現を強化するためのエンドツーエンドフレームワークであるStructure-CLIPを提案する。 シーングラフを用いてセマンティックなネガティブな例の構築をガイドし、その結果、構造化された表現の学習に重点を置いている。 知識エンハンス(KEE)は、SGKを入力として活用し、構造化表現をさらに強化するために提案される。
  論文  参考訳（メタデータ） (2023-05-06T03:57:05Z)
• Composing Task Knowledge with Modular Successor Feature Approximators [60.431769158952626]
  本稿では,新しいニューラルネットワークアーキテクチャ "Modular Successor Feature Approximator" (MSFA) を提案する。 MSFAは、SFやモジュールアーキテクチャを学ぶためのベースラインアーキテクチャと比較して、より一般化することができる。
  論文  参考訳（メタデータ） (2023-01-28T23:04:07Z)
• Learning from Mistakes: Self-Regularizing Hierarchical Representations in Point Cloud Semantic Segmentation [15.353256018248103]
  LiDARセマンティックセマンティックセマンティクスは、きめ細かいシーン理解を実現するために注目を集めている。 本稿では、標準モデルから派生した分類ミスタケス(LEAK)からLEArnを分離する粗大な設定を提案する。 我々のLEAKアプローチは非常に一般的で、どんなセグメンテーションアーキテクチャにもシームレスに適用できます。
  論文  参考訳（メタデータ） (2023-01-26T14:52:30Z)
• Real-World Compositional Generalization with Disentangled Sequence-to-Sequence Learning [81.24269148865555]
  最近提案されたDunangled sequence-to-sequence model (Dangle)は、有望な一般化能力を示している。 このモデルに2つの重要な変更を加え、より不整合表現を奨励し、その計算とメモリ効率を改善する。 具体的には、各タイミングでソースキーと値を適応的に再エンコードするのではなく、表現をアンタングルし、キーを定期的に再エンコードする。
  論文  参考訳（メタデータ） (2022-12-12T15:40:30Z)
• Autoregressive Structured Prediction with Language Models [73.11519625765301]
  本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。 我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-10-26T13:27:26Z)
• RANK-NOSH: Efficient Predictor-Based Architecture Search via Non-Uniform Successive Halving [74.61723678821049]
  予算の浪費を回避するため,早期に性能の低いアーキテクチャのトレーニングを終了する階層的スケジューリングアルゴリズムであるNOn-uniform Successive Halving (NOSH)を提案する。 予測器に基づくアーキテクチャ探索をペア比較でランク付けする学習として定式化する。 その結果、RANK-NOSHは検索予算を5倍に削減し、様々な空間やデータセットにおける従来の最先端予測手法よりも、競争力やパフォーマンスの向上を実現した。
  論文  参考訳（メタデータ） (2021-08-18T07:45:21Z)
• Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
  本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。 また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
  論文  参考訳（メタデータ） (2020-12-01T11:46:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。