論文の概要: Learning to Substitute Components for Compositional Generalization

• arxiv url: http://arxiv.org/abs/2502.20834v1
• Date: Fri, 28 Feb 2025 08:30:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 13:42:34.957474
• Title: Learning to Substitute Components for Compositional Generalization
• Title（参考訳）: 構成一般化のための部品置換学習
• Authors: Zhaoyi Li, Gangwei Jiang, Chenwang Wu, Ying Wei, Defu Lian, Enhong Chen,
• Abstract要約: そこで我々はCompSubと呼ばれる新しい構成拡張戦略を提案する。 また,CompSubにおけるコンポーネント置換確率の学習を支援するLCS(Learning Component Substitution)フレームワークについても紹介する。 その結果, CompSub, LCS, LCS-ICLのそれぞれ66.5%, 10.3%, 1.4%, 8.8%の改善が見られた。
• 参考スコア（独自算出の注目度）: 70.96410435337967
• License:
• Abstract: Despite the rising prevalence of neural language models, recent empirical evidence suggests their deficiency in compositional generalization. One of the current de-facto solutions to this problem is compositional data augmentation, which aims to introduce additional compositional inductive bias. However, existing handcrafted augmentation strategies offer limited improvement when systematic generalization of neural language models requires multi-grained compositional bias (i.e., not limited to either lexical or structural biases alone) or when training sentences have an imbalanced difficulty distribution. To address these challenges, we first propose a novel compositional augmentation strategy called Component Substitution (CompSub), which enables multi-grained composition of substantial substructures across the entire training set. Furthermore, we introduce the Learning Component Substitution (LCS) framework. This framework empowers the learning of component substitution probabilities in CompSub in an end-to-end manner by maximizing the loss of neural language models, thereby prioritizing challenging compositions with elusive concepts and novel contexts. We extend the key ideas of CompSub and LCS to the recently emerging in-context learning scenarios of pre-trained large language models (LLMs), proposing the LCS-ICL algorithm to enhance the few-shot compositional generalization of state-of-the-art (SOTA) LLMs. Theoretically, we provide insights into why applying our algorithms to language models can improve compositional generalization performance. Empirically, our results on four standard compositional generalization benchmarks(SCAN, COGS, GeoQuery, and COGS-QL) demonstrate the superiority of CompSub, LCS, and LCS-ICL, with improvements of up to 66.5%, 10.3%, 1.4%, and 8.8%, respectively.
• Abstract（参考訳）: ニューラルネットワークモデルの普及にもかかわらず、最近の経験的証拠は、合成一般化におけるそれらの欠如を示唆している。 この問題に対する現在のデファクト・ソリューションの1つは、さらなる合成帰納バイアスの導入を目的とした合成データ拡張である。 しかし、既存の手工的な拡張戦略は、ニューラルネットワークモデルの体系的な一般化が多粒度構成バイアス(語彙的または構造的バイアスのみに限らない)を必要とする場合や、訓練文が不均衡な難易度分布を持つ場合、限定的な改善をもたらす。 これらの課題に対処するために,我々はまずコンポーネント置換(CompSub)と呼ばれる新しい構成拡張戦略を提案する。 さらに,Learning Component Substitution (LCS) フレームワークについても紹介する。 このフレームワークは、ニューラルネットワークモデルの損失を最大化することにより、CompSubにおけるコンポーネント置換確率をエンドツーエンドで学習し、解脱的な概念と新しい文脈で挑戦的な構成を優先順位付けする。 我々は,CompSub と LCS の重要なアイデアを,事前学習された大規模言語モデル (LLM) のコンテキスト内学習シナリオに拡張し,LCS-ICL アルゴリズムを提案する。 理論的には,アルゴリズムを言語モデルに適用することで,合成一般化性能が向上する理由について考察する。 実験により,4つの標準構成一般化ベンチマーク(SCAN, COGS, GeoQuery, COGS-QL)の結果から,CompSub, LCS, LCS-ICLのそれぞれ66.5%, 10.3%, 1.4%, 8.8%の改善が示された。

関連論文リスト

• Consistency of Compositional Generalization across Multiple Levels [31.77432446850103]
  複数のレベルにまたがる一貫した構成一般化を実現するためのメタラーニングベースのフレームワークを提案する。 一貫性を定量的に評価するGQA-CCGデータセットを構築した。
  論文  参考訳（メタデータ） (2024-12-18T09:09:41Z)
• Compositional Generalization in Spoken Language Understanding [58.609624319953156]
  本稿では, (a) 新規スロットの組み合わせと (b) 長さの一般化の2種類の構成性について検討する。 本研究では,我々の合成SLUモデルが最先端のBERT SLUモデルより大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-12-25T21:46:06Z)
• Skills-in-Context Prompting: Unlocking Compositionality in Large Language Models [68.18370230899102]
  大規模言語モデル(LLM)における構成一般化能力の活用法について検討する。 我々は,これらのスキルに基礎を置く基礎的スキルと構成的事例の両方を同じプロンプト・コンテキストで示すことが重要であることを発見した。 SKiC型データを用いた微調整LDMは、ゼロショット弱強一般化を導出できることを示す。
  論文  参考訳（メタデータ） (2023-08-01T05:54:12Z)
• ExeDec: Execution Decomposition for Compositional Generalization in Neural Program Synthesis [54.18659323181771]
  プログラム合成において望ましいいくつかの異なる構成一般化形式を特徴付ける。 本稿では,ExeDecを提案する。ExeDecは,実行サブゴールを予測し,各ステップでプログラム実行によって段階的に通知される問題を解くための,新しい分解ベースの戦略である。
  論文  参考訳（メタデータ） (2023-07-26T01:07:52Z)
• Learning to Substitute Spans towards Improving Compositional Generalization [26.878616721700485]
  我々はtextbfSpan textbfSubstitution (SpanSub) と呼ばれる新しい合成増強戦略を提案する。 次にtextbfSubstitute textbfSpan (L2S2) フレームワークを導入する。 SCAN、COGS、GeoQueryを含む3つの標準構成一般化ベンチマークの結果は、SpanSub、学習フレームワークL2S2、およびそれらの組み合わせの優位性を実証している。
  論文  参考訳（メタデータ） (2023-06-05T12:44:18Z)
• Prompting Language-Informed Distribution for Compositional Zero-Shot Learning [73.49852821602057]
  合成ゼロショット学習(CZSL)タスクは、目に見えない合成視覚概念を認識することを目的としている。 本稿では,タスクに対して言語インフォームド分布(PLID)を指示するモデルを提案する。 MIT-States、UT-Zappos、C-GQAデータセットの実験結果は、PLIDの先行技術よりも優れた性能を示している。
  論文  参考訳（メタデータ） (2023-05-23T18:00:22Z)
• Compositional Generalization in Unsupervised Compositional Representation Learning: A Study on Disentanglement and Emergent Language [48.37815764394315]
  合成一般化を直接テストできる2つのデータセット上で、3つの教師なし表現学習アルゴリズムについて検討する。 単純なモデルと少ないラベルでボトルネック表現を直接使用すると、学習された表現そのものの前後のレイヤからの表現よりも、より悪い一般化につながる可能性がある。 驚くべきことに、不整合表現を生成する圧力の増加は、より悪い一般化を伴う表現を生成するのに対し、ELモデルからの表現は強い合成一般化を示す。
  論文  参考訳（メタデータ） (2022-10-02T10:35:53Z)
• Improving Compositional Generalization with Latent Structure and Data Augmentation [39.24527889685699]
  合成構造学習者(CSL)と呼ばれるモデルを用いたより強力なデータ組換え手法を提案する。 CSLは、準同期の文脈自由文法バックボーンを持つ生成モデルである。 この手順は、診断タスクのためにCSLの組成バイアスの大部分をT5に効果的に転送する。
  論文  参考訳（メタデータ） (2021-12-14T18:03:28Z)
• Compositional Generalization in Semantic Parsing: Pre-training vs. Specialized Architectures [1.8434042562191812]
  事前トレーニングは、同等の非事前トレーニングモデルと比較して、パフォーマンスが大幅に向上することを示す。 我々は、中間表現とともに事前学習を用いて、CFQ合成一般化ベンチマークの新たな技術状態を確立する。
  論文  参考訳（メタデータ） (2020-07-17T13:34:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。