論文の概要: Compositional Program Generation for Few-Shot Systematic Generalization
- arxiv url: http://arxiv.org/abs/2309.16467v2
- Date: Thu, 18 Jan 2024 18:25:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-19 20:11:53.171744
- Title: Compositional Program Generation for Few-Shot Systematic Generalization
- Title（参考訳）: Few-Shot Systematic Generalizationのための構成プログラム生成
- Authors: Tim Klinger and Luke Liu and Soham Dan and Maxwell Crouse and
Parikshit Ram and Alexander Gray
- Abstract要約: コンポジションプログラムジェネレータ(CPG)と呼ばれるニューロシンボリックアーキテクチャに関する研究
CPGには3つの重要な特徴がある: 文法規則の形で、テキストモジュラリティ、テキストコンポジション、テキストタストラクションである。
SCAN と COGS のベンチマークでは,SCAN の14例と COGS の22例を使用して,完全な一般化を実現している。
- 参考スコア（独自算出の注目度）: 59.57656559816271
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Compositional generalization is a key ability of humans that enables us to
learn new concepts from only a handful examples. Neural machine learning
models, including the now ubiquitous Transformers, struggle to generalize in
this way, and typically require thousands of examples of a concept during
training in order to generalize meaningfully. This difference in ability
between humans and artificial neural architectures, motivates this study on a
neuro-symbolic architecture called the Compositional Program Generator (CPG).
CPG has three key features: \textit{modularity}, \textit{composition}, and
\textit{abstraction}, in the form of grammar rules, that enable it to
generalize both systematically to new concepts in a few-shot manner, as well as
productively by length on various sequence-to-sequence language tasks. For each
input, CPG uses a grammar of the input language and a parser to generate a
parse in which each grammar rule is assigned its own unique semantic module, a
probabilistic copy or substitution program. Instances with the same parse are
always processed with the same composed modules, while those with different
parses may be processed with different modules. CPG learns parameters for the
modules and is able to learn the semantics for new rules and types
incrementally, without forgetting or retraining on rules it's already seen. It
achieves perfect generalization on both the SCAN and COGS benchmarks using just
14 examples for SCAN and 22 examples for COGS -- state-of-the-art accuracy with
a 1000x improvement in sample efficiency.
- Abstract（参考訳）: 構成的一般化は、ごく少数の例から新しい概念を学ぶことができる人間の重要な能力である。
現在ユビキタスなトランスフォーマーを含むニューラル機械学習モデルは、このような一般化に苦労し、通常、トレーニング中に意味のある一般化のために概念の数千の例を必要とする。
この人間と人工神経アーキテクチャの能力の違いは、コンポジションプログラムジェネレータ(CPG)と呼ばれるニューロシンボリックアーキテクチャの研究を動機付けている。
CPGには3つの重要な特徴がある: \textit{modularity}, \textit{composition}, \textit{abstraction} は文法規則の形式で、数ショットで体系的に新しい概念に、そして様々なシーケンスからシーケンスまでの言語タスクで生産的に一般化することができる。
それぞれの入力に対して、CPGは入力言語の文法とパーサを使用して、それぞれの文法規則が独自の意味モジュール、確率的コピーまたは置換プログラムに割り当てられるパースを生成する。
同じパースを持つインスタンスは、常に同じ構成のモジュールで処理され、異なるパースを持つインスタンスは異なるモジュールで処理される。
CPGはモジュールのパラメータを学習し、新しいルールや型に対するセマンティクスを段階的に学習することができる。
SCAN と COGS のベンチマークでは,SCAN の14例と COGS の22例を使用して,完全な一般化を実現している。
関連論文リスト
- ExeDec: Execution Decomposition for Compositional Generalization in Neural Program Synthesis [54.18659323181771]
プログラム合成において望ましいいくつかの異なる構成一般化形式を特徴付ける。
本稿では,ExeDecを提案する。ExeDecは,実行サブゴールを予測し,各ステップでプログラム実行によって段階的に通知される問題を解くための,新しい分解ベースの戦略である。
論文 参考訳（メタデータ） (2023-07-26T01:07:52Z) - Real-World Compositional Generalization with Disentangled
Sequence-to-Sequence Learning [81.24269148865555]
最近提案されたDunangled sequence-to-sequence model (Dangle)は、有望な一般化能力を示している。
このモデルに2つの重要な変更を加え、より不整合表現を奨励し、その計算とメモリ効率を改善する。
具体的には、各タイミングでソースキーと値を適応的に再エンコードするのではなく、表現をアンタングルし、キーを定期的に再エンコードする。
論文 参考訳（メタデータ） (2022-12-12T15:40:30Z) - Compositional Generalization Requires Compositional Parsers [69.77216620997305]
直近のCOGSコーパスにおける構成原理によって導かれるシーケンス・ツー・シーケンスモデルとモデルを比較した。
構造一般化は構成一般化の重要な尺度であり、複雑な構造を認識するモデルを必要とする。
論文 参考訳（メタデータ） (2022-02-24T07:36:35Z) - Recursive Decoding: A Situated Cognition Approach to Compositional
Generation in Grounded Language Understanding [0.0]
本稿では,Seq2seqモデルをトレーニングおよび使用するための新しい手順であるRecursive Decodingを提案する。
1回のパスで出力シーケンス全体を生成するのではなく、モデルは一度に1つのトークンを予測するように訓練される。
RDは、gSCANの2つの以前に無視された一般化タスクに対して劇的な改善をもたらす。
論文 参考訳（メタデータ） (2022-01-27T19:13:42Z) - Inducing Transformer's Compositional Generalization Ability via
Auxiliary Sequence Prediction Tasks [86.10875837475783]
体系的な構成性は人間の言語において必須のメカニズムであり、既知の部品の組換えによって新しい表現を作り出すことができる。
既存のニューラルモデルには、記号構造を学習する基本的な能力がないことが示されている。
本稿では,関数の進行と引数のセマンティクスを追跡する2つの補助シーケンス予測タスクを提案する。
論文 参考訳（メタデータ） (2021-09-30T16:41:19Z) - Sequence-to-Sequence Learning with Latent Neural Grammars [12.624691611049341]
ニューラルネットワークを用いたシーケンス対シーケンス学習は、シーケンス予測タスクのデファクトスタンダードとなっている。
フレキシブルでパフォーマンスが高いが、これらのモデルはトレーニングのために大きなデータセットを必要とすることが多く、構成の一般化をテストするために設計されたベンチマークで驚くほど失敗することがある。
この研究は、準同期文法を用いたシーケンシャル・ツー・シークエンス学習の代替的、階層的アプローチを探求する。
論文 参考訳（メタデータ） (2021-09-02T17:58:08Z) - Learning Compositional Rules via Neural Program Synthesis [67.62112086708859]
少数の例からルールシステム全体を学習するニューロシンボリックモデルを提案する。
入力からの出力を直接予測する代わりに、前述した例の集合を規定する規則の明示的な体系を誘導するようにモデルを訓練する。
論文 参考訳（メタデータ） (2020-03-12T01:06:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。