論文の概要: Compositional Generalization and Decomposition in Neural Program Synthesis

• arxiv url: http://arxiv.org/abs/2204.03758v1
• Date: Thu, 7 Apr 2022 22:16:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-11 14:08:28.374092
• Title: Compositional Generalization and Decomposition in Neural Program Synthesis
• Title（参考訳）: ニューラルプログラム合成における合成一般化と分解
• Authors: Kensen Shi, Joey Hong, Manzil Zaheer, Pengcheng Yin, Charles Sutton
• Abstract要約: 本稿では,学習プログラムシンセサイザーの合成一般化能力の測定に焦点をあてる。 まず、プログラム合成法が一般化されるであろういくつかの異なる軸を特徴付ける。 2つの一般的な既存のデータセットに基づいて、これらの能力を評価するためのタスクのベンチマークスイートを導入する。
• 参考スコア（独自算出の注目度）: 59.356261137313275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When writing programs, people have the ability to tackle a new complex task by decomposing it into smaller and more familiar subtasks. While it is difficult to measure whether neural program synthesis methods have similar capabilities, what we can measure is whether they compositionally generalize, that is, whether a model that has been trained on the simpler subtasks is subsequently able to solve more complex tasks. In this paper, we focus on measuring the ability of learned program synthesizers to compositionally generalize. We first characterize several different axes along which program synthesis methods would be desired to generalize, e.g., length generalization, or the ability to combine known subroutines in new ways that do not occur in the training data. Based on this characterization, we introduce a benchmark suite of tasks to assess these abilities based on two popular existing datasets, SCAN and RobustFill. Finally, we make first attempts to improve the compositional generalization ability of Transformer models along these axes through novel attention mechanisms that draw inspiration from a human-like decomposition strategy. Empirically, we find our modified Transformer models generally perform better than natural baselines, but the tasks remain challenging.
• Abstract（参考訳）: プログラムを書くとき、人々はより小さくより使い慣れたサブタスクに分解することで、新しい複雑なタスクに取り組むことができる。 ニューラルプログラム合成手法が類似する能力を持つかどうかを計測することは難しいが、より単純なサブタスクで訓練されたモデルが後により複雑なタスクを解決できるかどうかを合成的に一般化するかどうかを測定できる。 本稿では,学習したプログラムシンセサイザーの合成一般化能力を測定することに焦点を当てる。 まず,プログラム合成法が一般化することを希望するいくつかの異なる軸,例えば長さ汎化や,訓練データで発生しない新しい方法で既知のサブルーチンを結合する能力について特徴付ける。 この特徴に基づいて,SCAN と RobustFill という2つの一般的なデータセットに基づいて,これらの能力を評価するためのベンチマークスイートを導入する。 最後に,人間のような分解戦略からインスピレーションを得る新しい注意機構により,トランスフォーマーモデルの構成一般化能力をこれらの軸に沿って向上させる試みを行う。 経験上、私たちの改造トランスフォーマーモデルは、一般的に自然なベースラインよりもパフォーマンスが良いことが分かりました。

関連論文リスト

• Compositional Capabilities of Autoregressive Transformers: A Study on Synthetic, Interpretable Tasks [23.516986266146855]
  我々は合成データ生成プロセスで自己回帰変換器モデルを訓練する。 自己回帰変換器は少量のトレーニングデータから構成構造を学習できることを示す。
  論文  参考訳（メタデータ） (2023-11-21T21:16:54Z)
• ExeDec: Execution Decomposition for Compositional Generalization in Neural Program Synthesis [54.18659323181771]
  プログラム合成において望ましいいくつかの異なる構成一般化形式を特徴付ける。 本稿では,ExeDecを提案する。ExeDecは,実行サブゴールを予測し,各ステップでプログラム実行によって段階的に通知される問題を解くための,新しい分解ベースの戦略である。
  論文  参考訳（メタデータ） (2023-07-26T01:07:52Z)
• Real-World Compositional Generalization with Disentangled Sequence-to-Sequence Learning [81.24269148865555]
  最近提案されたDunangled sequence-to-sequence model (Dangle)は、有望な一般化能力を示している。 このモデルに2つの重要な変更を加え、より不整合表現を奨励し、その計算とメモリ効率を改善する。 具体的には、各タイミングでソースキーと値を適応的に再エンコードするのではなく、表現をアンタングルし、キーを定期的に再エンコードする。
  論文  参考訳（メタデータ） (2022-12-12T15:40:30Z)
• Recursive Decoding: A Situated Cognition Approach to Compositional Generation in Grounded Language Understanding [0.0]
  本稿では,Seq2seqモデルをトレーニングおよび使用するための新しい手順であるRecursive Decodingを提案する。 1回のパスで出力シーケンス全体を生成するのではなく、モデルは一度に1つのトークンを予測するように訓練される。 RDは、gSCANの2つの以前に無視された一般化タスクに対して劇的な改善をもたらす。
  論文  参考訳（メタデータ） (2022-01-27T19:13:42Z)
• Inducing Transformer's Compositional Generalization Ability via Auxiliary Sequence Prediction Tasks [86.10875837475783]
  体系的な構成性は人間の言語において必須のメカニズムであり、既知の部品の組換えによって新しい表現を作り出すことができる。 既存のニューラルモデルには、記号構造を学習する基本的な能力がないことが示されている。 本稿では,関数の進行と引数のセマンティクスを追跡する2つの補助シーケンス予測タスクを提案する。
  論文  参考訳（メタデータ） (2021-09-30T16:41:19Z)
• BUSTLE: Bottom-Up Program Synthesis Through Learning-Guided Exploration [72.88493072196094]
  プログラムのボトムアップ検索に学習を活用する新しい合成手法を提案する。 特に、入力出力例のセットに基づいて、探索条件中の中間値の合成を優先順位付けするようにモデルを訓練する。 単純な教師付き学習アプローチであっても,学習とボトムアップ検索の組み合わせは極めて効果的であることを示す。
  論文  参考訳（メタデータ） (2020-07-28T17:46:18Z)
• Compositional Generalization by Learning Analytical Expressions [87.15737632096378]
  メモリ拡張ニューラルモデルは、合成一般化を達成するために解析式に接続される。 良く知られたベンチマークSCANの実験は、我々のモデルが構成的一般化の優れた能力をつかむことを示した。
  論文  参考訳（メタデータ） (2020-06-18T15:50:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。