論文の概要: ExeDec: Execution Decomposition for Compositional Generalization in Neural Program Synthesis

• arxiv url: http://arxiv.org/abs/2307.13883v2
• Date: Mon, 6 May 2024 11:01:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 01:06:19.610474
• Title: ExeDec: Execution Decomposition for Compositional Generalization in Neural Program Synthesis
• Title（参考訳）: ExeDec: ニューラルプログラム合成における構成一般化のための実行分解
• Authors: Kensen Shi, Joey Hong, Yinlin Deng, Pengcheng Yin, Manzil Zaheer, Charles Sutton,
• Abstract要約: プログラム合成において望ましいいくつかの異なる構成一般化形式を特徴付ける。 本稿では,ExeDecを提案する。ExeDecは,実行サブゴールを予測し,各ステップでプログラム実行によって段階的に通知される問題を解くための,新しい分解ベースの戦略である。
• 参考スコア（独自算出の注目度）: 54.18659323181771
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When writing programs, people have the ability to tackle a new complex task by decomposing it into smaller and more familiar subtasks. While it is difficult to measure whether neural program synthesis methods have similar capabilities, we can measure whether they compositionally generalize, that is, whether a model that has been trained on the simpler subtasks is subsequently able to solve more complex tasks. In this paper, we characterize several different forms of compositional generalization that are desirable in program synthesis, forming a meta-benchmark which we use to create generalization tasks for two popular datasets, RobustFill and DeepCoder. We then propose ExeDec, a novel decomposition-based synthesis strategy that predicts execution subgoals to solve problems step-by-step informed by program execution at each step. When used with Transformer models trained from scratch, ExeDec has better synthesis performance and greatly improved compositional generalization ability compared to baselines. Finally, we use our benchmarks to demonstrate that LLMs struggle to compositionally generalize when asked to do programming-by-example in a few-shot setting, but an ExeDec-style prompting approach can improve the generalization ability and overall performance.
• Abstract（参考訳）: プログラムを書く際には、より小さく、より親しみやすいサブタスクに分解することで、新しい複雑なタスクに取り組むことができる。 ニューラルプログラム合成法が類似する能力を持つかどうかを測定することは難しいが、それらが構成的に一般化されるかどうか、つまり、単純なサブタスクで訓練されたモデルが、さらに複雑なタスクを解くことができるかどうかを測定することができる。 本稿では、プログラム合成において望ましいいくつかの異なる構成一般化形式を特徴付け、ロバストフィルとディープコーダの2つの一般的なデータセットに対する一般化タスクを作成するために使用されるメタベンチマークを作成する。 次に,ExeDecを提案する。ExeDecは,実行サブゴールを予測し,各ステップでプログラムの実行によって段階的に通知される問題を解く,新しい分解型合成戦略である。 ゼロからトレーニングされたTransformerモデルを使用する場合、ExeDecは合成性能が向上し、ベースラインに比べて構成一般化能力が大幅に向上した。 最後に、我々のベンチマークを用いて、LCMが数ショットでプログラミング・バイ・エグゼクティブ・バイ・エグゼクティブの実施に苦慮していることを示すが、ExeDecスタイルのプロンプトアプローチは、一般化能力と全体的なパフォーマンスを改善することができる。

関連論文リスト

• Origami: (un)folding the abstraction of recursion schemes for program synthesis [0.0]
  遺伝的プログラミングは入力仕様を満たす正しいプログラムを探索する。 特定の課題はループと再帰を扱う方法であり、終わらないプログラムを避けることである。 再帰スキーマは、データ生産と消費の組み合わせを一般化する。
  論文  参考訳（メタデータ） (2024-02-21T14:17:45Z)
• Compositional Program Generation for Few-Shot Systematic Generalization [59.57656559816271]
  コンポジションプログラムジェネレータ(CPG)と呼ばれるニューロシンボリックアーキテクチャに関する研究 CPGには3つの重要な特徴がある: 文法規則の形で、テキストモジュラリティ、テキストコンポジション、テキストタストラクションである。 SCAN と COGS のベンチマークでは,SCAN の14例と COGS の22例を使用して,完全な一般化を実現している。
  論文  参考訳（メタデータ） (2023-09-28T14:33:20Z)
• A Divide-Align-Conquer Strategy for Program Synthesis [8.595181704811889]
  本稿では,大規模プログラムの探索を複数の小さなプログラム合成問題に分割する例によって,構成セグメント化がプログラミングに応用可能であることを示す。 入力と出力における構成部品の構造的アライメントは、プログラム探索を導くのに使用されるペアワイズ対応に繋がる。
  論文  参考訳（メタデータ） (2023-01-08T19:10:55Z)
• Real-World Compositional Generalization with Disentangled Sequence-to-Sequence Learning [81.24269148865555]
  最近提案されたDunangled sequence-to-sequence model (Dangle)は、有望な一般化能力を示している。 このモデルに2つの重要な変更を加え、より不整合表現を奨励し、その計算とメモリ効率を改善する。 具体的には、各タイミングでソースキーと値を適応的に再エンコードするのではなく、表現をアンタングルし、キーを定期的に再エンコードする。
  論文  参考訳（メタデータ） (2022-12-12T15:40:30Z)
• Compositional Generalization and Decomposition in Neural Program Synthesis [59.356261137313275]
  本稿では,学習プログラムシンセサイザーの合成一般化能力の測定に焦点をあてる。 まず、プログラム合成法が一般化されるであろういくつかの異なる軸を特徴付ける。 2つの一般的な既存のデータセットに基づいて、これらの能力を評価するためのタスクのベンチマークスイートを導入する。
  論文  参考訳（メタデータ） (2022-04-07T22:16:05Z)
• Recursive Decoding: A Situated Cognition Approach to Compositional Generation in Grounded Language Understanding [0.0]
  本稿では,Seq2seqモデルをトレーニングおよび使用するための新しい手順であるRecursive Decodingを提案する。 1回のパスで出力シーケンス全体を生成するのではなく、モデルは一度に1つのトークンを予測するように訓練される。 RDは、gSCANの2つの以前に無視された一般化タスクに対して劇的な改善をもたらす。
  論文  参考訳（メタデータ） (2022-01-27T19:13:42Z)
• Representing Partial Programs with Blended Abstract Semantics [62.20775388513027]
  プログラム合成エンジンにおける部分的なプログラム表現手法について紹介する。 モジュラーニューラルネットワークとして実装された近似実行モデルを学ぶ。 これらのハイブリッドニューロシンボリック表現は、実行誘導型シンセサイザーがより強力な言語構成を使うことができることを示す。
  論文  参考訳（メタデータ） (2020-12-23T20:40:18Z)
• BUSTLE: Bottom-Up Program Synthesis Through Learning-Guided Exploration [72.88493072196094]
  プログラムのボトムアップ検索に学習を活用する新しい合成手法を提案する。 特に、入力出力例のセットに基づいて、探索条件中の中間値の合成を優先順位付けするようにモデルを訓練する。 単純な教師付き学習アプローチであっても,学習とボトムアップ検索の組み合わせは極めて効果的であることを示す。
  論文  参考訳（メタデータ） (2020-07-28T17:46:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。