論文の概要: Beyond the Training Distribution: Mapping Generalization Boundaries in Neural Program Synthesis

• arxiv url: http://arxiv.org/abs/2604.27551v1
• Date: Thu, 30 Apr 2026 07:58:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-01 16:31:53.980233
• Title: Beyond the Training Distribution: Mapping Generalization Boundaries in Neural Program Synthesis
• Title（参考訳）: 学習分布を超えて:ニューラルプログラム合成における一般化境界のマッピング
• Authors: Henrik Voigt, Michael Habeck, Joachim Giesen,
• Abstract要約: プログラム合成ベンチマークにおいて,大規模トランスフォーマーは印象的な結果を得る。 しかし、その真の一般化能力は、データ汚染と不透明なトレーニングコーパスによって隠蔽されている。 ドメイン固有の算術文法に基づく厳密に制御されたプログラム合成環境を提案する。
• 参考スコア（独自算出の注目度）: 13.460704771478866
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale transformers achieve impressive results on program synthesis benchmarks, yet their true generalization capabilities remain obscured by data contamination and opaque training corpora. To rigorously assess whether models are truly generalizing or merely retrieving memorized templates, we introduce a strictly controlled program synthesis environment based on a domain-specific arithmetic grammar. By systematically enumerating and evaluating millions of unique programs, we construct interpretable syntactic and semantic metric spaces. This allows us to precisely map data distributions and sample train and test splits that isolate specific distributional shifts. Our experiments demonstrate that optimizing density generalization -- through diverse sampling over both semantic and syntactic spaces -- induces robust out-of-distribution generalization. Conversely, evaluating support generalization reveals that transformers severely struggle with extrapolation, experiencing a performance drop of over 30% when forced to generate syntactically novel programs. While steadily scaling up compute improves generalization, the gains follow a strictly log-linear relationship. We conclude that robust generalization requires maximizing training diversity across multiple manifolds, and our findings indicate the necessity for novel search-based approaches to break through current log-linear scaling bottlenecks.
• Abstract（参考訳）: 大規模トランスフォーマーは、プログラム合成ベンチマークにおいて印象的な結果を得るが、その真の一般化能力は、データ汚染と不透明なトレーニングコーパスによって隠蔽されている。 モデルが本当に一般化しているか、単に記憶されたテンプレートを検索しているかを厳格に評価するために、ドメイン固有の算術文法に基づいて厳密に制御されたプログラム合成環境を導入する。 数百万のユニークなプログラムを体系的に列挙し、評価することにより、解釈可能な構文的および意味的距離空間を構築する。 これにより、データ分散とサンプルトレインを正確にマッピングし、特定の分散シフトを分離するスプリットをテストすることができます。 我々の実験は、セマンティック空間と構文空間の両方にわたる多様なサンプリングを通じて密度汎化を最適化することで、ロバストなアウト・オブ・ディストリビューション一般化を誘導することを示した。 逆に、サポートの一般化を評価することで、トランスフォーマーは外挿に苦戦し、構文的に新しいプログラムを作成せざるを得なくなった場合、30%以上のパフォーマンス低下を経験することが明らかとなった。 計算の着実にスケールアップは一般化を改善するが、ゲインは厳密な対数線形関係に従う。 堅牢な一般化には,複数多様体にわたるトレーニングの多様性の最大化が必要であると結論し,現在のログ線形スケーリングボトルネックを突破する新しい探索ベースアプローチの必要性が示唆された。

関連論文リスト

• Single Domain Generalization with Model-aware Parametric Batch-wise Mixup [22.709796153794507]
  単一ドメインの一般化は、マシンラーニングの分野において、依然として深刻な課題である。 本稿では,モデル認識型パラメトリックバッチ・ワイド・ミックスアップ(Parametric Batch-wise Mixup)と呼ばれる新しいデータ拡張手法を提案する。 機能間相関を利用することで、パラメータ化されたミックスアップジェネレータは、複数のインスタンスにまたがる機能の組み合わせにおいて、さらなる汎用性を導入する。
  論文  参考訳（メタデータ） (2025-02-22T03:45:18Z)
• KL-geodesics flow matching with a novel sampling scheme [4.347494885647007]
  非自己回帰型言語モデルは全てのトークンを同時に生成し、従来の自己回帰型モデルよりも潜在的に高速である。 テキスト生成のための条件付きフローマッチング手法について検討する。
  論文  参考訳（メタデータ） (2024-11-25T17:15:41Z)
• Learning Divergence Fields for Shift-Robust Graph Representations [73.11818515795761]
  本研究では,相互依存データに対する問題に対して,学習可能な分散場を持つ幾何学的拡散モデルを提案する。 因果推論によって新たな学習目標が導出され、ドメイン間で無神経な相互依存の一般化可能なパターンを学習するためのモデルが導出される。
  論文  参考訳（メタデータ） (2024-06-07T14:29:21Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Out-of-Distribution Generalization in Kernel Regression [21.958028127426196]
  トレーニングとテストの分布が異なる場合のカーネル回帰の一般化について検討する。 与えられたカーネルの分布間のミスマッチを定量化する重なり行列を同定する。 本研究では,データ予算に対するトレーニングとテストの配分を最適化する手法を開発し,そのシフトの下で最良のケースと最悪のケースの一般化を求める。
  論文  参考訳（メタデータ） (2021-06-04T04:54:25Z)
• Extrapolatable Relational Reasoning With Comparators in Low-Dimensional Manifolds [7.769102711230249]
  本稿では,現在のニューラルネットワークアーキテクチャと容易に融合可能な,神経科学にインスパイアされた誘導バイアスモジュールを提案する。 この誘導バイアスを持つニューラルネットは、様々な関係推論タスクにおいて、O.o.d一般化性能を著しく向上させることを示す。
  論文  参考訳（メタデータ） (2020-06-15T19:09:13Z)
• Hierarchical regularization networks for sparsification based learning on noisy datasets [0.0]
  階層は、連続的により微細なスケールで特定される近似空間から従う。 各スケールでのモデル一般化を促進するため,複数次元にわたる新規な射影型ペナルティ演算子も導入する。 その結果、合成データセットと実データセットの両方において、データ削減およびモデリング戦略としてのアプローチの性能が示された。
  論文  参考訳（メタデータ） (2020-06-09T18:32:24Z)
• Synthetic Datasets for Neural Program Synthesis [66.20924952964117]
  本稿では,プログラムと仕様の両方で合成データ分布のバイアスを制御し,評価するための新しい手法を提案する。 そこで我々は,Karel DSLと小さなCalculator DSLを用いて,これらの分布上でのディープネットワークのトレーニングにより,分散一般化性能が向上することが実証された。
  論文  参考訳（メタデータ） (2019-12-27T21:28:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。