Fugu-MT 論文翻訳(概要): Towards Neural Functional Program Evaluation

論文の概要: Towards Neural Functional Program Evaluation

arxiv url: http://arxiv.org/abs/2112.04630v1
Date: Thu, 9 Dec 2021 00:20:29 GMT
ステータス: 処理完了
システム内更新日: 2021-12-10 14:52:26.063926
Title: Towards Neural Functional Program Evaluation
Title（参考訳）: 神経機能プログラム評価に向けて
Authors: Torsten Scholak and Jonathan Pilault and Joey Velez-Ginorio
Abstract要約: 本稿では,意味論的に等価なプログラムに対して,構文糖を制御できる新しいプログラム生成機構を提案する。実験によると、神経機能プログラムの評価は驚くほど良く、90%の正確なプログラムマッチスコアを達成している。
参考スコア（独自算出の注目度）: 0.5586191108738562
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: This paper explores the capabilities of current transformer-based language models for program evaluation of simple functional programming languages. We introduce a new program generation mechanism that allows control over syntactic sugar for semantically equivalent programs. T5 experiments reveal that neural functional program evaluation performs surprisingly well, achieving high 90% exact program match scores for most in-distribution and out-of-distribution tests. Using pretrained T5 weights has significant advantages over random initialization. We present and evaluate on three datasets to study generalization abilities that are specific to functional programs based on: type, function composition, and reduction steps. Code and data are publicly available at https://github.com/ElementAI/neural-interpreters.
Abstract（参考訳）: 本稿では,関数型プログラミング言語のプログラム評価における現在のトランスフォーマーベース言語モデルの有用性について検討する。意味的に等価なプログラムに対して構文シュガーを制御できる新しいプログラム生成機構を導入する。 t5実験では、神経機能プログラムの評価が驚くほど良好であることが判明し、分布内および分布外テストで90%の正確なプログラムマッチングスコアを達成した。事前訓練されたT5重みの使用は、ランダム初期化よりも大きな利点がある。本稿では,関数型プログラムに特有の一般化能力について,型,関数構成,縮小ステップという3つのデータセットを提示,評価する。コードとデータはhttps://github.com/elementai/neural-interpretersで公開されている。

関連論文リスト

ReasonAgain: Using Extractable Symbolic Programs to Evaluate Mathematical Reasoning [54.70811660561151]
既存の数学データセットは、最終回答または静的例から派生した中間推論ステップを用いて、大規模言語モデル(LLM)の推論能力を評価する。モデルがプログラムへの様々な入力に対して常に正しい最終回答を生成できる場合、シンボルプログラムを自動評価の手段として利用したいと考えている。提案手法は, 従来の静的な例と比較して, 精度の低下を観測し, 現状のLLMにおける数学推論の脆弱さを示唆する。
論文参考訳（メタデータ） (2024-10-24T18:02:37Z)
Data Augmentation by Fuzzing for Neural Test Generation [7.310817657037053]
本稿では,大言語モデルにファジングの利点を導入する新しいデータ拡張手法である *FuzzAug* を紹介する。評価の結果,FuzzAugで強化されたデータセットを用いてトレーニングしたモデルでは,アサーション精度が5%向上し,コンパイル速度が10%以上向上し,ブランチカバレッジが5%向上した単体テスト関数が生成されることがわかった。
論文参考訳（メタデータ） (2024-06-12T22:09:27Z)
FIND: A Function Description Benchmark for Evaluating Interpretability Methods [86.80718559904854]
本稿では,自動解釈可能性評価のためのベンチマークスイートであるFIND(Function Interpretation and Description)を紹介する。 FINDには、トレーニングされたニューラルネットワークのコンポーネントに似た機能と、私たちが生成しようとしている種類の記述が含まれています。本研究では、事前訓練された言語モデルを用いて、自然言語とコードにおける関数の振る舞いの記述を生成する手法を評価する。
論文参考訳（メタデータ） (2023-09-07T17:47:26Z)
Understanding Programs by Exploiting (Fuzzing) Test Cases [26.8259045248779]
プログラムのより深い意味理解を実現するために,入力と出力/振る舞いの関係を学習に取り入れることを提案する。コードの大部分の実行をトリガーするのに十分な入力を得るために,ファズテストを採用し,ファズチューニングを提案する。提案手法の有効性は,コードクローン検出とコード分類を含む2つのプログラム理解タスクにおいて検証され,最先端技術よりも大きなマージンで優れている。
論文参考訳（メタデータ） (2023-05-23T01:51:46Z)
CodeGen2: Lessons for Training LLMs on Programming and Natural Languages [116.74407069443895]
我々はエンコーダとデコーダベースのモデルを単一のプレフィックスLMに統一する。学習方法は,「フリーランチ」仮説の主張を考察する。データ配信においては,混合分布と多言語学習がモデル性能に及ぼす影響について検討した。
論文参考訳（メタデータ） (2023-05-03T17:55:25Z)
Learning from Self-Sampled Correct and Partially-Correct Programs [96.66452896657991]
そこで本研究では,モデルが学習中にサンプリングを行い,自己サンプリングされた完全正当プログラムと部分正当プログラムの両方から学習することを提案する。自己サンプリング型プログラムと部分修正型プログラムを併用することで,学習とサンプリングプロセスのガイドに役立てることができることを示す。提案手法は,MLEを用いた単一の参照プログラムからの学習と比較して,パス@kの性能を3.1%から12.3%向上させる。
論文参考訳（メタデータ） (2022-05-28T03:31:07Z)
Foundation Posteriors for Approximate Probabilistic Inference [11.64841553345271]
我々は確率的プログラムにおいて、推論をマスク付き言語モデリングとして定式化する。ニューラルネットワークをトレーニングしてランダムな値を解き放ち、近似した後続分布を定義する。提案手法の有効性をSTANプログラムのベンチマークで示す。
論文参考訳（メタデータ） (2022-05-19T17:42:37Z)
Neural Termination Analysis [9.973499664140158]
ニューラルネットワークをトレーニングしてランキング関数として機能します。プログラムの状態は、プログラムの実行時に下からバウンドされ、減少する値にマップします。有効なランキング関数の存在は、プログラムが終了することを証明する。
論文参考訳（メタデータ） (2021-02-07T15:45:30Z)
Representing Partial Programs with Blended Abstract Semantics [62.20775388513027]
プログラム合成エンジンにおける部分的なプログラム表現手法について紹介する。モジュラーニューラルネットワークとして実装された近似実行モデルを学ぶ。これらのハイブリッドニューロシンボリック表現は、実行誘導型シンセサイザーがより強力な言語構成を使うことができることを示す。
論文参考訳（メタデータ） (2020-12-23T20:40:18Z)
On the Generalizability of Neural Program Models with respect to Semantic-Preserving Program Transformations [25.96895574298886]
意味保存変換に対するニューラルプログラムモデルの一般化性を評価する。コードには3つの異なるサイズのJavaデータセットと3つの最先端ニューラルネットワークモデルを使用します。本結果は,抽象構文木のみに基づくニューラルプログラムモデルよりも,プログラム内のデータおよび制御依存性に基づくニューラルプログラムモデルの方が一般化可能であることを示唆している。
論文参考訳（メタデータ） (2020-07-31T20:39:20Z)
Strong Generalization and Efficiency in Neural Programs [69.18742158883869]
本稿では,ニューラルプログラム誘導の枠組みを強く一般化する効率的なアルゴリズムを学習する問題について検討する。ニューラルネットワークの入力/出力インターフェースを慎重に設計し、模倣することで、任意の入力サイズに対して正しい結果を生成するモデルを学ぶことができる。
論文参考訳（メタデータ） (2020-07-07T17:03:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。