論文の概要: Learning Program Behavioral Models from Synthesized Input-Output Pairs

• arxiv url: http://arxiv.org/abs/2407.08597v1
• Date: Thu, 11 Jul 2024 15:25:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-12 16:50:17.854474
• Title: Learning Program Behavioral Models from Synthesized Input-Output Pairs
• Title（参考訳）: 合成入力出力ペアによるプログラム行動モデル学習
• Authors: Tural Mammadov, Dietrich Klakow, Alexander Koller, Andreas Zeller,
• Abstract要約: 我々は、_neural machine translation_を用いて入力/出力動作から_modelを学習するフレームワークであるModelizerを紹介した。 Modelizerは_grammars_を使って入力を合成し、結果の出力を解析し、トークンストリーム間のシーケンスとシーケンスの関連を学習する。 入力と出力の文法以外は、Modelizerはプログラムを実行する能力だけを必要とする。
• 参考スコア（独自算出の注目度）: 70.9524884086882
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Modelizer - a novel framework that, given a black-box program, learns a _model from its input/output behavior_ using _neural machine translation_. The resulting model _mocks_ the original program: Given an input, the model predicts the output that would have been produced by the program. However, the model is also _reversible_ - that is, the model can predict the input that would have produced a given output. Finally, the model is _differentiable_ and can be efficiently restricted to predict only a certain aspect of the program behavior. Modelizer uses _grammars_ to synthesize inputs and to parse the resulting outputs, allowing it to learn sequence-to-sequence associations between token streams. Other than input and output grammars, Modelizer only requires the ability to execute the program. The resulting models are _small_, requiring fewer than 6.3 million parameters for languages such as Markdown or HTML; and they are _accurate_, achieving up to 95.4% accuracy and a BLEU score of 0.98 with standard error 0.04 in mocking real-world applications. We foresee several _applications_ of these models, especially as the output of the program can be any aspect of program behavior. Besides mocking and predicting program behavior, the model can also synthesize inputs that are likely to produce a particular behavior, such as failures or coverage.
• Abstract（参考訳）: ブラックボックスプログラムが与えられたら、_neural machine translation_を使って入出力動作_から_modelを学習する新しいフレームワークであるModelizerを紹介します。 結果のモデル_mocks_ 元のプログラム: 入力が与えられたら、そのプログラムが生成したであろう出力を予測する。 しかし、モデルもまた_reversible_である。つまり、モデルは与えられた出力を生成したであろう入力を予測することができる。 最後に、モデルは_differentiable_で、プログラムの振る舞いの特定の側面のみを予測するために効率的に制限することができる。 Modelizerは_grammars_を使って入力を合成し、結果の出力を解析し、トークンストリーム間のシーケンスとシーケンスの関連を学習する。 入力と出力の文法以外は、Modelizerはプログラムを実行する能力だけを必要とする。 結果として得られたモデルは_small_で、MarkdownやHTMLのような言語では630万のパラメータを必要とせず、_accurate_で95.4%の精度で、BLEUスコアは0.98で、現実世界のアプリケーションでは標準エラー0.04である。 我々はこれらのモデルのいくつかの_applications_を予測し、特にプログラムの出力がプログラムの振舞いのあらゆる側面であることを示す。 プログラムの振る舞いのモック化や予測に加えて、モデルでは、障害やカバレッジといった特定の振る舞いを生成する可能性のある入力を合成することもできる。

関連論文リスト

• Knockout: A simple way to handle missing inputs [8.05324050767023]
  リッチなインプットを利用するモデルは、推論時にいくつかのインプットが欠落している可能性があるため、広くデプロイすることは困難である。 この問題に対する現在の一般的な解決策には、余剰化、計算、複数のモデルのトレーニングがある。 完全入力と限界分布を用いて条件分布を効率よく学習する方法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T19:47:34Z)
• Language models scale reliably with over-training and on downstream tasks [121.69867718185125]
  スケーリング法則は、高価なトレーニング実行を引き出すための有用なガイドである。 しかし、現在の研究と言語モデルがどのように訓練されているかには差がある。 対照的に、スケーリング法則は主に推論における損失を予測するが、モデルは通常下流のタスクのパフォーマンスで比較される。
  論文  参考訳（メタデータ） (2024-03-13T13:54:00Z)
• Training Trajectories of Language Models Across Scales [99.38721327771208]
  言語モデルのスケールアップは、前例のないパフォーマンス向上につながった。 異なるサイズの言語モデルは事前学習中にどのように学習するか? より大きな言語モデルはなぜ望ましい振る舞いを示すのか?
  論文  参考訳（メタデータ） (2022-12-19T19:16:29Z)
• Multi-Model Probabilistic Programming [0.0]
  本稿では,各プログラムが関係する確率モデルのネットワークを表現できる確率計画の拡張について述べる。 本稿では,これらの多モデル確率型プログラムの形式的意味論,ネットワーク・オブ・モデル演算のための効率的なアルゴリズムの集合,および一般的な確率型言語であるStan上に構築されたサンプル実装について述べる。 このネットワーク・オブ・モデル表現は、モデル空間における検索と自動化、モデル開発の追跡とコミュニケーション、pハックのような問題を緩和する明示的なモデラー自由度を含む、多くの扉を開く。
  論文  参考訳（メタデータ） (2022-08-12T15:38:15Z)
• Fast Model Editing at Scale [77.69220974621425]
  MEND(Gradient Decomposition)を用いたモデルエディタネットワークを提案する。 MENDは、所望の入力出力ペアを使って、訓練済みのモデルに高速で局所的な編集を行う、小さな補助的な編集ネットワークの集合である。 MENDは100億以上のパラメータモデルであっても、1日以内で1つのGPUでトレーニングすることができる。
  論文  参考訳（メタデータ） (2021-10-21T17:41:56Z)
• Program Synthesis with Large Language Models [40.41120807053989]
  我々はPythonにおけるプログラム合成のための大規模言語モデルを評価する。 合成性能はモデルサイズと対数的にスケールすることがわかった。 最高のモデルでさえ、特定の入力を与えられたプログラムの出力を予測できないことが分かりました。
  論文  参考訳（メタデータ） (2021-08-16T03:57:30Z)
• A Causal Lens for Peeking into Black Box Predictive Models: Predictive Model Interpretation via Causal Attribution [3.3758186776249928]
  予測モデルがブラックボックスであるような設定でこの問題に対処することを目指している。 我々は、ブラックボックス予測モデルをモデル出力に対する各モデル入力の因果効果を推定する問題と比較する。 モデル入力に対するモデル出力に対する責任の因果関係が、予測モデルを解釈し、その予測を説明するためにどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2020-08-01T23:20:57Z)
• Investigation of Sentiment Controllable Chatbot [50.34061353512263]
  本稿では,反応の感情をスケールまたは調整する4つのモデルについて検討する。 モデルはペルソナベースのモデル、強化学習、プラグアンドプレイモデル、CycleGANである。 入力に対して応答が妥当かどうかを推定するために,機械評価メトリクスを開発する。
  論文  参考訳（メタデータ） (2020-07-11T16:04:30Z)
• Imputer: Sequence Modelling via Imputation and Dynamic Programming [101.5705527605346]
  Imputerは反復生成モデルであり、入力トークンや出力トークンの数に依存しない一定の数の生成ステップしか必要としない。 本稿では,ログ限界確率の低い動的プログラミング学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-20T18:21:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。