論文の概要: SuperCoder: Program Learning Under Noisy Conditions From Superposition of States

• arxiv url: http://arxiv.org/abs/2012.03925v1
• Date: Mon, 7 Dec 2020 18:54:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-16 21:06:42.786339
• Title: SuperCoder: Program Learning Under Noisy Conditions From Superposition of States
• Title（参考訳）: スーパーコーダ:状態の重ね合わせから雑音下におけるプログラム学習
• Authors: Ali Davody, Mahmoud Safari, R\u{a}zvan V. Florian
• Abstract要約: ドメイン固有言語における新しいプログラム学習法を提案する。 私たちのメソッドの最初のコンポーネントは、DSL変数の確率的表現です。 第2の要素は注意に基づくリカレントニューラルネットワークである。
• 参考スコア（独自算出の注目度）: 1.1279808969568252
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a new method of program learning in a Domain Specific Language (DSL) which is based on gradient descent with no direct search. The first component of our method is a probabilistic representation of the DSL variables. At each timestep in the program sequence, different DSL functions are applied on the DSL variables with a certain probability, leading to different possible outcomes. Rather than handling all these outputs separately, whose number grows exponentially with each timestep, we collect them into a superposition of variables which captures the information in a single, but fuzzy, state. This state is to be contrasted at the final timestep with the ground-truth output, through a loss function. The second component of our method is an attention-based recurrent neural network, which provides an appropriate initialization point for the gradient descent that optimizes the probabilistic representation. The method we have developed surpasses the state-of-the-art for synthesising long programs and is able to learn programs under noise.
• Abstract（参考訳）: 直接探索を行わない勾配降下に基づくドメイン固有言語(DSL)における新しいプログラム学習法を提案する。 本手法の第一の構成要素は,DSL変数の確率的表現である。 プログラムシーケンスの各時間ステップにおいて、異なるDSL関数が特定の確率でDSL変数に適用され、異なる結果が得られます。 これらすべての出力を別々に扱うのではなく、各タイムステップで指数関数的に増加し、それらを変数の重ね合わせに集め、単一のファジィ状態で情報をキャプチャする。 この状態は、損失関数を介して、最後のタイミングで接地トラス出力と対比される。 本手法の2番目の構成要素は注意に基づく繰り返しニューラルネットワークであり,確率的表現を最適化する勾配降下の適切な初期化点を提供する。 提案手法は, 長いプログラムを合成する最先端技術を超え, 雑音下でプログラムを学習できる。

関連論文リスト

• Just One Byte (per gradient): A Note on Low-Bandwidth Decentralized Language Model Finetuning Using Shared Randomness [86.61582747039053]
  分散環境での言語モデルトレーニングは、交換の通信コストによって制限される。 分散微調整を低帯域幅で行うために,共有ランダムネスを用いた最近の作業を拡張した。
  論文  参考訳（メタデータ） (2023-06-16T17:59:51Z)
• Improved Tree Search for Automatic Program Synthesis [91.3755431537592]
  重要な要素は、有効なプログラムの空間における効率的な探索を可能にすることである。 ここでは2つの大きな異なるDSL上でのアート結果の状態を導くMCTSの変種を提案する。
  論文  参考訳（メタデータ） (2023-03-13T15:09:52Z)
• Explain My Surprise: Learning Efficient Long-Term Memory by Predicting Uncertain Outcomes [0.1092387707389144]
  我々は,シーケンス全体を通して勾配をバックプロパゲートすることなく,長期的依存関係を学習できる新しいトレーニング手法であるMemUPを提案する。 リカレントアーキテクチャのMemUP実装では、パフォーマンスはベースラインに匹敵するが、計算メモリは大幅に少なくなっている。
  論文  参考訳（メタデータ） (2022-07-27T17:12:47Z)
• Foundation Posteriors for Approximate Probabilistic Inference [11.64841553345271]
  我々は確率的プログラムにおいて、推論をマスク付き言語モデリングとして定式化する。 ニューラルネットワークをトレーニングしてランダムな値を解き放ち、近似した後続分布を定義する。 提案手法の有効性をSTANプログラムのベンチマークで示す。
  論文  参考訳（メタデータ） (2022-05-19T17:42:37Z)
• Transformers Can Do Bayesian Inference [56.99390658880008]
  我々はPFN(Presideed Data Fitted Networks)を提案する。 PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。 我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
  論文  参考訳（メタデータ） (2021-12-20T13:07:39Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• Searching for More Efficient Dynamic Programs [61.79535031840558]
  本稿では,プログラム変換の集合,変換プログラムの効率を評価するための単純な指標,およびこの指標を改善するための探索手順について述べる。 実際に、自動検索は初期プログラムの大幅な改善を見出すことができることを示す。
  論文  参考訳（メタデータ） (2021-09-14T20:52:55Z)
• Alleviate Exposure Bias in Sequence Prediction \\ with Recurrent Neural Networks [47.52214243454995]
  繰り返しニューラルネットワーク(RNN)を訓練する一般的な戦略は、各ステップで入力として地上の真実を取ることです。 本稿では,RNNの長期的依存関係をよりよく把握するための,完全微分可能なトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-22T06:15:22Z)
• Neural Termination Analysis [9.973499664140158]
  ニューラルネットワークをトレーニングしてランキング関数として機能します。 プログラムの状態は、プログラムの実行時に下からバウンドされ、減少する値にマップします。 有効なランキング関数の存在は、プログラムが終了することを証明する。
  論文  参考訳（メタデータ） (2021-02-07T15:45:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。