論文の概要: ADELT: Transpilation Between Deep Learning Frameworks
- arxiv url: http://arxiv.org/abs/2303.03593v1
- Date: Tue, 7 Mar 2023 01:57:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-08 16:44:10.303008
- Title: ADELT: Transpilation Between Deep Learning Frameworks
- Title(参考訳): ADELT: ディープラーニングフレームワーク間のトランスパイレーション
- Authors: Linyuan Gong, Jiayi Wang, Alvin Cheung
- Abstract要約: 本稿では,ディープラーニングフレームワーク間のソース・ソース・トランスパイラに対して,ADELT(Adversarial Deep Learning Transpiler)を提案する。
コードのためのBERTによって抽出されたコンテキスト埋め込みに基づいて、ドメイン・アドバイザリ・セットアップに整列したAPI埋め込みを訓練し、キーワード翻訳用の辞書を生成する。
本研究では,PyTorch-Keras と PyTorch-MXNet を含む複数のトランスパイラに対して,それぞれ15.9pts と12.0pts の精度で,最先端トランスパイラの性能を向上する。
- 参考スコア(独自算出の注目度): 21.516657643120375
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose Adversarial DEep Learning Transpiler (ADELT) for source-to-source
transpilation between deep learning frameworks. Unlike prior approaches, we
decouple the transpilation of code skeletons and the mapping of API keywords
(an API function name or a parameter name). ADELT transpile code skeletons
using few-shot prompting on big language models. Based on contextual embeddings
extracted by a BERT for code, we train aligned API embeddings in a
domain-adversarial setup, upon which we generate a dictionary for keyword
translation. The model is trained on our unlabeled DL corpus from web crawl
data, without using any hand-crafted rules and parallel data. Our method
outperforms state-of-the-art transpilers on multiple transpilation pairs
including PyTorch-Keras and PyTorch-MXNet by 15.9pts and 12.0pts in exact match
scores respectively.
- Abstract(参考訳): 本稿では,ディープラーニングフレームワーク間のソース間トランスパイルのために,adlt(adversarial deep learning transpiler)を提案する。
従来のアプローチとは異なり、コードスケルトンとAPIキーワード(API関数名またはパラメータ名)のマッピングを分離します。
ADELTトランスパイルコードスケルトンは、大きな言語モデルでプロンプトを少数使用している。
コードのためのBERTによって抽出されたコンテキスト埋め込みに基づいて、ドメイン・アドバイザリ・セットアップに整列したAPI埋め込みを訓練し、キーワード翻訳用の辞書を生成する。
このモデルは、手作りのルールや並列データを用いることなく、WebクローデータからラベルなしのDLコーパスでトレーニングされます。
PyTorch-Keras や PyTorch-MXNet など複数のトランスパイラに対して,それぞれ15.9pts と12.0pts の精度で,最先端トランスパイラの性能を向上する。
関連論文リスト
- Data Augmentation for Code Translation with Comparable Corpora and
Multiple References [23.764843421101176]
我々は、自然言語ドキュメントから生成されたプログラムを含む、比較可能なコーパスの複数のタイプを構築し、分析する。
単一の参照変換に対する過度な適合を低減するため、利用可能な並列データに対する追加の翻訳参照を自動生成する。
実験の結果,Java,Python,C++間の変換において,平均7.5%の計算精度でコードT5が大幅に改善された。
論文 参考訳(メタデータ) (2023-11-01T06:01:22Z) - AdvFusion: Multilingual Adapter-based Knowledge Transfer for Code
Summarization [0.3963827913892984]
本稿では,言語モデルの多言語微調整のためのPEFT手法を提案する。
我々は,Adapters,AdapterFusion,および提案したAdvFusionが,完全な微調整モデルよりも高い結果が得られることを示す。
特に、トレーニング可能なパラメータの数は123倍少なくなり、トレーニング時間が30%削減される。
論文 参考訳(メタデータ) (2023-07-15T17:17:16Z) - Binding Language Models in Symbolic Languages [146.3027328556881]
Binderはトレーニング不要のニューラルシンボリックフレームワークで、タスク入力をプログラムにマッピングする。
解析の段階では、Codexは元のプログラミング言語では答えられないタスク入力の一部を特定することができる。
実行段階では、CodexはAPI呼び出しで適切なプロンプトを与えられた万能機能を実行することができる。
論文 参考訳(メタデータ) (2022-10-06T12:55:17Z) - On the Effectiveness of Pretrained Models for API Learning [8.788509467038743]
開発者は、Excelファイルのパース、行ごとのテキストファイルの読み書きなど、特定の機能を実装するためにAPIを使うことが多い。
開発者は、より高速でクリーンな方法でアプリケーションを構築するために、自然言語クエリに基づいた自動API使用シーケンス生成の恩恵を受けることができる。
既存のアプローチでは、クエリが与えられたAPIシーケンスの検索や、RNNベースのエンコーダデコーダを使用してAPIシーケンスを生成するために、情報検索モデルを使用している。
論文 参考訳(メタデータ) (2022-04-05T20:33:24Z) - A Simple Multi-Modality Transfer Learning Baseline for Sign Language
Translation [54.29679610921429]
既存の手話データセットには、約10K-20Kの手話ビデオ、グロスアノテーション、テキストが含まれています。
したがって、データは効果的な手話翻訳モデルの訓練のボトルネックとなる。
この単純なベースラインは、2つの手話翻訳ベンチマークで過去の最先端の結果を上回っている。
論文 参考訳(メタデータ) (2022-03-08T18:59:56Z) - Code Search based on Context-aware Code Translation [9.346066889885684]
既存のテクニックは、ディープラーニングモデルを利用して、コードスニペットとクエリの埋め込み表現を構築する。
本稿では,コードスニペットを自然言語記述に変換する,文脈認識型コード翻訳手法を提案する。
我々は,1000クエリのCodeSearchNetコーパス上で,TranCSと呼ばれる手法の有効性を評価する。
論文 参考訳(メタデータ) (2022-02-16T12:45:47Z) - More Than Words: Collocation Tokenization for Latent Dirichlet
Allocation Models [71.42030830910227]
モデルが異なる環境でクラスタリングの品質を測定するための新しい指標を提案する。
マージトークンでトレーニングされたトピックは、マージされていないモデルよりも、より明確で、一貫性があり、トピックを区別する効果が高いトピックキーをもたらすことを示す。
論文 参考訳(メタデータ) (2021-08-24T14:08:19Z) - Consecutive Decoding for Speech-to-text Translation [51.155661276936044]
COnSecutive Transcription and Translation (COSTT)は、音声からテキストへの翻訳に不可欠な手法である。
鍵となるアイデアは、ソースの書き起こしとターゲットの翻訳テキストを1つのデコーダで生成することである。
本手法は3つの主流データセットで検証する。
論文 参考訳(メタデータ) (2020-09-21T10:10:45Z) - When Dictionary Learning Meets Deep Learning: Deep Dictionary Learning
and Coding Network for Image Recognition with Limited Data [74.75557280245643]
本稿では,限られたデータを用いた画像認識タスクのための新しいDeep Dictionary Learning and Coding Network(DDLCN)を提案する。
DDLCNをいくつかの主要な辞書学習手法と深層学習モデルと比較した。
5つの一般的なデータセットに対する実験結果から,DDLCNはトレーニングデータに制限がある場合の最先端手法と比較して,競合的な結果が得られることが示された。
論文 参考訳(メタデータ) (2020-05-21T23:12:10Z) - Byte Pair Encoding is Suboptimal for Language Model Pretraining [49.30780227162387]
一グラムLMトークン化とバイトペア符号化(BPE)の違いを分析する。
その結果,一グラムのLMトークン化手法は,下流タスクと2つの言語でBPEと一致し,BPEより優れることがわかった。
我々は、将来の事前訓練されたLMの開発者が、より一般的なBPEよりもユニグラムのLMメソッドを採用することを期待する。
論文 参考訳(メタデータ) (2020-04-07T21:21:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。