論文の概要: On The Cross-Modal Transfer from Natural Language to Code through Adapter Modules

• arxiv url: http://arxiv.org/abs/2204.08653v1
• Date: Tue, 19 Apr 2022 04:18:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-20 13:38:46.982220
• Title: On The Cross-Modal Transfer from Natural Language to Code through Adapter Modules
• Title（参考訳）: アダプタモジュールによる自然言語からコードへのクロスモーダル変換について
• Authors: Divyam Goel, Ramansh Grover, Fatemeh H. Fard
• Abstract要約: ソフトウェア工学におけるアダプタを用いた知識伝達について検討する。 C/C++、Python、Javaの3つのプログラミング言語が、アダプタに最適な設定に関する広範な実験とともに研究されている。 私たちの結果は、より小さなモデルを構築するための新しい方向を開くことができます。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained neural Language Models (PTLM), such as CodeBERT, are recently used in software engineering as models pre-trained on large source code corpora. Their knowledge is transferred to downstream tasks (e.g. code clone detection) via fine-tuning. In natural language processing (NLP), other alternatives for transferring the knowledge of PTLMs are explored through using adapters, compact, parameter efficient modules inserted in the layers of the PTLM. Although adapters are known to facilitate adapting to many downstream tasks compared to fine-tuning the model that require retraining all of the models' parameters -- which owes to the adapters' plug and play nature and being parameter efficient -- their usage in software engineering is not explored. Here, we explore the knowledge transfer using adapters and based on the Naturalness Hypothesis proposed by Hindle et. al \cite{hindle2016naturalness}. Thus, studying the bimodality of adapters for two tasks of cloze test and code clone detection, compared to their benchmarks from the CodeXGLUE platform. These adapters are trained using programming languages and are inserted in a PTLM that is pre-trained on English corpora (N-PTLM). Three programming languages, C/C++, Python, and Java, are studied along with extensive experiments on the best setup used for adapters. Improving the results of the N-PTLM confirms the success of the adapters in knowledge transfer to software engineering, which sometimes are in par with or exceed the results of a PTLM trained on source code; while being more efficient in terms of the number of parameters, memory usage, and inference time. Our results can open new directions to build smaller models for more software engineering tasks. We open source all the scripts and the trained adapters.
• Abstract（参考訳）: CodeBERTのような事前トレーニングされたニューラルネットワークモデル(PTLM)は、最近、大規模なソースコードコーパスで事前トレーニングされたモデルとして、ソフトウェアエンジニアリングで使用されている。 その知識は微調整によって下流タスク(コードクローン検出など)に転送される。 自然言語処理(NLP)では、PTLMの層に挿入されるアダプタ、コンパクトでパラメータ効率の良いモジュールを用いて、PTLMの知識を伝達する他の代替手段を探索する。 アダプタは、すべてのモデルのパラメータを再トレーニングする必要のあるモデルを微調整することに比べて、多くの下流タスクへの適応を容易にすることが知られているが、アダプタのプラグとプレイの性質とパラメータの効率性に起因している。 本稿では,アダプタを用いた知識伝達を考察し,ヒンドルらによって提唱された自然性仮説に基づく。 al \cite{hindle2016naturalness} の略。 したがって、clozeテストとコードクローン検出の2つのタスクに対するアダプタのバイモーダリティを調べることは、codexglueプラットフォームのベンチマークと比較できる。 これらのアダプタはプログラミング言語を用いて訓練され、英語コーパス(N-PTLM)で事前訓練されたPTLMに挿入される。 C/C++、Python、Javaの3つのプログラミング言語が、アダプタに最適な設定に関する広範な実験とともに研究されている。 N-PTLMの結果を改善することで、ソフトウェア工学への知識伝達におけるアダプタの成功が確認される。これは、ソースコードでトレーニングされたPTLMの結果と同程度、あるいは超過することもあるが、パラメータ数、メモリ使用量、推論時間の点でより効率的である。 私たちの結果は、より小さなモデルを構築するための新しい方向を開くことができます。 すべてのスクリプトとトレーニング済みのアダプタをオープンソースにしています。

関連論文リスト

• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Empirical Studies of Parameter Efficient Methods for Large Language Models of Code and Knowledge Transfer to R [1.9799527196428242]
  大きなLangauge Models(LLM)は、ソフトウェア工学(SE)コミュニティで注目を集めています。 本研究は,CodeT5 と CodeLlama 上で,PEFT法,LoRA と Compacter を実証研究する。 自然言語モデルからコードへの知識伝達や、学習した知識を目に見えない言語に適応させる能力について、完全に微調整されたモデルと比較して、それらの性能を評価する。
  論文  参考訳（メタデータ） (2024-03-16T03:12:45Z)
• Utilization of Pre-trained Language Model for Adapter-based Knowledge Transfer in Software Engineering [0.3963827913892984]
  本稿では,クローゼテスト,コードクローン検出,コード要約など,複数の下流タスクに対するアダプタを用いた知識伝達について検討する。 アダプタはコードコーパスでトレーニングされ、英語コーパスまたはコードコーパスで事前トレーニングされたPLMに挿入される。 アダプタを持たないPLMに対してNL-PLMを用いることで,NL-PLMからSEタスクに有用な知識を変換し,活用できることが示唆された。
  論文  参考訳（メタデータ） (2023-07-17T14:58:52Z)
• LeTI: Learning to Generate from Textual Interactions [60.425769582343506]
  本稿では,テキストインタラクション(LETI)から学習するLMの可能性を,バイナリラベルによる正当性をチェックするだけでなく,テキストフィードバックを通じて出力中のエラーをピンポイントし,説明する。 私たちの焦点はコード生成タスクであり、そこではモデルが自然言語命令に基づいてコードを生成する。 LETIは、目的のLMを用いて、自然言語命令、LM生成プログラム、テキストフィードバックの結合に基づいて、モデルを反復的に微調整する。
  論文  参考訳（メタデータ） (2023-05-17T15:53:31Z)
• LLM-Adapters: An Adapter Family for Parameter-Efficient Fine-Tuning of Large Language Models [75.25782573728677]
  本稿では,言語モデル(LLM)のPEFT(Adapter-based parameter- efficient fine-tuning)のためのフレームワークを提案する。 このフレームワークには、LLaMA、BLOOM、GPT-Jといった最先端のオープンアクセスLLMや、シリーズアダプタ、パラレルアダプタ、Promptベースの学習、Reparametrizationベースのメソッドなどの広く使われているアダプタが含まれている。 本研究では,2つの異なる推論タスク,算術的推論と常識推論の14種類のデータセットに対するアダプタの有効性を評価する。
  論文  参考訳（メタデータ） (2023-04-04T16:31:37Z)
• CHAPTER: Exploiting Convolutional Neural Network Adapters for Self-supervised Speech Models [62.60723685118747]
  自己教師付き学習(SSL)は、ラベルのないデータから表現を学習するための強力な技術である。 特徴抽出器にCNNアダプタを適用し,SSL音声モデルに特化して設計された効率的なチューニング手法を提案する。 特徴抽出器にCNNを追加することで、感情や話者のタスクへの適応が促進されることを実証的に見出した。
  論文  参考訳（メタデータ） (2022-12-01T08:50:12Z)
• Selective Token Generation for Few-shot Natural Language Generation [19.015739016376532]
  我々は、強化学習(RL)に基づく新しい追加学習アルゴリズムを開発する。 提案した選択トークン生成法は, PLM に基づく従来の付加的学習アルゴリズムよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2022-09-17T00:48:52Z)
• AdapterHub Playground: Simple and Flexible Few-Shot Learning with Adapters [34.86139827292556]
  事前訓練された言語モデルのオープンアクセスの普及は、最先端自然言語処理(NLP)研究の民主化につながった。 これにより、NLP以外の人たちでも、そのようなモデルを使用して、特定のユースケースに適応することが可能になります。 本研究では,一行のコードを書かずに事前学習したモデルを活用できるツールを提供することで,このギャップを克服することを目指している。
  論文  参考訳（メタデータ） (2021-08-18T11:56:01Z)
• Exploiting Adapters for Cross-lingual Low-resource Speech Recognition [52.40623653290499]
  言語間の言語適応は、複数のリッチリソース言語を活用して低リソースターゲット言語のためのモデルを構築するという問題を解決することを目的としている。 パラメータ効率のよい言語間音声適応のための複数のアダプタの性能を調べるためのアダプタを提案する。
  論文  参考訳（メタデータ） (2021-05-18T08:30:37Z)
• AdapterHub: A Framework for Adapting Transformers [148.6877231725939]
  AdapterHubは、さまざまなタスクや言語のためのトレーニング済みアダプタの動的"スティッチイン"を可能にするフレームワークである。 我々のフレームワークは、タスク固有のモデルの共有にスケーラブルで簡単にアクセスできる。
  論文  参考訳（メタデータ） (2020-07-15T15:56:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。