論文の概要: AdvFusion: Multilingual Adapter-based Knowledge Transfer for Code Summarization

• arxiv url: http://arxiv.org/abs/2307.07854v2
• Date: Fri, 2 Feb 2024 10:47:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-05 20:05:00.568049
• Title: AdvFusion: Multilingual Adapter-based Knowledge Transfer for Code Summarization
• Title（参考訳）: AdvFusion:コードの要約のための多言語適応型知識伝達
• Authors: Iman Saberi, Fatemeh Fard and Fuxiang Chen
• Abstract要約: 本稿では,言語モデルの多言語微調整のためのPEFT手法を提案する。 我々は,Adapters,AdapterFusion,および提案したAdvFusionが,完全な微調整モデルよりも高い結果が得られることを示す。 特に、トレーニング可能なパラメータの数は123倍少なくなり、トレーニング時間が30%削減される。
• 参考スコア（独自算出の注目度）: 0.3963827913892984
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter Efficient Fine-Tuning (PEFT) is an alternate choice to full fine-tuning a language model. Though PEFT methods are used in natural language domain widely, there are limited studies on using PEFT for language models that are pre-trained on code and comment datasets (i.e., code-LMs). Previous research has also shown that code summarization, a task that intends to generate natural description of the given code snippet automatically and is known to benefit the program comprehension, benefits from multilingual fine-tuning approach. In multilingual fine-tuning, the code-LM is fine-tuned on a dataset consisting of different programming languages. AdapterFusion is a specific PEFT approach that aims to extract and compose the latent knowledge from multiple (language) adapters for a downstream task. However, our experiments reveal that the AdapterFusion still learns from the same language, not taking advantage of other programming languages. Therefore, we change the architecture and propose AdvFusion, a PEFT approach that enforces the model to first learn from other programming languages, and then pay attention to the language of the target task. Therefore, the AdvFusion emphasizes the knowledge transfer among different programming languages, as stated in the multilingual fine-tuning. Our results on the CodeSearchNet dataset using two code-LMs, show that Adapters, AdapterFusion, and our proposed AdvFusion can achieve results on-par with or higher than the full fine-tuning models for code summarization and method name prediction. Notably, the number of trainable parameters are 123x less and the training time is reduced by ~30%. AdvFusion exhibits a notable enhancement compared to AdapterFusion, showcasing a 0.9 to 1.7-point increase in BLEU-4 scores specifically for Ruby, JavaScript, and Go.
• Abstract（参考訳）: パラメータ効率的な微調整(PEFT)は、言語モデルを完全に微調整する代替選択肢である。 PEFT法は自然言語領域で広く使われているが、コードやコメントデータセット(つまりコード-LM)で事前訓練された言語モデルにPEFTを用いる研究は限られている。 以前の研究では、与えられたコードスニペットの自然な記述を自動的に生成しようとするタスクであるコード要約が、プログラムの理解に恩恵をもたらすことが知られている。 多言語微調整では、コード-LMは異なるプログラミング言語からなるデータセット上で微調整される。 AdapterFusionは、下流タスクのために複数の(言語)アダプタから潜伏した知識を抽出し、構成することを目的とした、特定のPEFTアプローチである。 しかし,本実験により, adapterfusion は他のプログラミング言語を利用せず,同じ言語から学習できることが判明した。 そこで我々はアーキテクチャを変更し,PEFTアプローチであるAdvFusionを提案し,まず他のプログラミング言語から学習するようにモデルを強制し,対象とするタスクの言語に注意を払う。 したがって、AdvFusionは多言語微調整で述べられているように、異なるプログラミング言語間の知識伝達を強調している。 2つのコード-LMを用いたCodeSearchNetデータセットの結果,Adapters,AdapterFusion,および提案したAdvFusionは,コード要約およびメソッド名予測のための完全な微調整モデルと同等以上の結果が得られることを示した。 特に、トレーニング可能なパラメータの数は123倍減少し、トレーニング時間が約30%短縮される。 AdvFusionはAdapterFusionと比較して顕著に拡張されており、特にRuby、JavaScript、Go向けのBLEU-4スコアの0.9から1.7ポイントの増加を示している。

関連論文リスト

• Unraveling the Potential of Large Language Models in Code Translation: How Far Are We? [4.616570111453259]
  大規模言語モデル(LLM)は様々なタスクにおいて最先端のパフォーマンスを示すが、コード翻訳には苦労する。 コード翻訳タスクにおけるLLMの能力と能力を利用するための大規模な実証的研究を行う。 提案手法は,(1)ソースと対象言語間の中間言語を選択する中間翻訳と,(2)自己生成並列データ上でLPMを微調整する自己学習である。
  論文  参考訳（メタデータ） (2024-10-13T12:20:12Z)
• IRCoder: Intermediate Representations Make Language Models Robust Multilingual Code Generators [49.903001442804594]
  本研究では、コンパイラ中間表現(IR)を活用して、Code-LMの多言語機能を改善する可能性について検討する。 まず,約400万のソースコードファイルからなる並列データセットであるSLTransをコンパイルする。 次に、SLTransにおける因果言語モデリングトレーニングを継続して実施し、Code-LMはIR言語を学習せざるを得なかった。 IRCoderと呼ばれる結果のモデルは、さまざまなコード生成タスクやメトリクスに対して、サイズと一貫性のあるゲインを表示します。
  論文  参考訳（メタデータ） (2024-03-06T17:52:08Z)
• UltraLink: An Open-Source Knowledge-Enhanced Multilingual Supervised Fine-tuning Dataset [69.33424532827608]
  オープンソースの大規模言語モデル(LLM)は、様々な分野において大きな強みを持っている。 本研究では,オープンソースの多言語教師付き微調整データセットを構築する。 結果として得られたUltraLinkデータセットは、5つの言語にわたる約100万のサンプルで構成されている。
  論文  参考訳（メタデータ） (2024-02-07T05:05:53Z)
• Translation and Fusion Improves Zero-shot Cross-lingual Information Extraction [18.926993352330797]
  本稿では,低リソース言語データの英語翻訳をモデルに微調整したフレームワークであるTransFusionを提案する。 GoLLIE-TFは、IEタスクのための言語間命令チューニング LLM であり、ハイソース言語と低リソース言語のパフォーマンスギャップを埋めるように設計されている。
  論文  参考訳（メタデータ） (2023-05-23T01:23:22Z)
• MetaTPTrans: A Meta Learning Approach for Multilingual Code Representation Learning [5.434698132994918]
  多言語コード表現学習のためのメタ学習手法であるMetaTPTransを提案する。 本稿では,MetaTPTransが最先端アプローチのF1スコアを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2022-06-13T20:36:42Z)
• Continual Learning in Multilingual NMT via Language-Specific Embeddings [92.91823064720232]
  共有語彙を小さな言語固有の語彙に置き換え、新しい言語の並列データに新しい埋め込みを微調整する。 元のモデルのパラメータは変更されていないため、初期言語の性能は劣化しない。
  論文  参考訳（メタデータ） (2021-10-20T10:38:57Z)
• Multilingual Domain Adaptation for NMT: Decoupling Language and Domain Information with Adapters [66.7986513246294]
  機械翻訳の文脈における言語とドメインアダプタの構成性について検討する。 部分的なリソースのシナリオでは、ドメイン固有のアダプタと言語固有のアダプタの組み合わせは、しばしば欠落した言語を破滅的に忘れてしまう。
  論文  参考訳（メタデータ） (2021-10-18T18:55:23Z)
• Composable Sparse Fine-Tuning for Cross-Lingual Transfer [56.86192078426372]
  事前学習されたモデルのパラメータを微調整することが、伝達学習の主流のアプローチとなっている。 本稿では,これら2つの望ましい特性を持つファインチューニング手法を提案する。 これは、ゼロショットのクロスランガル転送において、大きなマージンでアダプタを上回ります。
  論文  参考訳（メタデータ） (2021-10-14T17:27:29Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。