論文の概要: AdvFusion: Multilingual Adapter-based Knowledge Transfer for Code Summarization

• arxiv url: http://arxiv.org/abs/2307.07854v2
• Date: Fri, 2 Feb 2024 10:47:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-05 20:05:00.568049
• Title: AdvFusion: Multilingual Adapter-based Knowledge Transfer for Code Summarization
• Title（参考訳）: AdvFusion:コードの要約のための多言語適応型知識伝達
• Authors: Iman Saberi, Fatemeh Fard and Fuxiang Chen
• Abstract要約: 本稿では,言語モデルの多言語微調整のためのPEFT手法を提案する。 我々は,Adapters,AdapterFusion,および提案したAdvFusionが,完全な微調整モデルよりも高い結果が得られることを示す。 特に、トレーニング可能なパラメータの数は123倍少なくなり、トレーニング時間が30%削減される。
• 参考スコア（独自算出の注目度）: 0.3963827913892984
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter Efficient Fine-Tuning (PEFT) is an alternate choice to full fine-tuning a language model. Though PEFT methods are used in natural language domain widely, there are limited studies on using PEFT for language models that are pre-trained on code and comment datasets (i.e., code-LMs). Previous research has also shown that code summarization, a task that intends to generate natural description of the given code snippet automatically and is known to benefit the program comprehension, benefits from multilingual fine-tuning approach. In multilingual fine-tuning, the code-LM is fine-tuned on a dataset consisting of different programming languages. AdapterFusion is a specific PEFT approach that aims to extract and compose the latent knowledge from multiple (language) adapters for a downstream task. However, our experiments reveal that the AdapterFusion still learns from the same language, not taking advantage of other programming languages. Therefore, we change the architecture and propose AdvFusion, a PEFT approach that enforces the model to first learn from other programming languages, and then pay attention to the language of the target task. Therefore, the AdvFusion emphasizes the knowledge transfer among different programming languages, as stated in the multilingual fine-tuning. Our results on the CodeSearchNet dataset using two code-LMs, show that Adapters, AdapterFusion, and our proposed AdvFusion can achieve results on-par with or higher than the full fine-tuning models for code summarization and method name prediction. Notably, the number of trainable parameters are 123x less and the training time is reduced by ~30%. AdvFusion exhibits a notable enhancement compared to AdapterFusion, showcasing a 0.9 to 1.7-point increase in BLEU-4 scores specifically for Ruby, JavaScript, and Go.
• Abstract（参考訳）: パラメータ効率的な微調整(PEFT)は、言語モデルを完全に微調整する代替選択肢である。 PEFT法は自然言語領域で広く使われているが、コードやコメントデータセット(つまりコード-LM)で事前訓練された言語モデルにPEFTを用いる研究は限られている。 以前の研究では、与えられたコードスニペットの自然な記述を自動的に生成しようとするタスクであるコード要約が、プログラムの理解に恩恵をもたらすことが知られている。 多言語微調整では、コード-LMは異なるプログラミング言語からなるデータセット上で微調整される。 AdapterFusionは、下流タスクのために複数の(言語)アダプタから潜伏した知識を抽出し、構成することを目的とした、特定のPEFTアプローチである。 しかし,本実験により, adapterfusion は他のプログラミング言語を利用せず,同じ言語から学習できることが判明した。 そこで我々はアーキテクチャを変更し,PEFTアプローチであるAdvFusionを提案し,まず他のプログラミング言語から学習するようにモデルを強制し,対象とするタスクの言語に注意を払う。 したがって、AdvFusionは多言語微調整で述べられているように、異なるプログラミング言語間の知識伝達を強調している。 2つのコード-LMを用いたCodeSearchNetデータセットの結果,Adapters,AdapterFusion,および提案したAdvFusionは,コード要約およびメソッド名予測のための完全な微調整モデルと同等以上の結果が得られることを示した。 特に、トレーニング可能なパラメータの数は123倍減少し、トレーニング時間が約30%短縮される。 AdvFusionはAdapterFusionと比較して顕著に拡張されており、特にRuby、JavaScript、Go向けのBLEU-4スコアの0.9から1.7ポイントの増加を示している。

関連論文リスト

• Multi-Agent Collaboration for Multilingual Code Instruction Tuning [41.74155456003822]
  コードLLMのための多言語命令チューニングを強化するための,新しいマルチエージェント協調フレームワークを提案する。 生成メモリを備えた複数の言語固有のインテリジェントエージェントコンポーネントが協調して、ある言語から別の言語に知識を効率よく伝達する。 多言語プログラミングベンチマークの実験結果は、共通知識を共有する上でQwen2.5-xCoderの優れた性能を示している。
  論文  参考訳（メタデータ） (2025-02-11T11:46:38Z)
• I Can't Share Code, but I need Translation -- An Empirical Study on Code Translation through Federated LLM [3.9373541926236766]
  本研究は、参加者が効率の良いコード翻訳のためのFedLLMを共同開発できることを実証する。 この結果から,FedLLMはコード翻訳に協調的なアプローチを提供し,将来的な研究の方向性となる可能性が示唆された。
  論文  参考訳（メタデータ） (2025-01-10T05:43:36Z)
• Unraveling the Potential of Large Language Models in Code Translation: How Far Are We? [4.616570111453259]
  大規模言語モデル(LLM)は様々なタスクにおいて最先端のパフォーマンスを示すが、コード翻訳には苦労する。 コード翻訳タスクにおけるLLMの能力と能力を利用するための大規模な実証的研究を行う。 提案手法は,(1)ソースと対象言語間の中間言語を選択する中間翻訳と,(2)自己生成並列データ上でLPMを微調整する自己学習である。
  論文  参考訳（メタデータ） (2024-10-13T12:20:12Z)
• SpecTra: Enhancing the Code Translation Ability of Language Models by Generating Multi-Modal Specifications [17.60108067953814]
  大規模言語モデル(LLM)は、コード翻訳の自動化作業にますます利用されている。 本稿では,新しい自己整合性フィルタを用いて,まず高品質な仕様を生成するマルチステージアプローチであるSpecTraを提案する。
  論文  参考訳（メタデータ） (2024-05-28T20:48:30Z)
• IRCoder: Intermediate Representations Make Language Models Robust Multilingual Code Generators [49.903001442804594]
  本研究では、コンパイラ中間表現(IR)を活用して、Code-LMの多言語機能を改善する可能性について検討する。 まず,約400万のソースコードファイルからなる並列データセットであるSLTransをコンパイルする。 次に、SLTransにおける因果言語モデリングトレーニングを継続して実施し、Code-LMはIR言語を学習せざるを得なかった。 IRCoderと呼ばれる結果のモデルは、さまざまなコード生成タスクやメトリクスに対して、サイズと一貫性のあるゲインを表示します。
  論文  参考訳（メタデータ） (2024-03-06T17:52:08Z)
• UltraLink: An Open-Source Knowledge-Enhanced Multilingual Supervised Fine-tuning Dataset [69.33424532827608]
  オープンソースの大規模言語モデル(LLM)は、様々な分野において大きな強みを持っている。 本研究では,オープンソースの多言語教師付き微調整データセットを構築する。 結果として得られたUltraLinkデータセットは、5つの言語にわたる約100万のサンプルで構成されている。
  論文  参考訳（メタデータ） (2024-02-07T05:05:53Z)
• Language and Task Arithmetic with Parameter-Efficient Layers for Zero-Shot Summarization [126.96113831681338]
  本稿では,言語やタスク特化パラメータを構成することで,ゼロショットの言語間移動を改善することを提案する。 本手法は,言語とタスクPEFTモジュールを要素演算により構成し,ラベルなしデータと英語ラベル付きデータを活用する。
  論文  参考訳（メタデータ） (2023-11-15T20:04:58Z)
• CodeFuse-13B: A Pretrained Multi-lingual Code Large Language Model [58.127534002232096]
  本稿では,オープンソースの事前学習型LLMであるCodeFuse-13Bを紹介する。 英語と中国語の両方のプロンプトによるコード関連のタスク用に特別に設計されている。 CodeFuseは、高品質な事前トレーニングデータセットを利用することで、その効果を達成する。
  論文  参考訳（メタデータ） (2023-10-10T02:38:44Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)
• MAD-X: An Adapter-Based Framework for Multi-Task Cross-Lingual Transfer [136.09386219006123]
  我々は、任意のタスクや言語への高いポータビリティとパラメータ効率の移行を可能にするアダプタベースのフレームワークであるMAD-Xを提案する。 MAD-Xは、名前付きエンティティ認識と因果コモンセンス推論に基づいて、タイプボロジーに多様性のある言語群を横断する言語間移動において、芸術の状態を上回ります。
  論文  参考訳（メタデータ） (2020-04-30T18:54:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。