論文の概要: Analysis of AdvFusion: Adapter-based Multilingual Learning for Code Large Language Models

• arxiv url: http://arxiv.org/abs/2511.02869v1
• Date: Mon, 03 Nov 2025 23:45:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-06 18:19:32.182236
• Title: Analysis of AdvFusion: Adapter-based Multilingual Learning for Code Large Language Models
• Title（参考訳）: AdvFusionの分析:コード大言語モデルに対する適応型多言語学習
• Authors: Amirreza Esmaeili, Fahd Seddik, Yongyi Ji, Fatemeh Fard, Fuxiang Chen,
• Abstract要約: AdapterFusionは、複数のプログラミング言語の情報を活用することでタスクパフォーマンスを向上させることを目的としている。 本研究では,コード大言語モデル(コード-LLM)のAdvFusionについて検討した。 コード生成では、AdvFusionはAdapterFusionより優れているが、他のPEFTメソッド(LoRA、Computer、TaskAdapter)は優れている。 コミットメッセージ生成において、AdvFusionはAdvFusionよりもパフォーマンスが良く、コード生成とは対照的に、他のPEFTメソッドはパフォーマンスが良くないことがわかった。
• 参考スコア（独自算出の注目度）: 0.043496401697112684
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Programming languages can benefit from one another by utilizing a language model for software engineering tasks. Full fine-tuning and Parameter Efficient Fine-Tuning (PEFT) of Code Language Models (Code-LMs) has been explored for multilingual knowledge transfer. AdapterFusion is a PEFT architecture that aims to enhance task performance by leveraging information from multiple programming languages, but primarily focuses on the target programming language. In our previous work, we proposed AdvFusion, a novel PEFT-based approach that effectively learns from other programming languages before adapting to the target task. Though previous experiments showed that AdvFusion outperformed AdapterFusion and LoRA, it was applied on pre-trained Code-LMs and was limited to only two tasks, code summarization and method name prediction. In this study, we expanded our work and investigated AdvFusion on Code Large Language Models (Code-LLMs), considering three new tasks: code generation, code translation, and commit message generation. We observed that different Code-LLMs/tasks exhibit different characteristics. In code generation, AdvFusion outperformed AdapterFusion but not other PEFT methods (LoRA, Compacter, and TaskAdapter). In commit message generation, AdapterFusion performed better than AdvFusion, and contrary to code generation, we found that the other PEFT methods do not have better performance. In code translation, AdvFusion performed worse than AdapterFusion overall, with the performance gap marginally widening as the model size increases. However, consistent with code generation, other PEFT methods showed better performance.
• Abstract（参考訳）: プログラミング言語は、ソフトウェア工学のタスクに言語モデルを利用することで、お互いの恩恵を受けることができます。 Code Language Models (Code-LMs) の完全な微調整とパラメータ効率的な微調整 (PEFT) が多言語知識伝達のために研究されている。 AdapterFusionは、複数のプログラミング言語の情報を活用することでタスクパフォーマンスを向上させることを目的としたPEFTアーキテクチャである。 前回の研究では、ターゲットタスクに適応する前に、他のプログラミング言語から効果的に学習する新しいPEFTベースのアプローチであるAdvFusionを提案しました。 以前の実験ではAdvFusionはAdapterFusionとLoRAより優れていたが、事前訓練されたCode-LMに適用され、コード要約とメソッド名予測という2つのタスクに限られていた。 本研究では,コード生成,コード翻訳,コミットメッセージ生成という3つの新しいタスクを考慮した,コード大言語モデル(Code-LLM)のAdvFusionについて検討した。 異なるコード-LLM/タスクは異なる特性を示す。 コード生成では、AdvFusionはAdapterFusionより優れているが、他のPEFTメソッド(LoRA、Compacter、TaskAdapter)は優れている。 コミットメッセージ生成において、AdvFusionはAdvFusionよりもパフォーマンスが良く、コード生成とは対照的に、他のPEFTメソッドはパフォーマンスが良くないことがわかった。 コード翻訳では、AdvFusionはAdapterFusionよりもパフォーマンスが悪く、モデルのサイズが大きくなるにつれてパフォーマンスの差はわずかに拡大した。 しかし、コード生成と一致し、他のPEFT手法では性能が向上した。

関連論文リスト

• I Can't Share Code, but I need Translation -- An Empirical Study on Code Translation through Federated LLM [3.9373541926236766]
  本研究は、参加者が効率の良いコード翻訳のためのFedLLMを共同開発できることを実証する。 この結果から,FedLLMはコード翻訳に協調的なアプローチを提供し,将来的な研究の方向性となる可能性が示唆された。
  論文  参考訳（メタデータ） (2025-01-10T05:43:36Z)
• Cool-Fusion: Fuse Large Language Models without Training [73.17551121242602]
  Cool-Fusionは、トレーニングを必要としないソースLLMの知識を融合させる。 さまざまなベンチマークデータセットで実験が行われた。 GSM8Kでは、Cool-Fusionは3つの強力なLLMからの精度を17.4%向上させた。
  論文  参考訳（メタデータ） (2024-07-29T09:02:19Z)
• IRCoder: Intermediate Representations Make Language Models Robust Multilingual Code Generators [49.903001442804594]
  本研究では、コンパイラ中間表現(IR)を活用して、Code-LMの多言語機能を改善する可能性について検討する。 まず,約400万のソースコードファイルからなる並列データセットであるSLTransをコンパイルする。 次に、SLTransにおける因果言語モデリングトレーニングを継続して実施し、Code-LMはIR言語を学習せざるを得なかった。 IRCoderと呼ばれる結果のモデルは、さまざまなコード生成タスクやメトリクスに対して、サイズと一貫性のあるゲインを表示します。
  論文  参考訳（メタデータ） (2024-03-06T17:52:08Z)
• CodeFuse-13B: A Pretrained Multi-lingual Code Large Language Model [58.127534002232096]
  本稿では,オープンソースの事前学習型LLMであるCodeFuse-13Bを紹介する。 英語と中国語の両方のプロンプトによるコード関連のタスク用に特別に設計されている。 CodeFuseは、高品質な事前トレーニングデータセットを利用することで、その効果を達成する。
  論文  参考訳（メタデータ） (2023-10-10T02:38:44Z)
• AdvFusion: Adapter-based Knowledge Transfer for Code Summarization on Code Language Models [0.3228451873135423]
  本稿では、ターゲットタスクに適応する前に、他の言語から効果的に学習するPEFTベースのアプローチであるAdvFusionを提案する。 コード要約とメソッド名予測で評価する。 AdapterFusionを最大1.7ポイント上回り、Ruby、JavaScript、Goでそれぞれ1.99、1.26、2.16でLoRAを上回っている。
  論文  参考訳（メタデータ） (2023-07-15T17:17:16Z)
• LLM-Adapters: An Adapter Family for Parameter-Efficient Fine-Tuning of Large Language Models [75.25782573728677]
  本稿では,言語モデル(LLM)のPEFT(Adapter-based parameter- efficient fine-tuning)のためのフレームワークを提案する。 このフレームワークには、LLaMA、BLOOM、GPT-Jといった最先端のオープンアクセスLLMや、シリーズアダプタ、パラレルアダプタ、Promptベースの学習、Reparametrizationベースのメソッドなどの広く使われているアダプタが含まれている。 本研究では,2つの異なる推論タスク,算術的推論と常識推論の14種類のデータセットに対するアダプタの有効性を評価する。
  論文  参考訳（メタデータ） (2023-04-04T16:31:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。