論文の概要: Analysis of AdvFusion: Adapter-based Multilingual Learning for Code Large Language Models

• arxiv url: http://arxiv.org/abs/2511.02869v1
• Date: Mon, 03 Nov 2025 23:45:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-06 18:19:32.182236
• Title: Analysis of AdvFusion: Adapter-based Multilingual Learning for Code Large Language Models
• Title（参考訳）: AdvFusionの分析:コード大言語モデルに対する適応型多言語学習
• Authors: Amirreza Esmaeili, Fahd Seddik, Yongyi Ji, Fatemeh Fard, Fuxiang Chen,
• Abstract要約: AdapterFusionは、複数のプログラミング言語の情報を活用することでタスクパフォーマンスを向上させることを目的としている。 本研究では,コード大言語モデル(コード-LLM)のAdvFusionについて検討した。 コード生成では、AdvFusionはAdapterFusionより優れているが、他のPEFTメソッド(LoRA、Computer、TaskAdapter)は優れている。 コミットメッセージ生成において、AdvFusionはAdvFusionよりもパフォーマンスが良く、コード生成とは対照的に、他のPEFTメソッドはパフォーマンスが良くないことがわかった。
• 参考スコア（独自算出の注目度）: 0.043496401697112684
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Programming languages can benefit from one another by utilizing a language model for software engineering tasks. Full fine-tuning and Parameter Efficient Fine-Tuning (PEFT) of Code Language Models (Code-LMs) has been explored for multilingual knowledge transfer. AdapterFusion is a PEFT architecture that aims to enhance task performance by leveraging information from multiple programming languages, but primarily focuses on the target programming language. In our previous work, we proposed AdvFusion, a novel PEFT-based approach that effectively learns from other programming languages before adapting to the target task. Though previous experiments showed that AdvFusion outperformed AdapterFusion and LoRA, it was applied on pre-trained Code-LMs and was limited to only two tasks, code summarization and method name prediction. In this study, we expanded our work and investigated AdvFusion on Code Large Language Models (Code-LLMs), considering three new tasks: code generation, code translation, and commit message generation. We observed that different Code-LLMs/tasks exhibit different characteristics. In code generation, AdvFusion outperformed AdapterFusion but not other PEFT methods (LoRA, Compacter, and TaskAdapter). In commit message generation, AdapterFusion performed better than AdvFusion, and contrary to code generation, we found that the other PEFT methods do not have better performance. In code translation, AdvFusion performed worse than AdapterFusion overall, with the performance gap marginally widening as the model size increases. However, consistent with code generation, other PEFT methods showed better performance.
• Abstract（参考訳）: プログラミング言語は、ソフトウェア工学のタスクに言語モデルを利用することで、お互いの恩恵を受けることができます。 Code Language Models (Code-LMs) の完全な微調整とパラメータ効率的な微調整 (PEFT) が多言語知識伝達のために研究されている。 AdapterFusionは、複数のプログラミング言語の情報を活用することでタスクパフォーマンスを向上させることを目的としたPEFTアーキテクチャである。 前回の研究では、ターゲットタスクに適応する前に、他のプログラミング言語から効果的に学習する新しいPEFTベースのアプローチであるAdvFusionを提案しました。 以前の実験ではAdvFusionはAdapterFusionとLoRAより優れていたが、事前訓練されたCode-LMに適用され、コード要約とメソッド名予測という2つのタスクに限られていた。 本研究では,コード生成,コード翻訳,コミットメッセージ生成という3つの新しいタスクを考慮した,コード大言語モデル(Code-LLM)のAdvFusionについて検討した。 異なるコード-LLM/タスクは異なる特性を示す。 コード生成では、AdvFusionはAdapterFusionより優れているが、他のPEFTメソッド(LoRA、Compacter、TaskAdapter)は優れている。 コミットメッセージ生成において、AdvFusionはAdvFusionよりもパフォーマンスが良く、コード生成とは対照的に、他のPEFTメソッドはパフォーマンスが良くないことがわかった。 コード翻訳では、AdvFusionはAdapterFusionよりもパフォーマンスが悪く、モデルのサイズが大きくなるにつれてパフォーマンスの差はわずかに拡大した。 しかし、コード生成と一致し、他のPEFT手法では性能が向上した。

関連論文リスト

• Scaling Laws for Code: Every Programming Language Matters [73.6302896079007]
  コード大言語モデル(Code LLM)は強力だが、トレーニングにはコストがかかる。 異なるプログラミング言語(PL)は、ベースモデルの性能に大きな影響を及ぼす事前トレーニングの間に様々な影響を与える。 本稿では,多言語コードの事前学習のためのスケーリング法則を初めて体系的に検討する。
  論文  参考訳（メタデータ） (2025-12-15T16:07:34Z)
• I Can't Share Code, but I need Translation -- An Empirical Study on Code Translation through Federated LLM [3.9373541926236766]
  本研究は、参加者が効率の良いコード翻訳のためのFedLLMを共同開発できることを実証する。 この結果から,FedLLMはコード翻訳に協調的なアプローチを提供し,将来的な研究の方向性となる可能性が示唆された。
  論文  参考訳（メタデータ） (2025-01-10T05:43:36Z)
• Unraveling the Potential of Large Language Models in Code Translation: How Far Are We? [4.616570111453259]
  大規模言語モデル(LLM)は様々なタスクにおいて最先端のパフォーマンスを示すが、コード翻訳には苦労する。 コード翻訳タスクにおけるLLMの能力と能力を利用するための大規模な実証的研究を行う。 提案手法は,(1)ソースと対象言語間の中間言語を選択する中間翻訳と,(2)自己生成並列データ上でLPMを微調整する自己学習である。
  論文  参考訳（メタデータ） (2024-10-13T12:20:12Z)
• Cool-Fusion: Fuse Large Language Models without Training [73.17551121242602]
  Cool-Fusionは、トレーニングを必要としないソースLLMの知識を融合させる。 さまざまなベンチマークデータセットで実験が行われた。 GSM8Kでは、Cool-Fusionは3つの強力なLLMからの精度を17.4%向上させた。
  論文  参考訳（メタデータ） (2024-07-29T09:02:19Z)
• IRCoder: Intermediate Representations Make Language Models Robust Multilingual Code Generators [49.903001442804594]
  本研究では、コンパイラ中間表現(IR)を活用して、Code-LMの多言語機能を改善する可能性について検討する。 まず,約400万のソースコードファイルからなる並列データセットであるSLTransをコンパイルする。 次に、SLTransにおける因果言語モデリングトレーニングを継続して実施し、Code-LMはIR言語を学習せざるを得なかった。 IRCoderと呼ばれる結果のモデルは、さまざまなコード生成タスクやメトリクスに対して、サイズと一貫性のあるゲインを表示します。
  論文  参考訳（メタデータ） (2024-03-06T17:52:08Z)
• CoLLiE: Collaborative Training of Large Language Models in an Efficient Way [59.09824823710863]
  CoLLiEは、大規模な言語モデルの協調トレーニングを容易にする効率的なライブラリである。 モジュール設計と包括的な機能により、CoLLiEは効率性、使いやすさ、カスタマイズのバランスのとれたブレンドを提供する。
  論文  参考訳（メタデータ） (2023-12-01T08:02:16Z)
• CodeFuse-13B: A Pretrained Multi-lingual Code Large Language Model [58.127534002232096]
  本稿では,オープンソースの事前学習型LLMであるCodeFuse-13Bを紹介する。 英語と中国語の両方のプロンプトによるコード関連のタスク用に特別に設計されている。 CodeFuseは、高品質な事前トレーニングデータセットを利用することで、その効果を達成する。
  論文  参考訳（メタデータ） (2023-10-10T02:38:44Z)
• AdvFusion: Adapter-based Knowledge Transfer for Code Summarization on Code Language Models [0.3228451873135423]
  本稿では、ターゲットタスクに適応する前に、他の言語から効果的に学習するPEFTベースのアプローチであるAdvFusionを提案する。 コード要約とメソッド名予測で評価する。 AdapterFusionを最大1.7ポイント上回り、Ruby、JavaScript、Goでそれぞれ1.99、1.26、2.16でLoRAを上回っている。
  論文  参考訳（メタデータ） (2023-07-15T17:17:16Z)
• LLM-Adapters: An Adapter Family for Parameter-Efficient Fine-Tuning of Large Language Models [75.25782573728677]
  本稿では,言語モデル(LLM)のPEFT(Adapter-based parameter- efficient fine-tuning)のためのフレームワークを提案する。 このフレームワークには、LLaMA、BLOOM、GPT-Jといった最先端のオープンアクセスLLMや、シリーズアダプタ、パラレルアダプタ、Promptベースの学習、Reparametrizationベースのメソッドなどの広く使われているアダプタが含まれている。 本研究では,2つの異なる推論タスク,算術的推論と常識推論の14種類のデータセットに対するアダプタの有効性を評価する。
  論文  参考訳（メタデータ） (2023-04-04T16:31:37Z)
• On The Cross-Modal Transfer from Natural Language to Code through Adapter Modules [0.0]
  ソフトウェア工学におけるアダプタを用いた知識伝達について検討する。 C/C++、Python、Javaの3つのプログラミング言語が、アダプタに最適な設定に関する広範な実験とともに研究されている。 私たちの結果は、より小さなモデルを構築するための新しい方向を開くことができます。
  論文  参考訳（メタデータ） (2022-04-19T04:18:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。