論文の概要: AdvFusion: Adapter-based Knowledge Transfer for Code Summarization on Code Language Models

• arxiv url: http://arxiv.org/abs/2307.07854v3
• Date: Sat, 21 Dec 2024 01:41:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:53:54.116507
• Title: AdvFusion: Adapter-based Knowledge Transfer for Code Summarization on Code Language Models
• Title（参考訳）: AdvFusion: コード言語モデルに基づくコード要約のための適応型知識伝達
• Authors: Iman Saberi, Amirreza Esmaeili, Fatemeh Fard, Fuxiang Chen,
• Abstract要約: 本稿では、ターゲットタスクに適応する前に、他の言語から効果的に学習するPEFTベースのアプローチであるAdvFusionを提案する。 コード要約とメソッド名予測で評価する。 AdapterFusionを最大1.7ポイント上回り、Ruby、JavaScript、Goでそれぞれ1.99、1.26、2.16でLoRAを上回っている。
• 参考スコア（独自算出の注目度）: 0.3228451873135423
• License:
• Abstract: Programming languages can benefit from one another by utilizing a pre-trained model for software engineering tasks such as code summarization and method name prediction. While full fine-tuning of Code Language Models (Code-LMs) has been explored for multilingual knowledge transfer, research on Parameter Efficient Fine-Tuning (PEFT) for this purpose is limited. AdapterFusion, a PEFT architecture, aims to enhance task performance by leveraging information from multiple languages but primarily focuses on the target language. To address this, we propose AdvFusion, a novel PEFT-based approach that effectively learns from other languages before adapting to the target task. Evaluated on code summarization and method name prediction, AdvFusion outperforms AdapterFusion by up to 1.7 points and surpasses LoRA with gains of 1.99, 1.26, and 2.16 for Ruby, JavaScript, and Go, respectively. We open-source our scripts for replication purposes.
• Abstract（参考訳）: プログラム言語は、コードの要約やメソッド名予測といったソフトウェア工学のタスクのために事前訓練されたモデルを利用することで、お互いの恩恵を受けることができる。 Code Language Models (Code-LMs) の完全な微調整が多言語的知識伝達のために研究されているが、この目的のためのパラメータ効率の良い微調整(PEFT)の研究は限られている。 PEFTアーキテクチャであるAdapterFusionは、複数の言語からの情報を活用することでタスクパフォーマンスを向上させることを目的としている。 そこで我々は,ターゲットタスクに適応する前に,他の言語から効果的に学習する新しいPEFTベースのアプローチであるAdvFusionを提案する。 AdvFusionはコードの要約とメソッド名予測に基づいて、AdapterFusionを最大1.7ポイント上回り、それぞれ1.99、1.26、Ruby、JavaScript、Goの2.16でLoRAを上回っている。 レプリケーションのためにスクリプトをオープンソースにしています。

関連論文リスト

• Multi-Agent Collaboration for Multilingual Code Instruction Tuning [41.74155456003822]
  コードLLMのための多言語命令チューニングを強化するための,新しいマルチエージェント協調フレームワークを提案する。 生成メモリを備えた複数の言語固有のインテリジェントエージェントコンポーネントが協調して、ある言語から別の言語に知識を効率よく伝達する。 多言語プログラミングベンチマークの実験結果は、共通知識を共有する上でQwen2.5-xCoderの優れた性能を示している。
  論文  参考訳（メタデータ） (2025-02-11T11:46:38Z)
• I Can't Share Code, but I need Translation -- An Empirical Study on Code Translation through Federated LLM [3.9373541926236766]
  本研究は、参加者が効率の良いコード翻訳のためのFedLLMを共同開発できることを実証する。 この結果から,FedLLMはコード翻訳に協調的なアプローチを提供し,将来的な研究の方向性となる可能性が示唆された。
  論文  参考訳（メタデータ） (2025-01-10T05:43:36Z)
• Unraveling the Potential of Large Language Models in Code Translation: How Far Are We? [4.616570111453259]
  大規模言語モデル(LLM)は様々なタスクにおいて最先端のパフォーマンスを示すが、コード翻訳には苦労する。 コード翻訳タスクにおけるLLMの能力と能力を利用するための大規模な実証的研究を行う。 提案手法は,(1)ソースと対象言語間の中間言語を選択する中間翻訳と,(2)自己生成並列データ上でLPMを微調整する自己学習である。
  論文  参考訳（メタデータ） (2024-10-13T12:20:12Z)
• SpecTra: Enhancing the Code Translation Ability of Language Models by Generating Multi-Modal Specifications [17.60108067953814]
  大規模言語モデル(LLM)は、コード翻訳の自動化作業にますます利用されている。 本稿では,新しい自己整合性フィルタを用いて,まず高品質な仕様を生成するマルチステージアプローチであるSpecTraを提案する。
  論文  参考訳（メタデータ） (2024-05-28T20:48:30Z)
• IRCoder: Intermediate Representations Make Language Models Robust Multilingual Code Generators [49.903001442804594]
  本研究では、コンパイラ中間表現(IR)を活用して、Code-LMの多言語機能を改善する可能性について検討する。 まず,約400万のソースコードファイルからなる並列データセットであるSLTransをコンパイルする。 次に、SLTransにおける因果言語モデリングトレーニングを継続して実施し、Code-LMはIR言語を学習せざるを得なかった。 IRCoderと呼ばれる結果のモデルは、さまざまなコード生成タスクやメトリクスに対して、サイズと一貫性のあるゲインを表示します。
  論文  参考訳（メタデータ） (2024-03-06T17:52:08Z)
• UltraLink: An Open-Source Knowledge-Enhanced Multilingual Supervised Fine-tuning Dataset [69.33424532827608]
  オープンソースの大規模言語モデル(LLM)は、様々な分野において大きな強みを持っている。 本研究では,オープンソースの多言語教師付き微調整データセットを構築する。 結果として得られたUltraLinkデータセットは、5つの言語にわたる約100万のサンプルで構成されている。
  論文  参考訳（メタデータ） (2024-02-07T05:05:53Z)
• Language and Task Arithmetic with Parameter-Efficient Layers for Zero-Shot Summarization [126.96113831681338]
  本稿では,言語やタスク特化パラメータを構成することで,ゼロショットの言語間移動を改善することを提案する。 本手法は,言語とタスクPEFTモジュールを要素演算により構成し,ラベルなしデータと英語ラベル付きデータを活用する。
  論文  参考訳（メタデータ） (2023-11-15T20:04:58Z)
• CodeFuse-13B: A Pretrained Multi-lingual Code Large Language Model [58.127534002232096]
  本稿では,オープンソースの事前学習型LLMであるCodeFuse-13Bを紹介する。 英語と中国語の両方のプロンプトによるコード関連のタスク用に特別に設計されている。 CodeFuseは、高品質な事前トレーニングデータセットを利用することで、その効果を達成する。
  論文  参考訳（メタデータ） (2023-10-10T02:38:44Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)
• MAD-X: An Adapter-Based Framework for Multi-Task Cross-Lingual Transfer [136.09386219006123]
  我々は、任意のタスクや言語への高いポータビリティとパラメータ効率の移行を可能にするアダプタベースのフレームワークであるMAD-Xを提案する。 MAD-Xは、名前付きエンティティ認識と因果コモンセンス推論に基づいて、タイプボロジーに多様性のある言語群を横断する言語間移動において、芸術の状態を上回ります。
  論文  参考訳（メタデータ） (2020-04-30T18:54:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。