論文の概要: Multilingual Adapter-based Knowledge Aggregation on Code Summarization
for Low-Resource Languages
- arxiv url: http://arxiv.org/abs/2307.07854v1
- Date: Sat, 15 Jul 2023 17:17:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 17:23:23.800888
- Title: Multilingual Adapter-based Knowledge Aggregation on Code Summarization
for Low-Resource Languages
- Title(参考訳): 低リソース言語のためのコード要約に基づく多言語適応型知識集約
- Authors: Iman Saberi, Fatemeh Fard and Fuxiang Chen
- Abstract要約: AdvFusionは、異なるプログラミング言語から有用な機能を効率的に抽出することができる。
Code Summarizationタスクでは、既存の最先端のマルチ言語微調整を12%上回っている。
- 参考スコア(独自算出の注目度): 0.3963827913892984
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multilingual fine-tuning (of a multilingual Pre-trained Language Model) has
shown to improve performance of downstream tasks. However, it was observed that
different programming languages may have different structural properties, and
thus the learning or fine-tuning of a model may be sub-optimal or even degrade
the intended performance by using a multilingual dataset. In this study, we
proposed a new modular component architecture, AdvFusion, that leverages the
different aspects of programming languages for a target popular low-resource
programming language, Ruby. Our result shows that AdvFusion can extract useful
features from different programming languages efficiently, and it outperforms
the existing state-of-the-art multilingual fine-tuning by 12% on the Code
Summarization task.
- Abstract(参考訳): 多言語微調整(多言語事前学習言語モデル)により、下流タスクのパフォーマンスが向上することが示されている。
しかし、異なるプログラミング言語は異なる構造的特性を持つ可能性があり、したがってモデルの学習や微調整は、多言語データセットを用いて意図した性能を低下させる可能性がある。
本研究では,プログラミング言語のさまざまな側面をターゲットとする低リソースプログラミング言語であるRubyに活用する,新しいモジュラーコンポーネントアーキテクチャであるAdvFusionを提案する。
その結果、advfusionは、異なるプログラミング言語から有用な機能を効率的に抽出でき、コード要約タスクにおいて、既存の最先端のマルチリンガルの微調整を12%上回っています。
関連論文リスト
- IRCoder: Intermediate Representations Make Language Models Robust Multilingual Code Generators [49.903001442804594]
本研究では、コンパイラ中間表現(IR)を活用して、Code-LMの多言語機能を改善する可能性について検討する。
まず,約400万のソースコードファイルからなる並列データセットであるSLTransをコンパイルする。
次に、SLTransにおける因果言語モデリングトレーニングを継続して実施し、Code-LMはIR言語を学習せざるを得なかった。
IRCoderと呼ばれる結果のモデルは、さまざまなコード生成タスクやメトリクスに対して、サイズと一貫性のあるゲインを表示します。
論文 参考訳(メタデータ) (2024-03-06T17:52:08Z) - UltraLink: An Open-Source Knowledge-Enhanced Multilingual Supervised
Fine-tuning Dataset [69.33424532827608]
オープンソースの大規模言語モデル(LLM)は、様々な分野において大きな強みを持っている。
本研究では,オープンソースの多言語教師付き微調整データセットを構築する。
結果として得られたUltraLinkデータセットは、5つの言語にわたる約100万のサンプルで構成されている。
論文 参考訳(メタデータ) (2024-02-07T05:05:53Z) - MetaTPTrans: A Meta Learning Approach for Multilingual Code
Representation Learning [5.434698132994918]
多言語コード表現学習のためのメタ学習手法であるMetaTPTransを提案する。
本稿では,MetaTPTransが最先端アプローチのF1スコアを大幅に改善することを示す。
論文 参考訳(メタデータ) (2022-06-13T20:36:42Z) - On The Cross-Modal Transfer from Natural Language to Code through
Adapter Modules [0.0]
ソフトウェア工学におけるアダプタを用いた知識伝達について検討する。
C/C++、Python、Javaの3つのプログラミング言語が、アダプタに最適な設定に関する広範な実験とともに研究されている。
私たちの結果は、より小さなモデルを構築するための新しい方向を開くことができます。
論文 参考訳(メタデータ) (2022-04-19T04:18:02Z) - Continual Learning in Multilingual NMT via Language-Specific Embeddings [92.91823064720232]
共有語彙を小さな言語固有の語彙に置き換え、新しい言語の並列データに新しい埋め込みを微調整する。
元のモデルのパラメータは変更されていないため、初期言語の性能は劣化しない。
論文 参考訳(メタデータ) (2021-10-20T10:38:57Z) - Multilingual Domain Adaptation for NMT: Decoupling Language and Domain
Information with Adapters [66.7986513246294]
機械翻訳の文脈における言語とドメインアダプタの構成性について検討する。
部分的なリソースのシナリオでは、ドメイン固有のアダプタと言語固有のアダプタの組み合わせは、しばしば欠落した言語を破滅的に忘れてしまう。
論文 参考訳(メタデータ) (2021-10-18T18:55:23Z) - Composable Sparse Fine-Tuning for Cross-Lingual Transfer [56.86192078426372]
事前学習されたモデルのパラメータを微調整することが、伝達学習の主流のアプローチとなっている。
本稿では,これら2つの望ましい特性を持つファインチューニング手法を提案する。
これは、ゼロショットのクロスランガル転送において、大きなマージンでアダプタを上回ります。
論文 参考訳(メタデータ) (2021-10-14T17:27:29Z) - FILTER: An Enhanced Fusion Method for Cross-lingual Language
Understanding [85.29270319872597]
我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。
推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。
この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
論文 参考訳(メタデータ) (2020-09-10T22:42:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。