Fugu-MT 論文翻訳(概要): Multilingual Adapter-based Knowledge Aggregation on Code Summarization for Low-Resource Languages

論文の概要: Multilingual Adapter-based Knowledge Aggregation on Code Summarization for Low-Resource Languages

arxiv url: http://arxiv.org/abs/2307.07854v1
Date: Sat, 15 Jul 2023 17:17:16 GMT
ステータス: 翻訳完了
システム内更新日: 2023-10-23 17:23:23.800888
Title: Multilingual Adapter-based Knowledge Aggregation on Code Summarization for Low-Resource Languages
Title（参考訳）: 低リソース言語のためのコード要約に基づく多言語適応型知識集約
Authors: Iman Saberi, Fatemeh Fard and Fuxiang Chen
Abstract要約: AdvFusionは、異なるプログラミング言語から有用な機能を効率的に抽出することができる。 Code Summarizationタスクでは、既存の最先端のマルチ言語微調整を12%上回っている。
参考スコア（独自算出の注目度）: 0.3963827913892984
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Multilingual fine-tuning (of a multilingual Pre-trained Language Model) has shown to improve performance of downstream tasks. However, it was observed that different programming languages may have different structural properties, and thus the learning or fine-tuning of a model may be sub-optimal or even degrade the intended performance by using a multilingual dataset. In this study, we proposed a new modular component architecture, AdvFusion, that leverages the different aspects of programming languages for a target popular low-resource programming language, Ruby. Our result shows that AdvFusion can extract useful features from different programming languages efficiently, and it outperforms the existing state-of-the-art multilingual fine-tuning by 12% on the Code Summarization task.
Abstract（参考訳）: 多言語微調整(多言語事前学習言語モデル)により、下流タスクのパフォーマンスが向上することが示されている。しかし、異なるプログラミング言語は異なる構造的特性を持つ可能性があり、したがってモデルの学習や微調整は、多言語データセットを用いて意図した性能を低下させる可能性がある。本研究では,プログラミング言語のさまざまな側面をターゲットとする低リソースプログラミング言語であるRubyに活用する,新しいモジュラーコンポーネントアーキテクチャであるAdvFusionを提案する。その結果、advfusionは、異なるプログラミング言語から有用な機能を効率的に抽出でき、コード要約タスクにおいて、既存の最先端のマルチリンガルの微調整を12%上回っています。

関連論文リスト

Multi-Agent Collaboration for Multilingual Code Instruction Tuning [41.74155456003822]
コードLLMのための多言語命令チューニングを強化するための,新しいマルチエージェント協調フレームワークを提案する。生成メモリを備えた複数の言語固有のインテリジェントエージェントコンポーネントが協調して、ある言語から別の言語に知識を効率よく伝達する。多言語プログラミングベンチマークの実験結果は、共通知識を共有する上でQwen2.5-xCoderの優れた性能を示している。
論文参考訳（メタデータ） (2025-02-11T11:46:38Z)
I Can't Share Code, but I need Translation -- An Empirical Study on Code Translation through Federated LLM [3.9373541926236766]
本研究は、参加者が効率の良いコード翻訳のためのFedLLMを共同開発できることを実証する。この結果から,FedLLMはコード翻訳に協調的なアプローチを提供し,将来的な研究の方向性となる可能性が示唆された。
論文参考訳（メタデータ） (2025-01-10T05:43:36Z)
Unraveling the Potential of Large Language Models in Code Translation: How Far Are We? [4.616570111453259]
大規模言語モデル(LLM)は様々なタスクにおいて最先端のパフォーマンスを示すが、コード翻訳には苦労する。コード翻訳タスクにおけるLLMの能力と能力を利用するための大規模な実証的研究を行う。提案手法は,(1)ソースと対象言語間の中間言語を選択する中間翻訳と,(2)自己生成並列データ上でLPMを微調整する自己学習である。
論文参考訳（メタデータ） (2024-10-13T12:20:12Z)
SpecTra: Enhancing the Code Translation Ability of Language Models by Generating Multi-Modal Specifications [17.60108067953814]
大規模言語モデル(LLM)は、コード翻訳の自動化作業にますます利用されている。本稿では,新しい自己整合性フィルタを用いて,まず高品質な仕様を生成するマルチステージアプローチであるSpecTraを提案する。
論文参考訳（メタデータ） (2024-05-28T20:48:30Z)
IRCoder: Intermediate Representations Make Language Models Robust Multilingual Code Generators [49.903001442804594]
本研究では、コンパイラ中間表現(IR)を活用して、Code-LMの多言語機能を改善する可能性について検討する。まず,約400万のソースコードファイルからなる並列データセットであるSLTransをコンパイルする。次に、SLTransにおける因果言語モデリングトレーニングを継続して実施し、Code-LMはIR言語を学習せざるを得なかった。 IRCoderと呼ばれる結果のモデルは、さまざまなコード生成タスクやメトリクスに対して、サイズと一貫性のあるゲインを表示します。
論文参考訳（メタデータ） (2024-03-06T17:52:08Z)
UltraLink: An Open-Source Knowledge-Enhanced Multilingual Supervised Fine-tuning Dataset [69.33424532827608]
オープンソースの大規模言語モデル(LLM)は、様々な分野において大きな強みを持っている。本研究では,オープンソースの多言語教師付き微調整データセットを構築する。結果として得られたUltraLinkデータセットは、5つの言語にわたる約100万のサンプルで構成されている。
論文参考訳（メタデータ） (2024-02-07T05:05:53Z)
Language and Task Arithmetic with Parameter-Efficient Layers for Zero-Shot Summarization [126.96113831681338]
本稿では,言語やタスク特化パラメータを構成することで,ゼロショットの言語間移動を改善することを提案する。本手法は,言語とタスクPEFTモジュールを要素演算により構成し,ラベルなしデータと英語ラベル付きデータを活用する。
論文参考訳（メタデータ） (2023-11-15T20:04:58Z)
Translation and Fusion Improves Zero-shot Cross-lingual Information Extraction [18.926993352330797]
本稿では,低リソース言語データの英語翻訳をモデルに微調整したフレームワークであるTransFusionを提案する。 GoLLIE-TFは、IEタスクのための言語間命令チューニング LLM であり、ハイソース言語と低リソース言語のパフォーマンスギャップを埋めるように設計されている。
論文参考訳（メタデータ） (2023-05-23T01:23:22Z)
MetaTPTrans: A Meta Learning Approach for Multilingual Code Representation Learning [5.434698132994918]
多言語コード表現学習のためのメタ学習手法であるMetaTPTransを提案する。本稿では,MetaTPTransが最先端アプローチのF1スコアを大幅に改善することを示す。
論文参考訳（メタデータ） (2022-06-13T20:36:42Z)
Continual Learning in Multilingual NMT via Language-Specific Embeddings [92.91823064720232]
共有語彙を小さな言語固有の語彙に置き換え、新しい言語の並列データに新しい埋め込みを微調整する。元のモデルのパラメータは変更されていないため、初期言語の性能は劣化しない。
論文参考訳（メタデータ） (2021-10-20T10:38:57Z)
Multilingual Domain Adaptation for NMT: Decoupling Language and Domain Information with Adapters [66.7986513246294]
機械翻訳の文脈における言語とドメインアダプタの構成性について検討する。部分的なリソースのシナリオでは、ドメイン固有のアダプタと言語固有のアダプタの組み合わせは、しばしば欠落した言語を破滅的に忘れてしまう。
論文参考訳（メタデータ） (2021-10-18T18:55:23Z)
Composable Sparse Fine-Tuning for Cross-Lingual Transfer [56.86192078426372]
事前学習されたモデルのパラメータを微調整することが、伝達学習の主流のアプローチとなっている。本稿では,これら2つの望ましい特性を持つファインチューニング手法を提案する。これは、ゼロショットのクロスランガル転送において、大きなマージンでアダプタを上回ります。
論文参考訳（メタデータ） (2021-10-14T17:27:29Z)
UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
論文参考訳（メタデータ） (2020-12-31T11:37:28Z)
FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
論文参考訳（メタデータ） (2020-09-10T22:42:15Z)
MAD-X: An Adapter-Based Framework for Multi-Task Cross-Lingual Transfer [136.09386219006123]
我々は、任意のタスクや言語への高いポータビリティとパラメータ効率の移行を可能にするアダプタベースのフレームワークであるMAD-Xを提案する。 MAD-Xは、名前付きエンティティ認識と因果コモンセンス推論に基づいて、タイプボロジーに多様性のある言語群を横断する言語間移動において、芸術の状態を上回ります。
論文参考訳（メタデータ） (2020-04-30T18:54:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。