論文の概要: On the Transferability of Pre-trained Language Models for Low-Resource
Programming Languages
- arxiv url: http://arxiv.org/abs/2204.09653v1
- Date: Tue, 5 Apr 2022 21:11:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-24 21:34:18.529399
- Title: On the Transferability of Pre-trained Language Models for Low-Resource
Programming Languages
- Title(参考訳): 低リソースプログラミング言語における事前学習言語モデルの転送可能性について
- Authors: Fuxiang Chen and Fatemeh Fard and David Lo and Timofey Bryksin
- Abstract要約: 単言語および多言語 PLM が異なるプログラミング言語に与える影響について検討する。
事前訓練されたモデルと微調整されたモデル100以上を分析します。
以上の結果から,多言語 PLM は単言語 PLM に比べて性能-時間比 (BLEU, METEOR, MRR スコア) が低いことが示された。
- 参考スコア(独自算出の注目度): 11.384386766787681
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A recent study by Ahmed and Devanbu reported that using a corpus of code
written in multilingual datasets to fine-tune multilingual Pre-trained Language
Models (PLMs) achieves higher performance as opposed to using a corpus of code
written in just one programming language. However, no analysis was made with
respect to fine-tuning monolingual PLMs. Furthermore, some programming
languages are inherently different and code written in one language usually
cannot be interchanged with the others, i.e., Ruby and Java code possess very
different structure. To better understand how monolingual and multilingual PLMs
affect different programming languages, we investigate 1) the performance of
PLMs on Ruby for two popular Software Engineering tasks: Code Summarization and
Code Search, 2) the strategy (to select programming languages) that works well
on fine-tuning multilingual PLMs for Ruby, and 3) the performance of the
fine-tuned PLMs on Ruby given different code lengths.
In this work, we analyze over a hundred of pre-trained and fine-tuned models.
Our results show that 1) multilingual PLMs have a lower Performance-to-Time
Ratio (the BLEU, METEOR, or MRR scores over the fine-tuning duration) as
compared to monolingual PLMs, 2) our proposed strategy to select target
programming languages to fine-tune multilingual PLMs is effective: it reduces
the time to fine-tune yet achieves higher performance in Code Summarization and
Code Search tasks, and 3) our proposed strategy consistently shows good
performance on different code lengths.
- Abstract(参考訳): Ahmed氏とDevanbu氏の最近の研究によると、多言語データセットで記述されたコードのコーパスを使用して、PLM(Multilingual Pre-trained Language Model)を微調整することで、1つのプログラミング言語で書かれたコードコーパスを使用するよりも高いパフォーマンスを実現する。
しかし, 微調整単言語 PLM の解析は行われなかった。
さらに、いくつかのプログラミング言語は本質的に異なるものであり、ある言語で書かれたコードは、通常他の言語と交換することはできない。
多言語plmと単言語plmの違いがプログラミング言語に与える影響をよく理解するために,検討する。
1) コード要約とコード検索という2つの人気のあるソフトウェアエンジニアリングタスクに対するrubyでのplmsのパフォーマンス。
2) Ruby用の微調整多言語PLMでうまく機能する(プログラミング言語を選択する)戦略、そして
3) Ruby上での微調整 PLM のパフォーマンスにはコードの長さが異なる。
本研究では,100以上の事前学習モデルと微調整モデルを分析する。
私たちの結果は
1)多言語 PLM は単言語 PLM と比較して性能-時間比 (BLEU, METEOR, MRR スコア) が低い。
2)多言語 PLM を微調整するためのターゲット言語を選択する戦略は効果的である。
3)提案した戦略は,コード長の異なる場合に常に優れた性能を示す。
関連論文リスト
- Few-Shot Cross-Lingual Transfer for Prompting Large Language Models in
Low-Resource Languages [0.0]
プロンプティング(prompting)とは、ユーザがタスクの説明と完了したタスクのいくつかの例を PLM にコンテキストとして提供し、PLM に新しい例でタスクを実行するように促す方法である。
提案手法は, 数発プロンプト(prompt), 言語適応微調整(LAFT), ニューラルマシン翻訳(Translate)の3種類である。
翻訳とプロンプトの設定は、選択した低リソース言語に対して、数ショットプロンプトの計算効率とコスト効率のよい方法であることがわかった。
論文 参考訳(メタデータ) (2024-03-09T21:36:13Z) - IRCoder: Intermediate Representations Make Language Models Robust
Multilingual Code Generators [55.40713784611711]
本研究では,コンパイラ中間表現を活用することで,Code-LMの多言語機能を改善する可能性について検討する。
まず,約400万のソースコードファイルからなる並列データセットであるSLTransをコンパイルする。
次に、SLTransにおける因果言語モデリングトレーニングを継続して実施し、Code-LMはIR言語を学習せざるを得なかった。
IRCoderと呼ばれる結果のモデルは、さまざまなコード生成タスクやメトリクスに対して、サイズと一貫性のあるゲインを表示します。
論文 参考訳(メタデータ) (2024-03-06T17:52:08Z) - Eliciting Better Multilingual Structured Reasoning from LLMs through
Code [19.17176027299478]
我々は6言語にまたがる4つのタスクを網羅する,xSTREETと呼ばれる多言語構造推論と説明データセットを提案する。
xSTREETは、英語と非英語の推論タスクの基本的なLLMパフォーマンスのギャップを露呈する。
このギャップを緩和する2つの方法を提案する。
論文 参考訳(メタデータ) (2024-03-05T00:48:56Z) - TaCo: Enhancing Cross-Lingual Transfer for Low-Resource Languages in
LLMs through Translation-Assisted Chain-of-Thought Processes [10.932431055896188]
本稿では,Alpaca-52K,Dolly-15K,Vicuna Benchmarkを132言語で翻訳したMultilingual Instruction-Tuningデータセット(MITS)を紹介する。
また,emphTaCo: Translation-Assisted Cross-Lingualityという新たな手法を提案する。
論文 参考訳(メタデータ) (2023-11-17T06:55:32Z) - Knowledge Transfer from High-Resource to Low-Resource Programming
Languages for Code LLMs [3.0215424372240265]
本稿では,半合成データを用いた低リソース言語上でのコードLLMの性能向上に有効な手法を提案する。
このアプローチを適用して,Julia,Lua,OCaml,R,Racketの各トレーニング項目を数万個生成する。
論文 参考訳(メタデータ) (2023-08-19T03:19:01Z) - PolyLM: An Open Source Polyglot Large Language Model [57.64420154135178]
我々は6400億(B)トークンでトレーニングされた多言語大言語モデル(LLM)であるPolyLMについて述べる。
その多言語的能力を高めるために,1) バイリンガルデータをトレーニングデータに統合し,2) 事前学習中に英語以外のデータの比率を30%から60%に引き上げるカリキュラム学習戦略を採用する。
さらに,モデル微調整のために,132.7Kの多言語命令を自動的に生成する多言語自己指示手法を提案する。
論文 参考訳(メタデータ) (2023-07-12T09:00:37Z) - UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。
キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。
本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
論文 参考訳(メタデータ) (2020-12-31T11:37:28Z) - X-FACTR: Multilingual Factual Knowledge Retrieval from Pretrained
Language Models [103.75890012041366]
言語モデル(LM)は、事実の知識を捉えるのに驚くほど成功した。
しかし、LMの実際の表現能力の研究は、ほぼ間違いなく英語で行われている。
我々は23の語型的多様言語に対するクローゼスタイルプローブのベンチマークを作成する。
論文 参考訳(メタデータ) (2020-10-13T05:29:56Z) - FILTER: An Enhanced Fusion Method for Cross-lingual Language
Understanding [85.29270319872597]
我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。
推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。
この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
論文 参考訳(メタデータ) (2020-09-10T22:42:15Z) - CoSDA-ML: Multi-Lingual Code-Switching Data Augmentation for Zero-Shot
Cross-Lingual NLP [68.2650714613869]
我々は,mBERTを微調整するための多言語コードスイッチングデータを生成するためのデータ拡張フレームワークを提案する。
既存の研究と比較すると,本手法は訓練にバイリンガル文を頼らず,複数の対象言語に対して1つの学習プロセスしか必要としない。
論文 参考訳(メタデータ) (2020-06-11T13:15:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。