論文の概要: Learning Transfers over Several Programming Languages

• arxiv url: http://arxiv.org/abs/2310.16937v1
• Date: Wed, 25 Oct 2023 19:04:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-27 23:46:17.238514
• Title: Learning Transfers over Several Programming Languages
• Title（参考訳）: 複数のプログラミング言語での学習転送
• Authors: Razan Baltaji, Saurabh Pujar, Louis Mandel, Martin Hirzel, Luca Buratti, Lav Varshney
• Abstract要約: 言語間変換学習は、ソース言語からのデータを使用して、ターゲット言語上でのモデルパフォーマンスを改善する。 本稿では,変圧器を用いた大規模言語モデルと11から41のプログラミング言語を用いた4つのタスクに関する広範な実験を報告する。
• 参考スコア（独自算出の注目度）: 5.618799979059861
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have recently become remarkably good at improving developer productivity for high-resource programming languages. These models use two kinds of data: large amounts of unlabeled code samples for pretraining and relatively smaller amounts of labeled code samples for fine-tuning or in-context learning. Unfortunately, many programming languages are low-resource, lacking labeled samples for most tasks and often even lacking unlabeled samples. Therefore, users of low-resource languages (e.g., legacy or new languages) miss out on the benefits of LLMs. Cross-lingual transfer learning uses data from a source language to improve model performance on a target language. It has been well-studied for natural languages, but has received little attention for programming languages. This paper reports extensive experiments on four tasks using a transformer-based LLM and 11 to 41 programming languages to explore the following questions. First, how well cross-lingual transfer works for a given task across different language pairs. Second, given a task and target language, how to best choose a source language. Third, the characteristics of a language pair that are predictive of transfer performance, and fourth, how that depends on the given task.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、最近、高リソースプログラミング言語の開発者の生産性向上に非常に適している。 これらのモデルは2種類のデータを使用する: 事前学習のための大量のラベルなしコードサンプルと、微調整やコンテキスト内学習のための比較的少ないラベル付きコードサンプル。 残念なことに、多くのプログラミング言語は低リソースであり、ほとんどのタスクにラベル付きサンプルを欠いている。 そのため、低リソース言語(レガシ言語や新しい言語など)のユーザは、LLMの利点を見逃している。 言語間転送学習は、ソース言語からのデータを使用して、ターゲット言語におけるモデルパフォーマンスを向上させる。 自然言語によく研究されているが、プログラミング言語にはほとんど注目されていない。 本稿では、トランスフォーマーベースのllmと11から41のプログラミング言語を用いた4つのタスクに関する広範な実験を行い、以下の質問について述べる。 まず、言語間移動が、与えられたタスクを異なる言語ペア間でいかにうまく動かすか。 第二に、タスクとターゲット言語が与えられたら、ソース言語をいかに選ぶか。 第3に、転送性能を予測する言語ペアの特性、第4に、それが与えられたタスクにどのように依存するか。

関連論文リスト

• How do Large Language Models Handle Multilingualism? [81.15060972112563]
  本研究では,大規模言語モデル(LLM)が多言語モデルをどのように扱うかを検討する。 LLMはまずクエリを理解し、タスク解決のために多言語入力を英語に変換する。 中間層では、英語を思考に用い、自己意識とフィードフォワード構造を持つ多言語知識を取り入れている。
  論文  参考訳（メタデータ） (2024-02-29T02:55:26Z)
• Enhancing Multilingual Capabilities of Large Language Models through Self-Distillation from Resource-Rich Languages [60.162717568496355]
  大規模言語モデル(LLM)は多言語コーパスで事前訓練されている。 彼らのパフォーマンスは、いくつかのリソース豊富な言語と比較して、ほとんどの言語でまだ遅れています。
  論文  参考訳（メタデータ） (2024-02-19T15:07:32Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Progressive Sentiment Analysis for Code-Switched Text Data [26.71396390928905]
  私たちは、ラベル付きリソース豊富な言語データセットと、ラベルなしのコード変更データを持つコード変更感情分析に重点を置いています。 資源豊富な言語と低リソース言語を区別する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-10-25T23:13:53Z)
• Adapters for Enhanced Modeling of Multilingual Knowledge and Text [54.02078328453149]
  言語モデルは多言語言語モデル(MLLM)に拡張された。 知識グラフは、注意深いキュレーションを必要とし、少数の高リソース言語でのみ利用可能である、明示的な三重形式で事実を含む。 我々は,MLLMを多言語知識グラフ(MLKG)からの知識で拡張し,言語や知識グラフのタスクに多くの言語で取り組むことを提案する。
  論文  参考訳（メタデータ） (2022-10-24T21:33:42Z)
• Language Chameleon: Transformation analysis between languages using Cross-lingual Post-training based on Pre-trained language models [4.731313022026271]
  本研究では,1つの低リソース言語に着目し,言語横断後学習(XPT)を用いた広範囲な評価と探索実験を行う。 結果から,XPTは桁違いのデータ量で訓練された単言語モデルに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2022-09-14T05:20:52Z)
• MetaTPTrans: A Meta Learning Approach for Multilingual Code Representation Learning [5.434698132994918]
  多言語コード表現学習のためのメタ学習手法であるMetaTPTransを提案する。 本稿では,MetaTPTransが最先端アプローチのF1スコアを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2022-06-13T20:36:42Z)
• X-FACTR: Multilingual Factual Knowledge Retrieval from Pretrained Language Models [103.75890012041366]
  言語モデル(LM)は、事実の知識を捉えるのに驚くほど成功した。 しかし、LMの実際の表現能力の研究は、ほぼ間違いなく英語で行われている。 我々は23の語型的多様言語に対するクローゼスタイルプローブのベンチマークを作成する。
  論文  参考訳（メタデータ） (2020-10-13T05:29:56Z)
• Zero-Shot Cross-Lingual Transfer with Meta Learning [45.29398184889296]
  英語以外の言語ではほとんど、あるいは全くデータがない場合に、複数の言語でのトレーニングモデルの設定を同時に検討する。 メタラーニングを用いて、この挑戦的な設定にアプローチできることが示される。 我々は、標準教師付きゼロショットのクロスランガルと、異なる自然言語理解タスクのための数ショットのクロスランガル設定を用いて実験を行った。
  論文  参考訳（メタデータ） (2020-03-05T16:07:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。