論文の概要: Teaching LLMs a Low-Resource Language: Enhancing Code Completion in Pharo

• arxiv url: http://arxiv.org/abs/2607.04939v1
• Date: Mon, 06 Jul 2026 11:11:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:30.124028
• Title: Teaching LLMs a Low-Resource Language: Enhancing Code Completion in Pharo
• Title（参考訳）: LLMに低リソース言語を教える - Pharoにおけるコード補完の強化
• Abstract要約: 大きな言語モデル(LLM)は、自動化されたコード記述の新たな可能性を開き、ほとんどのコード補完ツールのバックボーンとなった。 LLMは主流言語に優れていますが、トレーニングデータが不足しているいわゆる低リソース言語のサポートを欠いていることが多いのです。 具体的な例としては、Smalltalkにインスパイアされた言語であるPharoがある。
• 参考スコア（独自算出の注目度）: 51.12236828558682
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) unlocked new possibilities in automated code writing, becoming the backbone of most code completion tools. While LLMs excel in mainstream languages, they often lack support for the so-called low-resource languages where training data is scarce. As a result, these languages lag behind in the quality of code completion tooling available to their communities. A concrete example is Pharo, a Smalltalk-inspired language whose IDE currently offers only single-token completion. In this work, we report on our experience bringing LLM-based code completion to Pharo. First, we describe an end-to-end pipeline that combines Pharo-specific data curation, continued pre-training and fine-tuning of open code LLMs. Second, we introduce a set of Pharo code completion benchmarks designed to evaluate whether models (i) learn Pharo's syntax and (ii) accurately complete masked Pharo code from real-world GitHub repositories. Third, we show empirically that Pharo-specialized models substantially outperform their original base checkpoints and also exceed the accuracy of substantially larger code LLMs on Pharo completion. Overall, our case study demonstrates the feasibility of bringing strong LLM-based code completion to low-resource programming languages, with models small enough to provide ``real-time'' in-IDE support.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、自動化されたコード記述の新たな可能性を開き、ほとんどのコード補完ツールのバックボーンとなった。 LLMは主流言語に優れていますが、トレーニングデータが不足しているいわゆる低リソース言語のサポートを欠いていることが多いのです。 その結果、これらの言語はコミュニティで利用可能なコード補完ツールの品質に遅れを取っている。 具体的な例としては、Smalltalkにインスパイアされた言語であるPharoがある。 本稿では LLM ベースのコード補完を Pharo に導入した経験について報告する。 まず、Pharo固有のデータキュレーション、トレーニングの継続、オープンコードLLMの微調整を組み合わせたエンドツーエンドパイプラインについて述べる。 第二に、モデルを評価するために設計されたPharoコード補完ベンチマークのセットを紹介する。 (i)ファロの文法を習い、 (ii) 現実世界のGitHubリポジトリからPharoコードを正確にマスクする。 第3に、ファロ特化モデルが元のベースチェックポイントを大幅に上回り、ファロ完備化におけるかなり大きなコードLLMの精度を上回ることを実証的に示す。 全体として、私たちのケーススタディは、低リソースのプログラミング言語に強力なLLMベースのコード補完をもたらす可能性を示します。

関連論文リスト

• No Resource, No Benchmarks, No Problem? Evaluating and Improving LLMs for Code Generation in No-Resource Languages [50.536461876371526]
  大規模言語モデル(LLM)は、ソフトウェアエンジニアリングタスクの自動化を進歩させた。 この分野のほとんどの研究は、豊富なトレーニングデータから恩恵を受ける、PythonやJavaのようなオープンソースの言語に焦点を当てている。 LLMがほとんど見ていないオープンソース言語では、トレーニングデータはほとんど研究されていない。
  論文  参考訳（メタデータ） (2026-06-15T15:08:55Z)
• LLM-JEPA: Large Language Models Meet Joint Embedding Predictive Architectures [50.494504099850325]
  大規模言語モデル(LLM)の事前訓練、微調整、評価は、入力空間の再構築と生成能力に依存している。 しかし、例えば、JEPA(Joint Embedding Predictive Architectures)のような埋め込み空間トレーニングの目的は、入力空間の目標よりもはるかに優れている。
  論文  参考訳（メタデータ） (2025-09-11T03:03:57Z)
• The Fools are Certain; the Wise are Doubtful: Exploring LLM Confidence in Code Completion [4.215010577170175]
  コードパープレキシティの測定により,コード生成時のLLM(Large Language Models)の信頼性を評価する。 強い型付け言語は動的型付け言語よりも難易度が低いことがわかった。 Perlは難易度が普遍的に高いが、Javaは低いように見える。
  論文  参考訳（メタデータ） (2025-08-22T06:51:13Z)
• I Can't Share Code, but I need Translation -- An Empirical Study on Code Translation through Federated LLM [3.9373541926236766]
  本研究は、参加者が効率の良いコード翻訳のためのFedLLMを共同開発できることを実証する。 この結果から,FedLLMはコード翻訳に協調的なアプローチを提供し,将来的な研究の方向性となる可能性が示唆された。
  論文  参考訳（メタデータ） (2025-01-10T05:43:36Z)
• RepoQA: Evaluating Long Context Code Understanding [12.329233433333416]
  RepoQAは、Large Language Models(LLM)を長文のコード理解で評価するためのベンチマークである。 RepoQAには、5つのモダンプログラミング言語にまたがる50の人気のあるリポジトリから収集された500のコード検索タスクが含まれている。
  論文  参考訳（メタデータ） (2024-06-10T05:15:30Z)
• MAP-Neo: Highly Capable and Transparent Bilingual Large Language Model Series [86.31735321970481]
  私たちはMAP-Neoをオープンソースにしました。これは、4.5Tの高品質トークン上で、スクラッチからトレーニングされた7Bパラメータを持つバイリンガル言語モデルです。 MAP-Neo は,既存の最先端 LLM と比較して性能が劣る初の完全オープンソースバイリンガル LLM である。
  論文  参考訳（メタデータ） (2024-05-29T17:57:16Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• Knowledge Transfer from High-Resource to Low-Resource Programming Languages for Code LLMs [2.9242435458494445]
  本稿では,半合成データを用いた低リソース言語上でのコードLLMの性能向上に有効な手法を提案する。 このアプローチを適用して,Julia,Lua,OCaml,R,Racketの各トレーニング項目を数万個生成する。
  論文  参考訳（メタデータ） (2023-08-19T03:19:01Z)
• Okapi: Instruction-tuned Large Language Models in Multiple Languages with Reinforcement Learning from Human Feedback [61.83548032416181]
  複数の言語を対象としたRLHFに基づく命令調整型LLMシステムであるOkapiを提案する。 オカピは26の多言語言語でインストラクションと応答ランクデータを導入し、将来の多言語LLM研究の促進と開発に役立てている。
  論文  参考訳（メタデータ） (2023-07-29T18:01:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。