Fugu-MT 論文翻訳(概要): Kotlin ML Pack: Technical Report

論文の概要: Kotlin ML Pack: Technical Report

arxiv url: http://arxiv.org/abs/2405.19250v1
Date: Wed, 29 May 2024 16:33:50 GMT
ステータス: 処理完了
システム内更新日: 2024-05-30 16:12:12.386943
Title: Kotlin ML Pack: Technical Report
Title（参考訳）: Kotlin ML Pack: テクニカルレポート
Authors: Sergey Titov, Mikhail Evtikhiev, Anton Shapkin, Oleg Smirnov, Sergei Boytsov, Sergei Boytsov, Dariia Karaeva, Maksim Sheptyakov, Mikhail Arkhipov, Timofey Bryksin, Egor Bogomolov,
Abstract要約: 我々は、Kotlinコードの3つの新しいデータセット、KStack、KStack-clean、KExercisesを提示します。また、人間の専門家がKotlinに書き直したHumanEvalベンチマークのバージョンも提示します。
参考スコア（独自算出の注目度）: 5.691600667043724
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this technical report, we present three novel datasets of Kotlin code: KStack, KStack-clean, and KExercises. We also describe the results of fine-tuning CodeLlama and DeepSeek models on this data. Additionally, we present a version of the HumanEval benchmark rewritten by human experts into Kotlin - both the solutions and the tests. Our results demonstrate that small, high-quality datasets (KStack-clean and KExercises) can significantly improve model performance on code generation tasks, achieving up to a 16-point increase in pass rate on the HumanEval benchmark. Lastly, we discuss potential future work in the field of improving language modeling for Kotlin, including the use of static analysis tools in the learning process and the introduction of more intricate and realistic benchmarks.
Abstract（参考訳）: この技術レポートでは、Kotlinコードの新しいデータセットとして、KStack、KStack-clean、KExercisesの3つを紹介します。また、このデータに基づいてCodeLlamaとDeepSeekの微調整結果についても述べる。さらに、人間の専門家がKotlinに書き直したHumanEvalベンチマークのバージョン(ソリューションとテストの両方)も提示します。この結果から,KStack-cleanとKExercisesはコード生成タスクのモデル性能を大幅に向上し,HumanEvalベンチマークのパスレートが16ポイント向上することを示した。最後に、学習プロセスにおける静的解析ツールの使用や、より複雑で現実的なベンチマークの導入など、Kotlinの言語モデリングの改善分野における今後の課題について論じる。

関連論文リスト

UnitCoder: Scalable Iterative Code Synthesis with Unit Test Guidance [65.01483640267885]
大きな言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示してきたが、コード生成は依然として大きな課題である。私たちは、モデル生成ユニットテストを活用してコード生成プロセスのガイドと検証を行う、システマティックパイプラインであるUnitCoderを紹介します。我々の研究は、モデル生成単体テストを利用して、事前学習コーパスから高品質なコードデータの合成を誘導するスケーラブルなアプローチを提案する。
論文参考訳（メタデータ） (2025-02-17T05:37:02Z)
CoCoNUT: Structural Code Understanding does not fall out of a tree [4.081759833067852]
大規模言語モデル(LLM)は、構造化されたデータと非構造化されたテキストデータの両方を含む幅広いタスクにおいて、印象的なパフォーマンスを示している。コード生成、修復、あるいは補完のための様々なベンチマークの最近の結果は、あるモデルが人間に匹敵するプログラミング能力を持っていることを示唆している。このようなベンチマークにおけるハイパフォーマンスは、コードの構造的制御フローを理解する人間固有の能力と相関しないことを示す。
論文参考訳（メタデータ） (2025-01-27T19:29:11Z)
KAE: Kolmogorov-Arnold Auto-Encoder for Representation Learning [2.6713407440802253]
Kolmogorov-Arnold Network (KAN)は、最近、従来の多層パーセプトロン(MLP)の代替として注目されている。本稿では,KAE(Kolmogorov-Arnold AutoEncoder)について紹介する。ベンチマークデータセットの実験では、KAEは遅延表現の品質を改善し、再構成エラーを低減し、下流タスクで優れたパフォーマンスを達成する。
論文参考訳（メタデータ） (2024-12-31T12:49:03Z)
Can Models Help Us Create Better Models? Evaluating LLMs as Data Scientists [41.94295877935867]
データサイエンスにおける最も知識集約的な課題の1つに取り組むために設計された,大規模言語モデルのベンチマークを示す。提案手法のFeatEngは,LLMの幅広い能力を安価かつ効率的に評価できることを実証する。
論文参考訳（メタデータ） (2024-10-30T17:59:01Z)
How Do Your Code LLMs Perform? Empowering Code Instruction Tuning with High-Quality Data [26.836532205017104]
多くのデータセットが深刻なデータ漏洩に悩まされていることが分かりました。この発見は、どのデータセットが真に高品質なコード命令データであるかを識別する、という新しい課題を明らかにしている。我々は、LLaMA3から微調整されたモデルのファミリーであるXCoderを紹介する。
論文参考訳（メタデータ） (2024-09-05T17:46:30Z)
PIRB: A Comprehensive Benchmark of Polish Dense and Hybrid Text Retrieval Methods [0.552480439325792]
ポーランド語情報検索ベンチマーク(PIRB, Polish Information Retrieval Benchmark)は、ポーランド語のための41のテキスト情報検索タスクを含む総合的な評価フレームワークである。このベンチマークには、既存のデータセットに加えて、医学、法律、ビジネス、物理学、言語学など、さまざまなトピックをカバーする、10の新しい未発表データセットが含まれている。我々は,20以上の密度・疎度検索モデルの評価を行い,そのベースラインモデルについて検討した。
論文参考訳（メタデータ） (2024-02-20T19:53:36Z)
Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
論文参考訳（メタデータ） (2024-01-28T08:56:49Z)
QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文参考訳（メタデータ） (2023-11-06T00:21:44Z)
FLASK: Fine-grained Language Model Evaluation based on Alignment Skill Sets [69.91340332545094]
FLASKは、人間に基づく評価とモデルに基づく評価の両方のためのきめ細かい評価プロトコルである。モデル性能の全体像を得るためには,評価の微粒化が重要であることを実験的に観察する。
論文参考訳（メタデータ） (2023-07-20T14:56:35Z)
CodeExp: Explanatory Code Document Generation [94.43677536210465]
既存のコード・トゥ・テキスト生成モデルは、コードの高レベルな要約のみを生成する。我々は、コードのための高品質な説明記述の基準を特定するために、人間の研究を行う。タスクのための多段階微調整戦略とベースラインモデルを提案する。
論文参考訳（メタデータ） (2022-11-25T18:05:44Z)
GEMv2: Multilingual NLG Benchmarking in a Single Line of Code [161.1761414080574]
Generation, Evaluation, and Metrics Benchmarkは、データセット、モデル、メトリック開発者のためのモジュラーインフラストラクチャを提供する。 GEMv2は51言語で40のドキュメントデータセットをサポートする。すべてのデータセットのモデルはオンラインで評価でき、インタラクティブなデータカード作成とレンダリングツールによって、生きたベンチマークに新しいデータセットを簡単に追加できます。
論文参考訳（メタデータ） (2022-06-22T17:52:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。