Fugu-MT 論文翻訳(概要): Kotlin ML Pack: Technical Report

論文の概要: Kotlin ML Pack: Technical Report

arxiv url: http://arxiv.org/abs/2405.19250v1
Date: Wed, 29 May 2024 16:33:50 GMT
ステータス: 処理完了
システム内更新日: 2024-05-30 16:12:12.386943
Title: Kotlin ML Pack: Technical Report
Title（参考訳）: Kotlin ML Pack: テクニカルレポート
Authors: Sergey Titov, Mikhail Evtikhiev, Anton Shapkin, Oleg Smirnov, Sergei Boytsov, Sergei Boytsov, Dariia Karaeva, Maksim Sheptyakov, Mikhail Arkhipov, Timofey Bryksin, Egor Bogomolov,
Abstract要約: 我々は、Kotlinコードの3つの新しいデータセット、KStack、KStack-clean、KExercisesを提示します。また、人間の専門家がKotlinに書き直したHumanEvalベンチマークのバージョンも提示します。
参考スコア（独自算出の注目度）: 5.691600667043724
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this technical report, we present three novel datasets of Kotlin code: KStack, KStack-clean, and KExercises. We also describe the results of fine-tuning CodeLlama and DeepSeek models on this data. Additionally, we present a version of the HumanEval benchmark rewritten by human experts into Kotlin - both the solutions and the tests. Our results demonstrate that small, high-quality datasets (KStack-clean and KExercises) can significantly improve model performance on code generation tasks, achieving up to a 16-point increase in pass rate on the HumanEval benchmark. Lastly, we discuss potential future work in the field of improving language modeling for Kotlin, including the use of static analysis tools in the learning process and the introduction of more intricate and realistic benchmarks.
Abstract（参考訳）: この技術レポートでは、Kotlinコードの新しいデータセットとして、KStack、KStack-clean、KExercisesの3つを紹介します。また、このデータに基づいてCodeLlamaとDeepSeekの微調整結果についても述べる。さらに、人間の専門家がKotlinに書き直したHumanEvalベンチマークのバージョン(ソリューションとテストの両方)も提示します。この結果から,KStack-cleanとKExercisesはコード生成タスクのモデル性能を大幅に向上し,HumanEvalベンチマークのパスレートが16ポイント向上することを示した。最後に、学習プロセスにおける静的解析ツールの使用や、より複雑で現実的なベンチマークの導入など、Kotlinの言語モデリングの改善分野における今後の課題について論じる。

関連論文リスト

Can Models Help Us Create Better Models? Evaluating LLMs as Data Scientists [41.94295877935867]
データサイエンスにおける最も知識集約的な課題の1つに取り組むために設計された,大規模言語モデルのベンチマークを示す。提案手法のFeatEngは,LLMの幅広い能力を安価かつ効率的に評価できることを実証する。
論文参考訳（メタデータ） (2024-10-30T17:59:01Z)
How Do Your Code LLMs Perform? Empowering Code Instruction Tuning with High-Quality Data [26.836532205017104]
多くのデータセットが深刻なデータ漏洩に悩まされていることが分かりました。この発見は、どのデータセットが真に高品質なコード命令データであるかを識別する、という新しい課題を明らかにしている。我々は、LLaMA3から微調整されたモデルのファミリーであるXCoderを紹介する。
論文参考訳（メタデータ） (2024-09-05T17:46:30Z)
SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
論文参考訳（メタデータ） (2024-08-28T06:33:03Z)
Numerical Literals in Link Prediction: A Critical Examination of Models and Datasets [2.5999037208435705]
数値リテラルを組み込んだリンク予測モデルは、既存のベンチマークデータセットに対してわずかに改善されている。モデルが数値リテラルを使用するのに実際に優れているのか、あるいはグラフ構造を利用するのに優れているのかは、不明である。本稿では,数値リテラルを組み込んだLPモデルの評価手法を提案する。
論文参考訳（メタデータ） (2024-07-25T17:55:33Z)
PIRB: A Comprehensive Benchmark of Polish Dense and Hybrid Text Retrieval Methods [0.552480439325792]
ポーランド語情報検索ベンチマーク(PIRB, Polish Information Retrieval Benchmark)は、ポーランド語のための41のテキスト情報検索タスクを含む総合的な評価フレームワークである。このベンチマークには、既存のデータセットに加えて、医学、法律、ビジネス、物理学、言語学など、さまざまなトピックをカバーする、10の新しい未発表データセットが含まれている。我々は,20以上の密度・疎度検索モデルの評価を行い,そのベースラインモデルについて検討した。
論文参考訳（メタデータ） (2024-02-20T19:53:36Z)
Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
論文参考訳（メタデータ） (2024-01-28T08:56:49Z)
QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文参考訳（メタデータ） (2023-11-06T00:21:44Z)
FLASK: Fine-grained Language Model Evaluation based on Alignment Skill Sets [69.91340332545094]
FLASKは、人間に基づく評価とモデルに基づく評価の両方のためのきめ細かい評価プロトコルである。モデル性能の全体像を得るためには,評価の微粒化が重要であることを実験的に観察する。
論文参考訳（メタデータ） (2023-07-20T14:56:35Z)
Better Language Models of Code through Self-Improvement [18.75015225501755]
コードのための事前学習言語モデル(PLMC)のための単純なデータ拡張フレームワークを提案する。本フレームワークは,事前学習と微調整の段階で得られた知識を利用して擬似データを生成し,次のステップのトレーニングデータとして利用する。その結果,コード関連シーケンス生成タスクにおいて,PLMCの性能が大幅に向上することが示唆された。
論文参考訳（メタデータ） (2023-04-02T10:59:19Z)
CodeExp: Explanatory Code Document Generation [94.43677536210465]
既存のコード・トゥ・テキスト生成モデルは、コードの高レベルな要約のみを生成する。我々は、コードのための高品質な説明記述の基準を特定するために、人間の研究を行う。タスクのための多段階微調整戦略とベースラインモデルを提案する。
論文参考訳（メタデータ） (2022-11-25T18:05:44Z)
GEMv2: Multilingual NLG Benchmarking in a Single Line of Code [161.1761414080574]
Generation, Evaluation, and Metrics Benchmarkは、データセット、モデル、メトリック開発者のためのモジュラーインフラストラクチャを提供する。 GEMv2は51言語で40のドキュメントデータセットをサポートする。すべてのデータセットのモデルはオンラインで評価でき、インタラクティブなデータカード作成とレンダリングツールによって、生きたベンチマークに新しいデータセットを簡単に追加できます。
論文参考訳（メタデータ） (2022-06-22T17:52:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。