論文の概要: LibEvolutionEval: A Benchmark and Study for Version-Specific Code Generation

• arxiv url: http://arxiv.org/abs/2412.04478v1
• Date: Tue, 19 Nov 2024 21:52:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-15 08:59:03.058712
• Title: LibEvolutionEval: A Benchmark and Study for Version-Specific Code Generation
• Title（参考訳）: LibEvolutionEval: バージョン固有のコード生成のためのベンチマークと研究
• Authors: Sachit Kuhar, Wasi Uddin Ahmad, Zijian Wang, Nihal Jain, Haifeng Qian, Baishakhi Ray, Murali Krishna Ramanathan, Xiaofei Ma, Anoop Deoras,
• Abstract要約: LibEvolutionEvalは,インラインコード補完を正確に行うために,ライブラリ進化の理解を必要とする研究である。 パブリック・モデルの評価を行い、パブリック・ライブラリの進化がモデルの性能に大きく影響することを発見した。 本稿では,検索したバージョン固有のライブラリの文書化と,高速に進化するパッケージを扱う際のモデルの能力向上について検討する。
• 参考スコア（独自算出の注目度）: 40.87656746406113
• License:
• Abstract: Recent advancements in code completion models have primarily focused on local file contexts. However, these studies do not fully capture the complexity of real-world software development, which often requires the use of rapidly-evolving public libraries. To fill the gap, we introduce LibEvolutionEval, a detailed study requiring an understanding of library evolution to perform in-line code completion accurately. LibEvolutionEval provides a version-specific code-completion task comprised of eight libraries (torch, torchvision, scipy, pil, tqdm, pyyaml, matplotlib, and pandas) as they evolve over the year along with a detailed analysis of the evolution of two popular and well-maintained public libraries: PyTorch and Matplotlib. We evaluate popular public models and find that public library evolution significantly influences model performance. We explored mitigation methods by studying how retrieved version-specific library documentation and prompting can improve the model's capability in handling these fast-evolving packages, paving a promising future path in better handling fast-evolving libraries.
• Abstract（参考訳）: コード補完モデルの最近の進歩は、主にローカルファイルコンテキストに焦点を当てている。 しかし、これらの研究は現実世界のソフトウェア開発の複雑さを完全に捉えていない。 このギャップを埋めるために,ライブラリの進化を理解する必要がある詳細な研究であるLibEvolutionEvalを紹介した。 LibEvolutionEvalは8つのライブラリ(torch, torchvision, scipy, pil, tqdm, pyyaml, matplotlib, pandas)で構成されるバージョン固有のコード補完タスクを提供する。 パブリック・モデルの評価を行い、パブリック・ライブラリの進化がモデルの性能に大きく影響することを発見した。 我々は、検索したバージョン固有のライブラリドキュメントと、これらの高速進化パッケージを扱う際のモデル能力の改善について研究し、高速進化ライブラリの扱いを改善するための将来性のある道筋をたどることにより、緩和方法を検討した。

関連論文リスト

• Deep Fast Machine Learning Utils: A Python Library for Streamlined Machine Learning Prototyping [0.0]
  Deep Fast Machine Learning Utils (DFMLU)ライブラリは、機械学習プロセスのアスペクトを自動化および拡張するために設計されたツールを提供する。 DFMLUはモデル開発とデータ処理をサポートする機能を提供します。 この原稿はDFMLUの機能の概要を示し、各ツールにPythonの例を提供している。
  論文  参考訳（メタデータ） (2024-09-14T21:39:17Z)
• LibCity: A Unified Library Towards Efficient and Comprehensive Urban Spatial-Temporal Prediction [74.08181247675095]
  既存の分野には、さまざまなフォーマットで使用が難しいオープンソースデータなど、制限がある。 我々は、研究者に信頼性のある実験ツールと便利な開発フレームワークを提供するオープンソースライブラリ、LibCityを提案する。
  論文  参考訳（メタデータ） (2023-04-27T17:19:26Z)
• SequeL: A Continual Learning Library in PyTorch and JAX [50.33956216274694]
  SequeLは継続学習のためのライブラリで、PyTorchとJAXフレームワークの両方をサポートする。 それは、正規化ベースのアプローチ、リプレイベースのアプローチ、ハイブリッドアプローチを含む、幅広い連続学習アルゴリズムのための統一インターフェースを提供する。 私たちはSequeLをオープンソースライブラリとしてリリースし、研究者や開発者が自身の目的で簡単にライブラリを実験し拡張することができます。
  論文  参考訳（メタデータ） (2023-04-21T10:00:22Z)
• An Empirical Study of Library Usage and Dependency in Deep Learning Frameworks [12.624032509149869]
  ピトルチ、カフェ、シキットルンはプロジェクトの18%と14%で最も頻度の高い組み合わせである。 開発者は同じプロジェクトで2つか3つのdlライブラリを使用し、同じ関数と同じファイルの両方で異なる複数のdlライブラリを使用する傾向がある。
  論文  参考訳（メタデータ） (2022-11-28T19:31:56Z)
• Pythae: Unifying Generative Autoencoders in Python -- A Benchmarking Use Case [0.0]
  我々はPythaeについて紹介する。Pythaeは多種多様なオープンソースPythonライブラリで、生成オートエンコーダモデルの単純で再現性があり、信頼性の高い利用を提供する。 本稿では、下流タスクにおける主な改善点として、19の生成オートエンコーダモデルを紹介し、比較する。
  論文  参考訳（メタデータ） (2022-06-16T17:11:41Z)
• Repro: An Open-Source Library for Improving the Reproducibility and Usability of Publicly Available Research Code [74.28810048824519]
  Reproは、研究コードのユーザビリティ向上を目的とした、オープンソースのライブラリである。 Dockerコンテナ内で研究者がリリースしたソフトウェアを実行するための軽量Python APIを提供する。
  論文  参考訳（メタデータ） (2022-04-29T01:54:54Z)
• SacreROUGE: An Open-Source Library for Using and Developing Summarization Evaluation Metrics [74.28810048824519]
  SacreROUGEは、要約評価メトリクスの使用と開発のためのオープンソースライブラリである。 このライブラリは、既存の評価メトリクスの公式実装に関するPythonラッパーを提供する。 ライブラリに実装されたメトリックが、人間による注釈付き判断とどの程度の相関があるかを評価する機能を提供する。
  論文  参考訳（メタデータ） (2020-07-10T13:26:37Z)
• Picasso: A Sparse Learning Library for High Dimensional Data Analysis in R and Python [77.33905890197269]
  本稿では,様々なスパース学習問題に対して,経路座標を統一的に最適化する新しいライブラリについて述べる。 ライブラリはR++でコード化されており、ユーザフレンドリーなスパース実験を行っている。
  論文  参考訳（メタデータ） (2020-06-27T02:39:24Z)
• fastai: A Layered API for Deep Learning [1.7223564681760164]
  fastaiは、実践者に高度なコンポーネントを提供するディープラーニングライブラリである。 これは研究者に、新しいアプローチを構築するために混在し、マッチできる低レベルのコンポーネントを提供する。
  論文  参考訳（メタデータ） (2020-02-11T21:16:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。