論文の概要: BioCoder: A Benchmark for Bioinformatics Code Generation with Contextual Pragmatic Knowledge

• arxiv url: http://arxiv.org/abs/2308.16458v4
• Date: Mon, 4 Dec 2023 11:05:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 22:34:54.378575
• Title: BioCoder: A Benchmark for Bioinformatics Code Generation with Contextual Pragmatic Knowledge
• Title（参考訳）: BioCoder: 文脈論的知識を用いたバイオインフォマティクスコード生成ベンチマーク
• Authors: Xiangru Tang, Bill Qian, Rick Gao, Jiakang Chen, Xinyun Chen, Mark Gerstein
• Abstract要約: バイオインフォマティクス固有のコードを生成する際に,大規模言語モデル(LLM)を評価するために開発されたベンチマークであるBioCoderを提案する。 BioCoderは、フィールドの幅広い範囲にまたがって、ファイル間の依存関係、クラス宣言、グローバル変数をカバーする。 モデルの成功は、機能的な依存関係に対して、完全なコンテキストで長いプロンプトを許容できることを示します。
• 参考スコア（独自算出の注目度）: 29.427854840949234
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained large language models have significantly improved code generation. As these models scale up, there is an increasing need for the output to handle more intricate tasks and to be appropriately specialized to particular domains. Here, we target bioinformatics due to the amount of specialized domain knowledge, algorithms, and data operations this discipline requires. We present BioCoder, a benchmark developed to evaluate large language models (LLMs) in generating bioinformatics-specific code. BioCoder spans a broad spectrum of the field and covers cross-file dependencies, class declarations, and global variables. It incorporates 1026 Python functions and 1243 Java methods extracted from GitHub, along with 253 examples from the Rosalind Project, all pertaining to bioinformatics. Using topic modeling we show that overall coverage of the included code is representative of the full spectrum of bioinformatics calculations. BioCoder incorporates a fuzz-testing framework for evaluation. We have applied it to evaluate many models including InCoder, CodeGen, CodeGen2, SantaCoder, StarCoder, StarCoder+, InstructCodeT5+, GPT-3.5, and GPT-4. Furthermore, we finetuned StarCoder, demonstrating how our dataset can effectively enhance the performance of LLMs on our benchmark (by >15% in terms of Pass@K in certain prompt configurations and always >3%). The results highlight two key aspects of successful models: (1) Successful models accommodate a long prompt (> ~2600 tokens) with full context, for functional dependencies. (2) They contain specific domain knowledge of bioinformatics, beyond just general coding knowledge. This is evident from the performance gain of GPT-3.5/4 compared to the smaller models on the benchmark (50% vs up to ~25%). Our dataset, benchmark, Docker images, and scripts required for testing are all available at https://github.com/gersteinlab/biocoder.
• Abstract（参考訳）: 事前訓練された大きな言語モデルはコード生成を大幅に改善した。 これらのモデルが拡大するにつれて、アウトプットがより複雑なタスクを処理し、特定のドメインに適切に特化する必要がある。 ここでは、この専門分野に必要な専門知識、アルゴリズム、データ操作の量により、バイオインフォマティクスを対象とする。 バイオインフォマティクス固有のコードを生成する際に,大規模言語モデル(LLM)を評価するために開発されたベンチマークであるBioCoderを提案する。 biocoderはフィールドの幅広いスペクトルにまたがり、クロスファイルの依存関係、クラス宣言、グローバル変数をカバーする。 その中には、GitHubから抽出された1026のPython関数と1243のJavaメソッドと、バイオインフォマティクスに関連するRosalindプロジェクトから253のサンプルが含まれている。 トピックモデリングを用いて、包含されたコード全体のカバレッジは、バイオインフォマティクス計算の完全なスペクトルを表していることを示す。 BioCoderは、評価のためのファズテストフレームワークを組み込んでいる。 InCoder, CodeGen, CodeGen2, SantaCoder, StarCoder, StarCoder+, InstructCodeT5+, GPT-3.5, GPT-4 など,多くのモデルの評価に採用しました。 さらに、StarCoderを微調整し、私たちのデータセットがベンチマーク上でLLMのパフォーマンスを効果的に向上する方法を実証しました(特定のプロンプト構成ではPass@Kで15%、常に3%)。 1) 成功したモデルは、機能的な依存関係のために、完全なコンテキストを持つ長いプロンプト(> ~2600トークン)を許容します。 2) バイオインフォマティクスの特定のドメイン知識は, 一般のコーディング知識以外にも含んでいる。 これはgpt-3.5/4がベンチマークのより小さいモデルと比較した場合(50%対25%)から明らかである。 テストに必要なデータセット、ベンチマーク、dockerイメージ、スクリプトはすべて、https://github.com/gersteinlab/biocoderで利用可能です。

関連論文リスト

• Does Your Neural Code Completion Model Use My Code? A Membership Inference Approach [66.51005288743153]
  本稿では,現在のニューラルコード補完モデルの法的および倫理的問題について考察する。 私たちは、もともと分類タスクのために作られたメンバシップ推論アプローチ(CodeMIと呼ばれる)を調整します。 我々は,この適応型アプローチの有効性を,多種多様なニューラルコード補完モデルで評価した。
  論文  参考訳（メタデータ） (2024-04-22T15:54:53Z)
• StarCoder 2 and The Stack v2: The Next Generation [105.93298676368798]
  私たちは3.3から4.3兆のトークンで3B、7B、15BパラメータでStarCoder2モデルをトレーニングします。 我々は、それらをCode LLMベンチマークの包括的なセットで徹底的に評価する。 私たちの大きなモデルであるStarCoder2-15Bは、同等の大きさの他のモデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-02-29T13:53:35Z)
• GenCode: A Generic Data Augmentation Framework for Boosting Deep Learning-Based Code Understanding [28.02426812004216]
  我々は、コード理解モデルのトレーニングを強化するために、汎用データ拡張フレームワークGenCodeを導入する。 GenCodeの有効性を評価するため、4つのコード理解タスクと3つの事前学習されたコードモデルの実験を行った。 最先端(SOTA)のコード拡張手法であるMixCodeと比較すると、GenCodeは平均で2.92%高い精度と4.90%の堅牢性を持つコードモデルを生成する。
  論文  参考訳（メタデータ） (2024-02-24T08:57:12Z)
• LLM-Assisted Code Cleaning For Training Accurate Code Generators [53.087019724256606]
  コードの品質を調査した結果,より構造化され,読みやすくなれば,コード生成性能が向上することがわかった。 私たちは、これらの原則を使って既存のプログラムを変換する、新しいデータクリーニングパイプラインを構築します。 提案手法を2つのアルゴリズムコード生成ベンチマークで評価した結果,微調整のCodeLLaMa-7Bでは,元のデータセットの微調整に比べて最大30%性能が向上していることがわかった。
  論文  参考訳（メタデータ） (2023-11-25T02:45:50Z)
• Leveraging Generative AI: Improving Software Metadata Classification with Generated Code-Comment Pairs [0.0]
  ソフトウェア開発では、コードの理解とコラボレーションを強化する上で、コードコメントが重要な役割を果たす。 本研究では,コードコメントを「有用」あるいは「有用でない」と客観的に分類する課題について論じる。 本稿では,この分類プロセスを自動化するために,コンテキスト化された埋め込み,特にBERTを利用する新しいソリューションを提案する。
  論文  参考訳（メタデータ） (2023-10-14T12:09:43Z)
• CodeGen2: Lessons for Training LLMs on Programming and Natural Languages [116.74407069443895]
  我々はエンコーダとデコーダベースのモデルを単一のプレフィックスLMに統一する。 学習方法は,「フリーランチ」仮説の主張を考察する。 データ配信においては,混合分布と多言語学習がモデル性能に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2023-05-03T17:55:25Z)
• Enriching Source Code with Contextual Data for Code Completion Models: An Empirical Study [4.438873396405334]
  コンテクストデータを用いてコードを理解しやすくすることで、コード補完作業のための事前学習された言語モデルの性能が向上するかどうかを問う。 コメントについては、マルチラインコメントの存在下でモデルの性能が向上していることが分かる。
  論文  参考訳（メタデータ） (2023-04-24T17:09:14Z)
• SantaCoder: don't reach for the stars! [27.050410834027705]
  BigCodeプロジェクトは、コードのための大規模言語モデルの責任ある開発に取り組んでいる、オープン・サイエンティフィックなコラボレーションである。 The StackのJava,JavaScript,Pythonサブセットで1.1Bパラメータモデルをトレーニングし,MultiPL-Eのテキスト・トゥ・コードベンチマークで評価する。 私たちの最良のモデルは、MultiPL-EのJava、JavaScript、Pythonの各部分の左から右への生成とインフィルで、以前のオープンソース多言語コード生成モデルより優れています。
  論文  参考訳（メタデータ） (2023-01-09T10:52:35Z)
• CodeExp: Explanatory Code Document Generation [94.43677536210465]
  既存のコード・トゥ・テキスト生成モデルは、コードの高レベルな要約のみを生成する。 我々は、コードのための高品質な説明記述の基準を特定するために、人間の研究を行う。 タスクのための多段階微調整戦略とベースラインモデルを提案する。
  論文  参考訳（メタデータ） (2022-11-25T18:05:44Z)
• Enhancing Semantic Code Search with Multimodal Contrastive Learning and Soft Data Augmentation [50.14232079160476]
  コード検索のためのマルチモーダルコントラスト学習とソフトデータ拡張を用いた新しい手法を提案する。 我々は,6つのプログラミング言語を用いた大規模データセットにおけるアプローチの有効性を評価するために,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2022-04-07T08:49:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。