論文の概要: TypeEvalPy: A Micro-benchmarking Framework for Python Type Inference Tools

• arxiv url: http://arxiv.org/abs/2312.16882v2
• Date: Tue, 2 Jan 2024 08:30:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-03 19:15:40.553963
• Title: TypeEvalPy: A Micro-benchmarking Framework for Python Type Inference Tools
• Title（参考訳）: TypeEvalPy: Python型推論ツール用のマイクロベンチマークフレームワーク
• Authors: Ashwin Prasad Shivarpatna Venkatesh, Samkutty Sabu, Jiawei Wang, Amir M. Mir, Li Li, Eric Bodden
• Abstract要約: 本稿では,型推論ツールを評価するための包括的マイクロベンチマークフレームワークであるTypeEvalPyを紹介する。 TypeEvalPyには154のコードスニペットがあり、さまざまなPython機能をターゲットにした18のカテゴリに845の型アノテーションがある。 6つの型推論ツールのパフォーマンスを比較し、その強みと限界を強調します。
• 参考スコア（独自算出の注目度）: 8.180277548060538
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In light of the growing interest in type inference research for Python, both researchers and practitioners require a standardized process to assess the performance of various type inference techniques. This paper introduces TypeEvalPy, a comprehensive micro-benchmarking framework for evaluating type inference tools. TypeEvalPy contains 154 code snippets with 845 type annotations across 18 categories that target various Python features. The framework manages the execution of containerized tools, transforms inferred types into a standardized format, and produces meaningful metrics for assessment. Through our analysis, we compare the performance of six type inference tools, highlighting their strengths and limitations. Our findings provide a foundation for further research and optimization in the domain of Python type inference.
• Abstract（参考訳）: pythonの型推論研究への関心が高まる中、研究者も実践者も様々な型推論技術のパフォーマンスを評価するために標準化されたプロセスを必要としている。 本稿では,型推論ツールを評価するためのマイクロベンチマークフレームワークであるTypeEvalPyを紹介する。 TypeEvalPyには154のコードスニペットがあり、さまざまなPython機能をターゲットにした18のカテゴリに845の型アノテーションがある。 このフレームワークはコンテナ化されたツールの実行を管理し、推論された型を標準化されたフォーマットに変換し、アセスメントに意味のあるメトリクスを生成する。 分析を通じて,6つの型推論ツールの性能を比較し,その長所と限界を強調した。 我々の発見は、pythonの型推論の領域におけるさらなる研究と最適化の基盤を提供する。

関連論文リスト

• TIGER: A Generating-Then-Ranking Framework for Practical Python Type Inference [16.192704604206206]
  Pythonの動的型付けシステムは柔軟性と表現力を提供するが、型関連のエラーにつながる可能性がある。 TIGERはPythonの多様な型カテゴリを扱うための2段階生成レベル(GTR)フレームワークである。 ManyTypes4Pyデータセットに対する評価は、TIGERが様々な型カテゴリの既存のメソッドよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-02T09:29:02Z)
• Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
  最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。 より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。 これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
  論文  参考訳（メタデータ） (2024-03-26T12:47:39Z)
• Generative Type Inference for Python [62.01560866916557]
  本稿では静的解析から静的ドメイン知識を取り入れた数ショットの生成型推論手法であるTypeGenを紹介する。 TypeGenは、静的解析の型推論ステップを、型依存グラフ(TDG)に基づいたプロンプトに変換することで、COTプロンプトを生成する。 実験の結果、TypeGenは引数型予測では10.0%、Top-1 Exact Matchでは22.5%で最高のベースラインであるType4Pyを上回っている。
  論文  参考訳（メタデータ） (2023-07-18T11:40:31Z)
• Cross-Domain Evaluation of a Deep Learning-Based Type Inference System [0.44098366957385177]
  本研究では,最先端のディープラーニング型推論システムとして,Type4Pyについて検討する。 クラス不均衡、語彙外単語、データセットシフト、未知クラスといった問題に対処する。 我々のデータセットは、ソフトウェアプロジェクトの異なる領域における型推論システムの評価を可能にする。
  論文  参考訳（メタデータ） (2022-08-19T07:28:31Z)
• Classification Performance Metric Elicitation and its Applications [5.5637552942511155]
  その実践的関心にもかかわらず、機械学習アプリケーションのためのメトリクスの選択方法に関する正式なガイダンスは限られている。 この論文は、暗黙のユーザの嗜好を最も反映したパフォーマンスメトリックを選択するための原則的なフレームワークとして、メトリクスの誘惑を概説している。
  論文  参考訳（メタデータ） (2022-08-19T03:57:17Z)
• Benchmarking Generalization via In-Context Instructions on 1,600+ Language Tasks [95.06087720086133]
  Natural-Instructions v2 は 1,600 以上の多種多様な言語タスクとその専門家による命令のコレクションである。 ベンチマークでは、タグ付け、インフィル、書き換えなど、70以上の異なるタスクタイプがカバーされている。 このベンチマークにより、モデルのクロスタスク一般化の大規模評価が可能になる。
  論文  参考訳（メタデータ） (2022-04-16T03:12:30Z)
• LeQua@CLEF2022: Learning to Quantify [76.22817970624875]
  LeQua 2022は、テキストデータセットで'を定量化する方法を評価するための新しい実験室である。 本研究の目的は、バイナリ設定とシングルラベルのマルチクラス設定の両方において、学習方法の比較評価のための設定を提供することである。
  論文  参考訳（メタデータ） (2021-11-22T14:54:20Z)
• Query and Extract: Refining Event Extraction as Type-oriented Binary Decoding [51.57864297948228]
  本稿では,自然言語クエリとしてイベントタイプと引数ロールを取り入れた新しいイベント抽出フレームワークを提案する。 我々のフレームワークは、イベントタイプや引数ロールと入力テキストとのセマンティックな相関をよりよく捉えるための注意機構の恩恵を受ける。
  論文  参考訳（メタデータ） (2021-10-14T15:49:40Z)
• Type4Py: Deep Similarity Learning-Based Type Inference for Python [9.956021565144662]
  類似度学習に基づくpythonの型推論モデルであるtype4pyを提案する。 高次元空間における同種の型と異種の型を区別することを学ぶ階層的ニューラルネットワークモデルを設計する。 Top-1の予測を考えると、Type4PyはTypilusとTypeWriterよりも19.33%、13.49%高い精度である。
  論文  参考訳（メタデータ） (2021-01-12T13:32:53Z)
• Deep Learning Based Text Classification: A Comprehensive Review [75.8403533775179]
  本稿では,近年開発されたテキスト分類のための150以上のディープラーニングモデルについてレビューする。 また、テキスト分類に広く使われている40以上の一般的なデータセットの要約も提供する。
  論文  参考訳（メタデータ） (2020-04-06T02:00:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。