論文の概要: Automated Type Annotation in Python Using Large Language Models

• arxiv url: http://arxiv.org/abs/2508.00422v1
• Date: Fri, 01 Aug 2025 08:24:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-04 18:08:53.79809
• Title: Automated Type Annotation in Python Using Large Language Models
• Title（参考訳）: 大規模言語モデルを用いたPythonにおける自動型アノテーション
• Authors: Varun Bharti, Shashwat Jha, Dhruv Kumar, Pankaj Jalote,
• Abstract要約: 我々はPythonで型アノテーションを生成するための生成チェック修復パイプラインを開発した。 ManyTypes4Pyベンチマークから6000のコードスニペット上で4つのLLM変種を評価する。 この結果から,汎用性および推論性に最適化されたLCMは一貫性のある型アノテーションを生成するのに有効であることが示された。
• 参考スコア（独自算出の注目度）: 2.0686733932673604
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Type annotations in Python enhance maintainability and error detection. However, generating these annotations manually is error prone and requires extra effort. Traditional automation approaches like static analysis, machine learning, and deep learning struggle with limited type vocabularies, behavioral over approximation, and reliance on large labeled datasets. In this work, we explore the use of LLMs for generating type annotations in Python. We develop a generate check repair pipeline: the LLM proposes annotations guided by a Concrete Syntax Tree representation, a static type checker (Mypy) verifies them, and any errors are fed back for iterative refinement. We evaluate four LLM variants: GPT 4oMini, GPT 4.1mini (general-purpose), and O3Mini, O4Mini (reasoning optimized), on 6000 code snippets from the ManyTypes4Py benchmark. We first measure the proportion of code snippets annotated by LLMs for which MyPy reported no errors (i.e., consistent results): GPT 4oMini achieved consistency on 65.9% of cases (34.1% inconsistent), while GPT 4.1mini, O3Mini, and O4Mini each reached approximately 88.6% consistency (around 11.4% failures). To measure annotation quality, we then compute exact-match and base-type match accuracies over all 6000 snippets: GPT 4.1mini and O3Mini perform the best, achieving up to 70.5% exact match and 79.1% base type accuracy, requiring under one repair iteration on average. Our results demonstrate that general-purpose and reasoning optimized LLMs, without any task specific fine tuning or additional training can be effective in generating consistent type annotations.They perform competitively with traditional deep learning techniques which require large labeled dataset for training. While our work focuses on Python, the pipeline can be extended to other optionally typed imperative languages like Ruby
• Abstract（参考訳）: Pythonの型アノテーションは、メンテナンス性とエラー検出を強化する。 しかし、これらのアノテーションを手動で生成することはエラーを起こしやすく、余分な労力を要する。 静的解析、機械学習、ディープラーニングといった従来の自動化アプローチは、限定型語彙による苦労、近似に対する振る舞い、大規模ラベル付きデータセットへの依存などである。 本稿では,Python の型アノテーション生成における LLM の利用について検討する。 LLMは、コンクリート構文木表現でガイドされたアノテーションを提案し、静的型チェッカー(Mypy)がそれらを検証し、エラーを繰り返し修正するために送り返す。 GPT 4oMini, GPT 4.1mini(汎用), O3Mini, O4Mini(最適化)の4種類のLCMを, ManyTypes4Pyベンチマークから6000個のコードスニペットで評価した。 GPT 4oMiniは65.9%のケース(34.1%が矛盾)で一貫性を達成し、GPT 4.1mini、O3Mini、O4Miniはそれぞれ88.6%の一貫性(約11.4%の障害)に達した。 GPT 4.1miniとO3Miniは、70.5%の正確な一致と79.1%のベースタイプの精度を達成し、平均して1回の修理を繰り返している。 この結果から,タスク固有の微調整や追加のトレーニングを伴わずに,汎用性と推論を最適化したLCMが一貫した型アノテーションの生成に有効であることが示され,学習に大規模なラベル付きデータセットを必要とする従来のディープラーニング技術と競合する結果となった。 私たちの研究はPythonに焦点を当てていますが、パイプラインはオプションで型付けされた他の命令型言語(Rubyなど)にも拡張できます。

関連論文リスト

• GPT-4.1 Sets the Standard in Automated Experiment Design Using Novel Python Libraries [0.7905066238005297]
  大規模言語モデル(LLM)は、科学研究におけるコード生成を自動化するツールとして急速に進歩してきた。 本研究では,2つの難易度の高いシナリオに対して,関数型Pythonコードを生成する上で,最先端のLLMの選択を体系的にベンチマークする。
  論文  参考訳（メタデータ） (2025-07-30T13:11:29Z)
• Vuyko Mistral: Adapting LLMs for Low-Resource Dialectal Translation [0.0]
  本稿では,ウクライナのフツル方言に大規模な言語モデルを適用するための最初の取り組みを紹介する。 我々は、9852語対標準ウクライナ語の文対と7320語の単語マッピングの辞書の並列コーパスを作成しました。
  論文  参考訳（メタデータ） (2025-06-09T10:30:35Z)
• Tgea: An error-annotated dataset and benchmark tasks for text generation from pretrained language models [57.758735361535486]
  TGEAは、事前訓練された言語モデル(PLM)からテキストを生成するためのエラーアノテートデータセットである。 PLM生成文で発生する24種類の誤りを網羅する誤り分類を作成する。 PLM生成テキストに対する包括的なアノテーションを備えた最初のデータセットである。
  論文  参考訳（メタデータ） (2025-03-06T09:14:02Z)
• Where's the Bug? Attention Probing for Scalable Fault Localization [18.699014321422023]
  本稿では, 直接的位置付けラベルを使わずに, 最先端の故障位置付けを学習するBug Attention Probe(BAP)を提案する。 BAPは計算コストのごく一部で大きなオープンウェイトモデルよりもはるかに効率的である。
  論文  参考訳（メタデータ） (2025-02-19T18:59:32Z)
• Token-by-Token Regeneration and Domain Biases: A Benchmark of LLMs on Advanced Mathematical Problem-Solving [0.0]
  本研究は,MATHデータセットを用いて10大言語モデル(LLM)を70億から80億のパラメータで評価する。 焦点は、9450以上のコード実行を含む、推論プロセスのステップとして実行可能なPythonコードを生成する能力である。
  論文  参考訳（メタデータ） (2025-01-28T17:11:36Z)
• Not All Votes Count! Programs as Verifiers Improve Self-Consistency of Language Models for Math Reasoning [24.386388107656334]
  本稿では,自然言語から派生した翻訳プログラムを検証メカニズムとして活用するフレームワークであるProveを紹介する。 バニラ多数決とは異なり、我々の手法は、対応するプログラム出力が生成した解と矛盾する解をフィルタリングし、検証に合格する解のみを集約する。 以上の結果から,すべてのモデルサイズとデータセットにまたがる数学的推論タスクの解決において,Proveはバニラ多数投票を一貫して上回る結果となった。
  論文  参考訳（メタデータ） (2024-10-16T14:24:55Z)
• Leveraging Weakly Annotated Data for Hate Speech Detection in Code-Mixed Hinglish: A Feasibility-Driven Transfer Learning Approach with Large Language Models [0.0]
  混合コード低リソース言語におけるヘイトスピーチ検出は、大規模言語モデルの使用が有益であることが証明された活発な問題領域である。 そこで本研究では,100件のYouTubeコメントのデータセットを作成した。 すべてのアプローチにおいて、双方向自動回帰変換器(BART)を用いたゼロショット分類と、生成事前学習変換器3(ChatGPT-3)を用いた少数ショットプロンプトが最適である。
  論文  参考訳（メタデータ） (2024-03-04T15:27:49Z)
• In-Context Principle Learning from Mistakes [75.66979331850364]
  Incontext Learning(ICL)は、いくつかの入力出力例から学習することで、下流タスクにLLMを適用する標準的な方法である。 我々はこのパラダイムを再考し、数少ないインプット・アウトプットの例からより多くを学ぶ。
  論文  参考訳（メタデータ） (2024-02-08T04:42:29Z)
• Beyond Traditional Benchmarks: Analyzing Behaviors of Open LLMs on Data-to-Text Generation [0.0]
  データ・トゥ・テキスト(D2T)生成タスクにおけるオープン・大規模言語モデル(LLM)の挙動を解析する。 オープン LLM は,Quintd で収集した共通フォーマットのデータから,ゼロショット設定で,ゆるやかで一貫性のあるテキストを生成することができる。
  論文  参考訳（メタデータ） (2024-01-18T18:15:46Z)
• PandaLM: An Automatic Evaluation Benchmark for LLM Instruction Tuning Optimization [63.55408755562274]
  審査用大言語モデル PandaLM は、いくつかの大きな言語モデルが与えられた優れたモデルを区別するために訓練されている。 PandaLMは、相対的簡潔さ、明快さ、指示への固執、包括性、形式性などの重要な主観的要因に対処する。 PandaLMはGPT-3.5の評価能力の93.75%、テストデータセットのF1スコアの88.28%を達成している。
  論文  参考訳（メタデータ） (2023-06-08T10:41:56Z)
• QLoRA: Efficient Finetuning of Quantized LLMs [66.58009990713134]
  我々は,48GBのGPU上で65Bパラメータモデルを微調整するのに十分なメモリ使用量を削減する,効率的な微調整手法QLoRAを提案する。 QLoRAは凍結した4ビット量子化事前学習言語モデルを通して低ランクアダプタ(LoRA)に逆伝搬する 最高のモデルファミリであるGuanacoは、Vicunaベンチマークでリリースされたすべてのモデルより優れています。
  論文  参考訳（メタデータ） (2023-05-23T17:50:33Z)
• On the Blind Spots of Model-Based Evaluation Metrics for Text Generation [79.01422521024834]
  テキスト生成評価指標のロバスト性分析に有用であるが,しばしば無視される手法を探索する。 我々は、幅広い潜在的な誤差を設計、合成し、それらが測定値の余計な低下をもたらすかどうかを確認する。 私たちの実験では、既存のメトリクスの興味深い不感、バイアス、あるいは抜け穴が明らかになりました。
  論文  参考訳（メタデータ） (2022-12-20T06:24:25Z)
• Nonparametric Masked Language Modeling [113.71921977520864]
  既存の言語モデル(LM)は、有限語彙上のソフトマックスでトークンを予測する。 NPMは,このソフトマックスを参照コーパス内の各フレーズの非パラメトリック分布に置き換える最初の非パラメトリックマスク付き言語モデルである。 NPMは、コントラスト目的と全コーパス検索に対するバッチ内近似で効率的に訓練することができる。
  論文  参考訳（メタデータ） (2022-12-02T18:10:42Z)
• Meta-Generating Deep Attentive Metric for Few-shot Classification [53.07108067253006]
  本稿では,新しい数ショット学習タスクのための特定のメトリックを生成するための,新しい深度メタジェネレーション手法を提案する。 本研究では,各タスクの識別基準を生成するのに十分なフレキシブルな3層深い注意ネットワークを用いて,メトリクスを構造化する。 特に挑戦的なケースでは、最先端の競合他社よりも驚くほどパフォーマンスが向上しています。
  論文  参考訳（メタデータ） (2020-12-03T02:07:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。