論文の概要: Prompt Less, Infer More: Static Analysis-Guided LLM Type Annotation for Python
- arxiv url: http://arxiv.org/abs/2610.41617v1
- Date: Fri, 30 Oct 2026 11:56:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.694848
- Title: Prompt Less, Infer More: Static Analysis-Guided LLM Type Annotation for Python
- Title(参考訳): Prompt Less, Infer More: Python用の静的解析ガイド付きLLM型アノテーション
- Abstract要約: 静的解析によって導かれる LLM 型推論システム SALT について述べる。
SALTは静的解析とLLM推論を統合し、静的な型解決、LLMクエリの優先順位付け、簡潔な型認識コンテキストの構築を行う。
SALTは評価システムの中で最高の精度を達成し、強力なコーディングアシストベースラインと比較して推定LCMコストを78.5%削減する。
- 参考スコア(独自算出の注目度): 20.175065814946244
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Type annotations improve the maintainability and reliability of Python programs, but many real-world projects remain under-annotated because manual annotation is time-consuming and error-prone. Recent neural and LLM-based type inference systems can recover missing annotations, yet they often trade accuracy for efficiency. Existing approaches often fail to exploit project-wide type evidence, or do so inefficiently through unnecessary model calls and noisy prompts. We present SALT, an LLM-based type inference system guided by static analysis. SALT integrates static analysis with LLM inference to resolve types statically, prioritize LLM queries, and construct concise type-aware context. To demonstrate the effectiveness of SALT, we evaluated it on 12 real-world Python projects. SALT achieves the best accuracy among the evaluated systems and reduces estimated LLM cost by up to 78.5% compared with a strong coding-assistant baseline. It also shows similar cost savings with the frontier model GPT-5.5, demonstrating that SALT remains effective with strong LLMs.
- Abstract(参考訳): 型アノテーションはPythonプログラムの保守性と信頼性を向上させるが、手動によるアノテーションは時間がかかりエラーが発生しやすいため、現実の多くのプロジェクトはアンダーアノテーションのままである。
最近のニューラルおよびLLMベースの型推論システムは、欠落したアノテーションを回復することができるが、しばしば効率のために正確さを交換する。
既存のアプローチでは、プロジェクト全体の型証拠を活用できない場合や、不要なモデル呼び出しやノイズの多いプロンプトによって非効率に行う場合が多い。
静的解析によって導かれる LLM 型推論システム SALT について述べる。
SALTは静的解析とLLM推論を統合し、静的な型解決、LLMクエリの優先順位付け、簡潔な型認識コンテキストの構築を行う。
SALTの有効性を実証するため,実世界のPythonプロジェクトで評価を行った。
SALTは評価システムの中で最高の精度を達成し、強力なコーディングアシストベースラインと比較して推定LCMコストを78.5%削減する。
また、フロンティアモデル GPT-5.5 と同様のコスト削減を示し、SALT が強力な LLM で有効であることを示した。
関連論文リスト
- Teaching Language Models to Check Grounded Claim Factuality with Human Test-Taking Strategies [0.9867902290081937]
検索強化生成のような大規模言語モデル(LLM)アプリケーションでは,根拠付きクレームの事実性チェックが重要である。
本報告では, 根拠付き事実性チェックを真偽読解タスクとして定式化することによって, この問題に対処する。
本手法は未案内のオープンエンド推論と比較してトークン使用率を80%以上削減する。
論文 参考訳(メタデータ) (2026-05-28T10:11:42Z) - Large Language Model Hacking: Quantifying the Hidden Risks of Using LLMs for Text Annotation [66.84286617519258]
大規模言語モデルは、データアノテーションやテキスト分析といった労働集約的なタスクの自動化を可能にすることで、社会科学の研究を変革している。
このような変異は、系統的なバイアスやランダムなエラーを導入し、下流の分析に伝播し、タイプI(偽陽性)、タイプII(偽陰性)、タイプS(重み付け効果)、タイプM(誇張効果)のエラーを引き起こす。
意図的なLSMハッキングは驚くほど単純であることがわかった。21の社会科学研究から37のデータアノテーションタスクを複製することで、ほんのわずかのプロンプトの言い回しで、事実上何であれ統計的に重要なものとして表現できることがわかりました。
論文 参考訳(メタデータ) (2025-09-10T17:58:53Z) - Unmasking the Genuine Type Inference Capabilities of LLMs for Java Code Snippets [8.294192850975767]
大規模言語モデル(LLM)は、オンラインコードスニペットの型推論に使用される。
評価に使用されるベンチマークであるStatType-SOは、2017年からGitHubで公開されている。
本稿では,Java コードスニペット上での LLM の真の型推論能力を包括的に評価する。
論文 参考訳(メタデータ) (2025-03-06T04:13:40Z) - From Yes-Men to Truth-Tellers: Addressing Sycophancy in Large Language Models with Pinpoint Tuning [91.79567270986901]
大規模言語モデル(LLM)は、ユーザプロンプトへの順守を、妥当な応答よりも優先する傾向がある。
近年の研究では、教師付き微調整(SFT)を用いて、梅毒問題を軽減することが提案されている。
そこで本研究では,特定の目的のために関心のあるモジュールを調整した新しいピンポイントチューニング(SPT)を提案する。
論文 参考訳(メタデータ) (2024-09-03T07:01:37Z) - ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
本稿では,LLMベースのフレームワークであるReEvalについて述べる。
本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。
我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
論文 参考訳(メタデータ) (2023-10-19T06:37:32Z) - Assessing the Reliability of Large Language Model Knowledge [78.38870272050106]
大規模言語モデル(LLM)は、知識探索タスクにおける高い性能のため、知識ベースとして扱われてきた。
LLMが実際に正しい答えを連続的に生成する能力をどのように評価するか。
LLMの信頼性を直接測定するための新しい指標であるMOdel kNowledge relIabiliTy score (MONITOR)を提案する。
論文 参考訳(メタデータ) (2023-10-15T12:40:30Z) - Interpreting Learned Feedback Patterns in Large Language Models [31.133685891389774]
我々は、微調整言語モデルのアクティベーションにおいて暗黙的にフィードバック信号を推定するプローブを訓練する。
これらの推定値を真のフィードバックと比較し、LFPの精度を微調整フィードバックと比較する。
我々は、GPT-4が記述し、LFPに関連するものとして分類する特徴に対して、正のフィードバック入力と相関する神経特徴を比較して、プローブを検証する。
論文 参考訳(メタデータ) (2023-10-12T09:36:03Z) - Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。
より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。
この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
論文 参考訳(メタデータ) (2023-09-20T09:23:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。