論文の概要: MetaLint: Generalizable Idiomatic Code Quality Analysis through Instruction-Following and Easy-to-Hard Generalization
- arxiv url: http://arxiv.org/abs/2507.11687v1
- Date: Tue, 15 Jul 2025 19:44:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-17 19:00:11.124815
- Title: MetaLint: Generalizable Idiomatic Code Quality Analysis through Instruction-Following and Easy-to-Hard Generalization
- Title(参考訳): MetaLint: 指示追従と難易度一般化による一般化可能な慣用コード品質分析
- Authors: Atharva Naik, Lawanya Baghel, Dhakshin Govindarajan, Darsh Agrawal, Daniel Fried, Carolyn Rose,
- Abstract要約: コード品質分析を定式化する新しいインストラクションフォローフレームワークであるMetaLintを紹介する。
静的なルールベースのデータでモデルをトレーニングする従来のアプローチとは異なり、MetaLintは、簡単にハードな一般化をサポートするために合成Linter生成データに命令チューニングを採用する。
その結果,MetaLintはPEPイディオムに対する一般化を向上し,Idiom検出において70.37%のFスコアを達成し,すべての評価モデルの中で最も高いリコール(70.43%)を達成した。
- 参考スコア(独自算出の注目度): 13.780401468712608
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models, though successful in code generation, struggle with code quality analysis because they are limited by static training data and can't easily adapt to evolving best practices. We introduce MetaLint, a new instruction-following framework that formulates code quality analysis as the task of detecting and fixing problematic semantic code fragments or code idioms based on high-level specifications. Unlike conventional approaches that train models on static, rule-based data, MetaLint employs instruction tuning on synthetic linter-generated data to support easy-to-hard generalization, enabling models to adapt to novel or complex code patterns without retraining. To evaluate this, we construct a benchmark of challenging idioms inspired by real-world coding standards such as Python Enhancement Proposals (PEPs) and assess whether MetaLint-trained models reason adaptively or simply memorize. Our results show that MetaLint improves generalization to unseen PEP idioms, achieving a 70.37% F-score on idiom detection with the highest recall (70.43%) among all evaluated models. It also achieves 26.73% on localization, competitive for its 4B parameter size and comparable to larger state-of-the-art models like o3-mini, highlighting its potential for future-proof code quality analysis.
- Abstract(参考訳): 大規模な言語モデルは、コード生成に成功しているが、静的なトレーニングデータによって制限され、進化するベストプラクティスに容易に適応できないため、コード品質分析に苦しむ。
問題のあるセマンティックコードフラグメントやコードイディオムを高レベルな仕様に基づいて検出し、修正するタスクとして、コード品質分析を定式化する新しいインストラクションフォローフレームワークであるMetaLintを紹介した。
静的なルールベースのデータでモデルをトレーニングする従来のアプローチとは異なり、MetaLintは合成Linter生成データにインストラクションチューニングを導入し、簡単でハードな一般化をサポートし、モデルが新しいコードパターンや複雑なコードパターンに再トレーニングすることなく適応できるようにする。
これを評価するために,Python Enhancement Proposals (PEPs) などの実世界のコーディング標準に触発された挑戦的イディオムのベンチマークを構築し,MetaLintで学習したモデルが適応的か単に記憶するかどうかを評価する。
その結果,MetaLintはPEPイディオムに対する一般化を向上し,Idiom検出において70.37%のFスコアを達成し,すべての評価モデルの中で最も高いリコール(70.43%)を達成した。
ローカライゼーションでは26.73%を達成し、4Bパラメーターサイズと競合し、o3-miniのような最先端モデルに匹敵する将来的なコード品質分析の可能性を強調している。
関連論文リスト
- Learning to Solve and Verify: A Self-Play Framework for Code and Test Generation [69.62857948698436]
大規模言語モデル(LLM)の最近の進歩は、コーディングベンチマークのパフォーマンスを改善している。
しかし、手軽に利用できる高品質なデータの枯渇により、改善は停滞している。
本稿では,単一モデルのコードとテスト生成能力を共同で改善するセルフプレイ・ソルバ検証フレームワークであるSol-Verを提案する。
論文 参考訳(メタデータ) (2025-02-20T18:32:19Z) - Leveraging Metamemory Mechanisms for Enhanced Data-Free Code Generation in LLMs [44.80420740455364]
M2WFは、大規模言語モデルのワンタイムコード生成を改善するためのフレームワークである。
従来の方法とは異なり、キュレートされたデータへの依存を最小限に抑え、さまざまなコーディングシナリオに適応する。
コードとフレームワークはGitHubとHuggingFaceで公開されている。
論文 参考訳(メタデータ) (2025-01-14T07:16:43Z) - Metadata Conditioning Accelerates Language Model Pre-training [76.54265482251454]
そこで本研究では,Metadata Conditioning then Cooldown (MeCo) と呼ばれる新しい手法を提案する。
MeCoは、さまざまなモデルスケール(600Mから8Bパラメータ)とトレーニングソース(C4、RefinedWeb、DCLM)の事前トレーニングを著しく加速する
MeCoは驚くほどシンプルで、計算オーバーヘッドを追加せず、より有能でステアブルな言語モデルを生成するという約束を示す。
論文 参考訳(メタデータ) (2025-01-03T18:59:23Z) - Meta-Learning Online Adaptation of Language Models [88.8947656843812]
大規模言語モデルは、そのパラメータにおける驚くほど広い世界の知識を符号化する。
しかし、静的言語モデルの知識は時代遅れになり、モデルの効果的な「シェルフライフ」が制限される。
論文 参考訳(メタデータ) (2023-05-24T11:56:20Z) - Generative Meta-Learning for Zero-Shot Relation Triplet Extraction [20.556880137419064]
ゼロショット関係トリプレット抽出 (ZeroRTE) は、未知の関係型を含むテキストから関係トリプレットを抽出することを目的としている。
既存のアプローチは一般的に、事前訓練された言語モデルに埋め込まれた知識を活用して一般化プロセスを達成する。
本稿では,メタ学習の学習能力を利用して生成モデルの一般化能力を向上する生成メタ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-03T06:34:39Z) - General-Purpose In-Context Learning by Meta-Learning Transformers [45.63069059498147]
本研究では,トランスフォーマーや他のブラックボックスモデルをメタトレーニングして,汎用的なインコンテキスト学習者として機能させることができることを示す。
一般化するアルゴリズム、記憶するアルゴリズム、メタトレーニングに失敗するアルゴリズム間の遷移を特徴付ける。
本稿では,学習アルゴリズムのメタトレーニングとメタ汎用化を改善するためのトレーニング分布の偏りなどの実践的介入を提案する。
論文 参考訳(メタデータ) (2022-12-08T18:30:22Z) - Meta-Learning Fast Weight Language Models [105.66999854213724]
我々は、動的評価の利点をより効率的に提供するニューラルネットワークコンポーネントであるFWL(Fast Weight Layers)を提示する。
FWLはトレーニング時に適用でき、モデルが勾配更新をうまく活用することを学ぶ。
論文 参考訳(メタデータ) (2022-12-05T18:37:09Z) - Generalization Properties of Retrieval-based Models [50.35325326050263]
検索ベースの機械学習手法は、幅広い問題で成功をおさめた。
これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。
本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
論文 参考訳(メタデータ) (2022-10-06T00:33:01Z) - Faster Meta Update Strategy for Noise-Robust Deep Learning [62.08964100618873]
我々は,メタグラデーションの最も高価なステップをより高速なレイヤワイズ近似に置き換えるために,新しいファMUS(Faster Meta Update Strategy)を導入する。
本手法は,同等あるいはさらに優れた一般化性能を維持しつつ,トレーニング時間の3分の2を節約できることを示す。
論文 参考訳(メタデータ) (2021-04-30T16:19:07Z) - Learning to Generalize Unseen Domains via Memory-based Multi-Source
Meta-Learning for Person Re-Identification [59.326456778057384]
本稿では,メモリベースのマルチソースメタラーニングフレームワークを提案する。
また,メタテスト機能を多様化するメタバッチ正規化層(MetaBN)を提案する。
実験により、M$3$Lは、目に見えない領域に対するモデルの一般化能力を効果的に向上できることが示された。
論文 参考訳(メタデータ) (2020-12-01T11:38:16Z) - On-the-Fly Adaptation of Source Code Models using Meta-Learning [28.98699307030983]
文脈適応の問題はメタラーニングの問題である。
我々は、欠落したトークンの予測を改善するために、ファイル内の情報から最もよく学習できるベースソースコードモデルを訓練する。
大規模なJava GitHubコーパスの実験において、パフォーマンスの改善を実証した。
論文 参考訳(メタデータ) (2020-03-26T07:11:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。