論文の概要: Regression Language Models for Code

• arxiv url: http://arxiv.org/abs/2509.26476v1
• Date: Tue, 30 Sep 2025 16:25:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 17:09:04.618752
• Title: Regression Language Models for Code
• Title（参考訳）: コードに対する回帰言語モデル
• Authors: Yash Akhauri, Xingyou Song, Arissa Wongpanich, Bryan Lewandowski, Mohamed S. Abdelfattah,
• Abstract要約: 単一の統一回帰言語モデル(RLM)がテキストから直接同時に予測可能であることを示す。 5つの古典的NAS設計空間において、RLMが平均平均である0.46のKendall-Tauを得ることができることを示す。
• 参考スコア（独自算出の注目度）: 13.53022663049873
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study code-to-metric regression: predicting numeric outcomes of code executions, a challenging task due to the open-ended nature of programming languages. While prior methods have resorted to heavy and domain-specific feature engineering, we show that a single unified Regression Language Model (RLM) can simultaneously predict directly from text, (i) the memory footprint of code across multiple high-level languages such as Python and C++, (ii) the latency of Triton GPU kernels, and (iii) the accuracy and speed of trained neural networks represented in ONNX. In particular, a relatively small 300M parameter RLM initialized from T5Gemma, obtains > 0.9 Spearman-rank on competitive programming submissions from APPS, and a single unified model achieves > 0.5 average Spearman-rank across 17 separate languages from CodeNet. Furthermore, the RLM can obtain the highest average Kendall-Tau of 0.46 on five classic NAS design spaces previously dominated by graph neural networks, and simultaneously predict architecture latencies on numerous hardware platforms.
• Abstract（参考訳）: 我々は,プログラミング言語のオープンな性質から,コード実行の数値的な結果を予測するという課題を,コードからメトリックへの回帰(code-to-metric regression)について検討する。 従来の手法はヘビーかつドメイン固有の特徴工学に頼っていたが、単一の統一回帰言語モデル(RLM)がテキストから直接予測できることが示されている。 (i)PythonやC++など、複数のハイレベル言語にまたがるコードのメモリフットプリント。 (ii)Triton GPUカーネルのレイテンシ、および 3)ONNXで表現されたトレーニングニューラルネットワークの精度と速度。 特に、T5Gemma から初期化された比較的小さな 300M パラメータ RLM は、APPS から競合プログラミングの 0.9 Spearman-rank を取得し、単一統一モデルは、CodeNet から17の異なる言語にわたって 0.5 平均 Spearman-rank を達成する。 さらに、RLMは、それまでグラフニューラルネットワークが支配していた5つのNAS設計空間において、平均で0.46のKendall-Tauを得ることができ、同時に多数のハードウェアプラットフォーム上でのアーキテクチャレイテンシを予測できる。

関連論文リスト

• Training Neural Networks as Recognizers of Formal Languages [87.06906286950438]
  ニューラルネットワークを文字列のバイナリ分類器として直接訓練し評価する。 3つのニューラルアーキテクチャに対して、チョムスキー階層の様々な言語について結果を提供する。 我々の貢献は、将来の研究において、言語認識の主張を理論的に健全に検証するのに役立つだろう。
  論文  参考訳（メタデータ） (2024-11-11T16:33:25Z)
• Predictor-Corrector Enhanced Transformers with Exponential Moving Average Coefficient Learning [73.73967342609603]
  トラクションエラーを最小限に抑えるための予測-相関学習フレームワークを提案する。 また、高次予測器を強化するために、指数関数的移動平均ベース係数学習法を提案する。 我々のモデルは3.8BのDeepNetを平均2.9のSacreBLEUで上回り、1/3のパラメータしか使用していない。
  論文  参考訳（メタデータ） (2024-11-05T12:26:25Z)
• Large Language Models as Interpolated and Extrapolated Event Predictors [10.32127659470566]
  大規模言語モデル(LLM)がイベント予測フレームワークの設計をいかに効率化するかを検討する。 イベント予測器として大規模言語モデルを活用する統合フレームワークLEAPを提案する。
  論文  参考訳（メタデータ） (2024-06-15T04:09:31Z)
• MPIrigen: MPI Code Generation through Domain-Specific Language Models [3.5352856644774806]
  本研究ではまず,MPIに基づく並列プログラム生成における最先端言語モデルの性能について検討する。 HPCorpusMPI上でMonoCoderを微調整することでMPIベースのプログラム生成のダウンストリームタスクを導入する。 この調整されたソリューションの成功は、並列計算コード生成のための最適化言語モデルにおいて、ドメイン固有の微調整の重要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-02-14T12:24:21Z)
• In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
  我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。 我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
  論文  参考訳（メタデータ） (2024-01-23T18:59:21Z)
• Symbolic Regression on FPGAs for Fast Machine Learning Inference [2.0920303420933273]
  高エネルギー物理コミュニティは、FPGA(Field-Programmable Gate Arrays)上に機械学習ベースのソリューションをデプロイする可能性を探っている シンボリックレグレッション(SR)と呼ばれる機械学習技術を利用した新しいエンドツーエンドプロシージャを提案する。 提案手法は,最大で5 nsまでの実行時間を最大13倍に抑えながら,90%以上の近似精度を維持した推論モデルを用いて3層ニューラルネットワークを近似できることを示す。
  論文  参考訳（メタデータ） (2023-05-06T17:04:02Z)
• CodeGen2: Lessons for Training LLMs on Programming and Natural Languages [116.74407069443895]
  我々はエンコーダとデコーダベースのモデルを単一のプレフィックスLMに統一する。 学習方法は,「フリーランチ」仮説の主張を考察する。 データ配信においては,混合分布と多言語学習がモデル性能に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2023-05-03T17:55:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。