論文の概要: Comparing the Pre-trained Models of Source Code by Re-pre-training under a Unified Setup

• arxiv url: http://arxiv.org/abs/2610.15440v1
• Date: Sun, 11 Oct 2026 08:26:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 01:07:04.80074
• Title: Comparing the Pre-trained Models of Source Code by Re-pre-training under a Unified Setup
• Title（参考訳）: 統一セットアップ下での事前学習によるソースコードの事前学習モデルの比較
• Abstract要約: 本稿では,CodePTM間の公正な比較を容易にするための標準化されたセットアップを提案する。 我々は,同じモデルアーキテクチャ,入力モダリティ,事前学習タスクを用いて,CodePTMを再トレーニングする。 我々は、異なる事前学習タスクの相対的強度と弱さについて包括的に議論する。
• 参考スコア（独自算出の注目度）: 28.247540635397467
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent years have seen the successful application of large pre-trained models of source code (CodePTMs) to code representation learning, which have taken the field of software engineering (SE) from task-specific solutions to task-agnostic generic models. By the remarkable results, CodePTMs are seen as a promising direction in both academia and industry. While a number of CodePTMs have been proposed, they are often not directly comparable because they differ in experimental setups such as pre-training dataset, model size, evaluation tasks and datasets, etc. In this paper, we first review the experimental setup used in previous work and propose a standardized setup to facilitate fair comparisons among CodePTMs to explore the impacts of their pre-training tasks. Then, under the standardized setup, we re-pre-train CodePTMs using the same model architecture, input modalities, and pretraining tasks, etc., as they declared and fine-tune each model on each evaluation SE task for evaluating. Finally, we present the experimental results and make a comprehensive discussion on the relative strength and weakness of different pre-training tasks w.r.t. each SE task. We hope our view can inspire and advance the future study of more powerful CodePTMs.
• Abstract（参考訳）: 近年、タスク固有のソリューションからタスクに依存しないジェネリックモデルに至るまで、ソフトウェア工学(SE)の分野を取り入れたコード表現学習に、トレーニング済みの大規模なソースコードモデル(CodePTM)が成功している。 驚くべき結果によって、CodePTMは学術と産業の両方において有望な方向と見なされている。 多数のCodePTMが提案されているが、事前トレーニングデータセット、モデルサイズ、評価タスク、データセットなど、実験的な設定が異なるため、直接的に比較されないことが多い。 本稿では,従来の作業で使用した実験装置をまずレビューし,CodePTM間の公正な比較を容易にするための標準化されたセットアップを提案し,それらの事前学習タスクの影響について検討する。 そして、標準化された設定の下で、評価のためのSEタスクごとに各モデルを宣言・微調整するのと同じモデルアーキテクチャ、入力モダリティ、事前訓練タスク等を用いて、CodePTMを再トレーニングする。 最後に、実験結果を提示し、各SEタスクに対して異なる事前学習タスクの相対的強度と弱さについて包括的に議論する。 私たちは、より強力なCodePTMの今後の研究を刺激し、前進させることを願っています。

関連論文リスト

• Specialization after Generalization: Towards Understanding Test-Time Training in Foundation Models [64.02612380298228]
  最近の研究は、テストタイムトレーニング(TTT)として知られる特定のタスクに対して、テストタイムでモデルをトレーニングし続けるというアイデアを探求している。 本稿では,TTTがグローバルトレーニングよりもはるかに小さな分布内テスト誤差を達成できるモデルを提案する。 我々は、ImageNet上でスパースオートエンコーダをトレーニングすることで、モデルの主要な仮定を実証的に検証する。
  論文  参考訳（メタデータ） (2025-09-29T09:24:52Z)
• SynthCoder: A Synthetical Strategy to Tune LLMs for Code Completion [7.668823606571788]
  コード補完は、ソフトウェア工学における大規模言語モデル(LLM)の顕著な応用である。 本稿では,Fill-in-the-Middle(FIM)コード補完タスクにおける最先端技術を実現するために,業界をリードするプラクティスを統合するモデルであるSynthCoderを提案する。
  論文  参考訳（メタデータ） (2025-08-21T12:23:49Z)
• Enhancing Plasticity for First Session Adaptation Continual Learning [20.62749699589017]
  クラスインクリメンタルラーニング(PLASTIC)における塑性強化テスト時間適応の導入 PLASTICはモデル安定性を維持しながら可塑性をCILに再蓄積する。 従来型と最先端のPTMベースのCILアプローチを一貫して上回ります。
  論文  参考訳（メタデータ） (2023-10-17T13:06:39Z)
• Towards Efficient Fine-tuning of Pre-trained Code Models: An Experimental Study and Beyond [52.656743602538825]
  微調整された事前訓練されたコードモデルは、大きな計算コストを発生させる。 我々は、レイヤーワイドで事前訓練された表現と、微調整中に符号化されたコード知識に何が起こるのかを実験的に検討する。 本稿では,レイヤ凍結により事前学習したコードモデルを効率的に微調整するTellyを提案する。
  論文  参考訳（メタデータ） (2023-04-11T13:34:13Z)
• SynBench: Task-Agnostic Benchmarking of Pretrained Representations using Synthetic Data [78.21197488065177]
  近年、下流のタスクで大規模なデータで事前訓練された微調整大型モデルが成功し、ディープラーニングにおける重要なパラダイムシフトにつながった。 本稿では,合成データを用いて事前学習した表現の質を測定するためのタスク非依存フレームワークであるtextitSynBenchを提案する。
  論文  参考訳（メタデータ） (2022-10-06T15:25:00Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。