論文の概要: Pre-Training on Software Engineering Texts: Effects on Domain Adaptation and General-Language Understanding

• arxiv url: http://arxiv.org/abs/2607.06613v1
• Date: Tue, 07 Jul 2026 08:05:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-09 22:50:30.15335
• Title: Pre-Training on Software Engineering Texts: Effects on Domain Adaptation and General-Language Understanding
• Title（参考訳）: ソフトウェアエンジニアリングテキストの事前学習:ドメイン適応と一般言語理解への影響
• Abstract要約: 汎用言語モデルとコード中心言語モデル(LM)は、ソフトウェア工学(SE)にますます適用されつつある 我々は, エンコーダとデコーダLMをSEテキストに適用し, 連続事前学習(CPT)とスクラッチからの事前学習(PTS)を比較した。 既存のLMを再利用することは、ドメインネイティブなものをゼロからトレーニングすることを支配します。
• 参考スコア（独自算出の注目度）: 6.35250194032193
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generalist and code-focused Language Models (LMs) are increasingly applied to software engineering (SE), yet whether they are optimized for understanding SE textual artifacts (e.g., issues, commit messages, developer discussions) remains unclear, as most evidence comes from code-focused benchmarks. We study how to adapt encoder and decoder LMs to SE text, comparing continual pre-training (CPT) against pre-training from scratch (PTS) on a new SE corpus, and evaluating both domain adaptation (SELU) and general-language understanding (SuperGLUE). To keep the comparisons fair, we control pre-training under constant-token and compute-matched budgets. We find that across families and sizes, reusing an existing LM dominates training a domain-native one from scratch: CPT yields small and mostly inconclusive domain gains while leaving general-language understanding essentially unchanged, whereas PTS pays a large and usually decisive penalty on both axes and becomes competitive only for small LMs under a token-rich budget. We distill these results into practical guidance for adapting LMs to SE text and release our corpus and pre-trained LMs in our replication kit.
• Abstract（参考訳）: 一般論とコード中心の言語モデル(LM)は、ソフトウェア工学(SE)にますます適用されているが、SEテキストのアーティファクト(問題、コミットメッセージ、開発者の議論など)を理解するために最適化されているかどうかは不明だ。 我々は、エンコーダとデコーダLMをSEテキストに適応させる方法、新しいSEコーパス上でのPTS(Continuous pre-training)とPTS(Continuous pre-training)を比較し、ドメイン適応(SELU)と汎用言語理解(SuperGLUE)の両方を評価する。 比較を公平に保つため、定常的および計算整合的な予算の下で事前学習を制御する。 CPTは小さく、大半は決定的でないドメインゲインを得られるが、一般の理解は基本的に変わらない。一方、PSSは両軸に対して大きく、通常は決定的なペナルティを払っており、トークン豊富な予算の下では小さなLMに対してのみ競争力を持つ。 これらの結果は,SEテキストにLMを適応させるための実践的なガイダンスとなり,コピーキットでコーパスと事前学習したLMを解放する。

関連論文リスト

• SEDCoT: Enhancing LLM-Based COBOL Code Translation via Symbolic Execution and Delta Debugging [49.898541267264115]
  古い技術や疎結合なドキュメンテーション、開発者の引退などによって、メンテナンスはますます難しくなっている。 従来のルールベースのトランスコンパイラは、読み書きが難しい出力を出力する。 本稿では,新しいC言語翻訳フレームワークであるSEDCoTを提案する。
  論文  参考訳（メタデータ） (2026-07-05T03:07:10Z)
• What Really Improves Mathematical Reasoning: Structured Reasoning Signals Beyond Pure Code [72.9921566968371]
  ドメイン分離のきめ細かい10T-tokenコーパスにおける事前学習の制御実験により,コードが推論を改善するという主張を再考する。 コードはプログラミング能力を大幅に改善するが、一般的な推論エンハンサーとして機能しない。 コード-テキストと数学-テキストの混合のようなドメイン間構造的推論トレースがよりうまく説明されている。
  論文  参考訳（メタデータ） (2026-05-19T12:37:01Z)
• LLM Reasoning for Machine Translation: Synthetic Data Generation over Thinking Tokens [25.257363122413395]
  シンキングトークン」は、LRMが機械翻訳をより良く実行するのに役立ちません。 合成CoT説明によるモデル微調整は、標準入力出力微調整よりは良くない。 以上の結果から,教師が目標翻訳を洗練したり,並列コーパスを拡張することは,CoTの説明を「思考」MTモデルに蒸留するよりも影響が大きいことが示唆された。
  論文  参考訳（メタデータ） (2025-10-13T20:41:01Z)
• Redefining Machine Simultaneous Interpretation: From Incremental Translation to Human-Like Strategies [4.487634497356904]
  同時機械翻訳(SiMT)は、厳密なリアルタイム制約の下で高品質な翻訳を必要とする。 我々は,Sentence_CUT,DROP,Partial_MARIZATION,PronoMINALZATIONの4つの適応アクションでSiMTのアクション空間を拡張した。 我々は、これらのアクションをデコーダのみの大規模言語モデル(LLM)フレームワークで実装し、アクション認識プロンプトを通じてトレーニング参照を構築する。
  論文  参考訳（メタデータ） (2025-09-26T02:57:36Z)
• Context-aware Prompt Tuning: Advancing In-Context Learning with Adversarial Methods [69.36397993451742]
  In this work introduced Context-aware Prompt Tuning (CPT) - ICL, PT, and adversarial attack。 入力および出力フォーマットのユニークな構造を考慮して、特定のコンテキストトークンを変更する。 敵の攻撃にインスパイアされた我々は、損失を最大化するのではなく、最小化に焦点をあてて、コンテキストに存在するラベルに基づいて入力を調整する。
  論文  参考訳（メタデータ） (2024-10-22T17:45:47Z)
• LeTI: Learning to Generate from Textual Interactions [60.425769582343506]
  本稿では,テキストインタラクション(LETI)から学習するLMの可能性を,バイナリラベルによる正当性をチェックするだけでなく,テキストフィードバックを通じて出力中のエラーをピンポイントし,説明する。 私たちの焦点はコード生成タスクであり、そこではモデルが自然言語命令に基づいてコードを生成する。 LETIは、目的のLMを用いて、自然言語命令、LM生成プログラム、テキストフィードバックの結合に基づいて、モデルを反復的に微調整する。
  論文  参考訳（メタデータ） (2023-05-17T15:53:31Z)
• An Interpretability Evaluation Benchmark for Pre-trained Language Models [37.16893581395874]
  英語と中国語の両方の注釈付きデータを提供する新しい評価ベンチマークを提案する。 複数の次元(文法、意味論、知識、推論、計算など)でLMの能力をテストする。 各元のインスタンスに対する摂動インスタンスを含み、摂動の下での有理整合を忠実性の計量として使う。
  論文  参考訳（メタデータ） (2022-07-28T08:28:09Z)
• Pre-training Text-to-Text Transformers for Concept-centric Common Sense [48.11844351407072]
  本稿では,概念中心のコモンセンス知識を用いた事前学習型言語モデルの拡張を目的とした概念認識型言語モデル(CALM)を提案する。 我々は,CALMが外部知識グラフに頼ることなく,事前学習したテキスト・テキスト・トランスフォーマーのパラメータに,より常識的な知識を詰め込むことができることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:00:37Z)
• Byte Pair Encoding is Suboptimal for Language Model Pretraining [49.30780227162387]
  一グラムLMトークン化とバイトペア符号化(BPE)の違いを分析する。 その結果,一グラムのLMトークン化手法は,下流タスクと2つの言語でBPEと一致し,BPEより優れることがわかった。 我々は、将来の事前訓練されたLMの開発者が、より一般的なBPEよりもユニグラムのLMメソッドを採用することを期待する。
  論文  参考訳（メタデータ） (2020-04-07T21:21:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。