論文の概要: SynMOE: A Syntax-Aware MOE-Guided Approach for PEFT-Based Code Intelligence Learning

• arxiv url: http://arxiv.org/abs/2611.06069v1
• Date: Wed, 04 Nov 2026 07:15:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:58.010072
• Title: SynMOE: A Syntax-Aware MOE-Guided Approach for PEFT-Based Code Intelligence Learning
• Title（参考訳）: SynMOE:PEFTに基づくコードインテリジェンス学習のための構文対応MOE誘導アプローチ
• Abstract要約: SynMOEは、コードインテリジェンス学習におけるPEFTのための構文認識型MOE誘導アプローチである。 まずASTからソースコードの構文ラベルを取得し、次にLMの入力トークンとラベルをアライメントする。 提案手法の有効性を,3種類のコードインテリジェンスタスクに対して,LoRAと$(IA)3$の2つの典型的なPEFT手法に適用することにより評価した。
• 参考スコア（独自算出の注目度）: 14.712286933259241
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameter-Efficient Fine-Tuning (PEFT) has emerged as an important approach for adapting Language Models (LMs) in downstream tasks. However, in the domain of code intelligence, the performance of most PEFT methods relatively drops compared to Full fine-Tuning (FT), hindering their broader applicability. One of the main reasons is that current PEFT methods are generally based on assumptions about the low-rank nature or sparsity of parameter updates, lacking explicit modeling of code-related information. To tackle this limitation, we propose SynMOE, a syntax-aware MOE-guided approach for PEFT on code intelligence learning. Specifically, SynMOE contains two stages: syntactic information extraction and syntax-aware MOE-guided adaptation. It first obtains the syntactic labels of source code from Abstract Syntax Trees (ASTs), and then aligns the labels with the input tokens of code LMs. In the second stage, syntactic labels are integrated into the MOE module, participating in the routing decision of MOE for a more powerful syntactic-aware token representation. We evaluate the effectiveness of the proposed approach by applying it to two typical PEFT methods, LoRA and $(IA)^3$, across three diverse code intelligence tasks. Experimental results show that SynMOE achieves consistent and significant improvements. Even compared to FT, SynMOE achieves comparable or superior performance while being more computationally efficient. In addition, we also conduct ablation studies, hyperparameter analysis, and evaluation in the low-resource scenario to provide a comprehensive investigation of the proposed approach.
• Abstract（参考訳）: パラメータ効率の良いファインチューニング(PEFT)は、下流タスクにおける言語モデル(LM)の適応のための重要なアプローチとして現れている。 しかし、コードインテリジェンスの分野では、ほとんどのPEFTメソッドのパフォーマンスはフルファインチューニング(FT)に比べて相対的に低下し、適用性が低下する。 主な理由の1つは、現在のPEFT法が一般的に、コード関連情報の明示的なモデリングを欠いた、低ランク性やパラメータ更新の空間性に関する仮定に基づいていることである。 この制限に対処するために、コードインテリジェンス学習におけるPEFTのための構文対応MOE誘導アプローチであるSynMOEを提案する。 具体的には、構文情報抽出と構文認識MOE誘導適応の2段階を含む。 まず抽象構文木(AST)からソースコードの構文ラベルを取得し,そのラベルをコードLMの入力トークンと整合させる。 第2段階では、構文ラベルをMOEモジュールに統合し、より強力な構文認識トークン表現のためのMOEのルーティング決定に参加する。 提案手法の有効性を,3種類のコードインテリジェンスタスクに対して,LoRAと$(IA)^3$の2つの典型的なPEFT手法に適用することにより評価した。 実験結果から,SynMOEは一貫性と顕著な改善が得られた。 FTと比較しても、SynMOEは計算効率が良く、同等または優れた性能を実現している。 また,低リソースシナリオにおけるアブレーション研究,ハイパーパラメータ解析,評価を行い,提案手法の総合的な検討を行う。

関連論文リスト

• The Imitation Game: When LLMs Learn to Reason Like Programs via Code-Centric Reasoning Data Synthesis [50.473217152006875]
  MIMICは、データ合成を推論するための厳密な媒体として実行可能なコードを活用するフレームワークである。 MIMICは、ナラティブ融合、コード誘導テスト合成、動的コードインスツルメンテーションを通じて、アルゴリズムを検証可能な推論軌道に変換する。 提案手法は, 一般的な推論, 複雑な数学的ベンチマーク, きめ細かい決定論的タスクにおいて, 精度を著しく向上させる。
  論文  参考訳（メタデータ） (2026-09-13T17:04:16Z)
• FutureMind: Equipping Small Language Models with Strategic Thinking-Pattern Priors via Adaptive Knowledge Distillation [13.855534865501369]
  小型言語モデル(SLM)は、その効率的で低レイテンシな推論のため、コスト感受性とリソース制限の設定に魅力的である。 本稿では,SLMに戦略的思考パターンを付加したモジュラー推論フレームワークであるFutureMindを提案する。
  論文  参考訳（メタデータ） (2026-02-01T13:26:04Z)
• Hybrid Fuzzing with LLM-Guided Input Mutation and Semantic Feedback [0.0]
  本稿では,静的および動的解析をLarge Language Model(LLM)誘導入力変異と意味フィードバックと統合したハイブリッドファジリングフレームワークを提案する。 本手法は,最先端のファジィよりも高速な時間対第一のバグ,意味的多様性の向上,およびユニークなバグの競合数を実現する。
  論文  参考訳（メタデータ） (2025-11-06T02:38:24Z)
• Large Language Models Enhanced by Plug and Play Syntactic Knowledge for Aspect-based Sentiment Analysis [18.58619664067155]
  アスペクトベースの感情分析(ABSA)は一般的に文脈情報の深い理解を必要とする。 本稿では,構文情報を記録し,言語モデル(LLM)に組み込まれ,感情極性の予測を指示するメモリモジュールを提案する。
  論文  参考訳（メタデータ） (2025-06-15T23:16:12Z)
• Is Compression Really Linear with Code Intelligence? [60.123628177110206]
  textitFormat Annealingは、事前訓練されたモデルの本質的な能力を同等に評価するために設計された、軽量で透明なトレーニング手法である。 我々の経験的結果は、測定されたコードインテリジェンスとビット・パー・キャラクタ(BPC)の基本的な対数関係を明らかにする。 私たちの研究は、コードインテリジェンスの開発における圧縮の役割をより微妙に理解し、コードドメインにおける堅牢な評価フレームワークに貢献します。
  論文  参考訳（メタデータ） (2025-05-16T16:59:14Z)
• Comparative Analysis of Large Language Models for Context-Aware Code Completion using SAFIM Framework [5.312946761836463]
  大規模言語モデル(LLM)はコード補完に革命をもたらし、よりインテリジェントでコンテキスト対応な機能へと変貌を遂げた。 本稿では,Gemini 1.5 Flash, Gemini 1.5 Pro, GPT-4o, GPT-4o-mini, GPT-4 Turboなど,チャットベースのLLMの性能を評価する。
  論文  参考訳（メタデータ） (2025-02-21T06:32:31Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。