論文の概要: CodeT5-RNN: Reinforcing Contextual Embeddings for Enhanced Code Comprehension
- arxiv url: http://arxiv.org/abs/2603.17821v1
- Date: Wed, 18 Mar 2026 15:12:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-19 18:32:57.776901
- Title: CodeT5-RNN: Reinforcing Contextual Embeddings for Enhanced Code Comprehension
- Title（参考訳）: CodeT5-RNN: 強化されたコード理解のためのコンテキスト埋め込みの強化
- Authors: Md Mostafizer Rahman, Ariful Islam Shiplu, Yutaka Watanobe, Md Faizul Ibne Amin, Syed Rameez Naqvi, Fang Liu,
- Abstract要約: 本稿では,連続的なRNNアーキテクチャを用いてコンテキスト埋め込みを強化するハイブリッドLLM-RNNフレームワークを提案する。
提案したハイブリッドモデルを,ベンチマークと実世界の符号化データセットの両方で評価する。
- 参考スコア（独自算出の注目度）: 2.6265425362889974
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Contextual embeddings generated by LLMs exhibit strong positional inductive biases, which can limit their ability to fully capture long-range, order-sensitive dependencies in highly structured source code. Consequently, how to further refine and enhance LLM embeddings for improved code understanding remains an open research question. To address this gap, we propose a hybrid LLM-RNN framework that reinforces LLM-generated contextual embeddings with a sequential RNN architecture. The embeddings reprocessing step aims to reinforce sequential semantics and strengthen order-aware dependencies inherent in source code. We evaluate the proposed hybrid models on both benchmark and real-world coding datasets. The experimental results show that the RoBERTa-BiGRU and CodeBERT-GRU models achieved accuracies of 66.40% and 66.03%, respectively, on the defect detection benchmark dataset, representing improvements of approximately 5.35% and 3.95% over the standalone RoBERTa and CodeBERT models. Furthermore, the CodeT5-GRU and CodeT5+-BiGRU models achieved accuracies of 67.90% and 67.79%, respectively, surpassing their base models and outperforming RoBERTa-BiGRU and CodeBERT-GRU by a notable margin. In addition, CodeT5-GRU model attains weighted and macro F1-scores of 67.18% and 67.00%, respectively, on the same dataset. Extensive experiments across three real-world datasets further demonstrate consistent and statistically significant improvements over standalone LLMs. Overall, our findings indicate that reprocessing contextual embeddings with RNN architectures enhances code understanding performance in LLM-based models.
- Abstract（参考訳）: LLMによって生成されたコンテキスト埋め込みは、強力な位置誘導バイアスを示し、高度に構造化されたソースコードにおいて、長距離で順序に敏感な依存関係を完全にキャプチャする能力を制限することができる。
したがって、コード理解を改善するためのLLM埋め込みをさらに洗練し、拡張する方法は、オープンな研究課題である。
このギャップに対処するために,LLM生成コンテキスト埋め込みを逐次RNNアーキテクチャで強化するハイブリッドLLM-RNNフレームワークを提案する。
埋め込み再処理のステップは、シーケンシャルなセマンティクスを強化し、ソースコード固有の順序対応依存関係を強化することを目的としている。
提案したハイブリッドモデルを,ベンチマークと実世界の符号化データセットの両方で評価する。
実験の結果、RoBERTa-BiGRUモデルとCodeBERT-GRUモデルは、それぞれ66.40%と66.03%の精度を、欠陥検出ベンチマークデータセット上で達成し、スタンドアロンのRoBERTaモデルとCodeBERTモデルの約5.35%と3.95%の改善を示した。
さらに、CodeT5-GRUとCodeT5+-BiGRUは、それぞれ67.90%と67.79%の精度を達成し、ベースモデルを上回っ、RoBERTa-BiGRUとCodeBERT-GRUを上回った。
さらに、CodeT5-GRUモデルは、同じデータセット上でそれぞれ67.18%と67.00%の重み付けとマクロF1スコアを達成する。
3つの実世界のデータセットにわたる大規模な実験により、スタンドアロンのLLMよりも一貫した統計的に重要な改善が示された。
以上の結果から,RNNアーキテクチャによる文脈埋め込みの再処理により,LLMモデルにおけるコード理解性能が向上することが示唆された。
関連論文リスト
- From Memorization to Creativity: LLM as a Designer of Novel Neural-Architectures [48.83701310501069]
大規模言語モデル(LLM)は、プログラム合成において優れているが、ニューラルネットワーク設計(信頼性、性能、構造的ノベルティ)を自律的にナビゲートする能力は、未調査のままである。
コード指向LLMをクローズドループ合成フレームワークに配置し、22の教師付き微調整サイクルの進化を解析することによって、この問題に対処する。
論文 参考訳（メタデータ） (2026-01-06T13:20:28Z) - LM4Opt-RA: A Multi-Candidate LLM Framework with Structured Ranking for Automating Network Resource Allocation [0.7933039558471408]
我々は,複雑な解析的および数学的推論タスクに,文脈的理解が不要であることに対処する。
既存のベンチマークデータセットは、動的な環境、変数、不均一な制約でそのような問題の複雑さに対処できない。
NL4RAは、LP、ILP、MILPとして定式化された50のリソース割り当て最適化問題からなるキュレートデータセットである。
次に,パラメータ数が異なるオープンソースのLLMの性能評価を行った。
論文 参考訳（メタデータ） (2025-11-13T23:19:43Z) - Revolutionizing Reinforcement Learning Framework for Diffusion Large Language Models [49.911784762244814]
TraceRLは拡散言語モデル(DLM)のための軌道対応強化学習フレームワークである
我々は最先端の拡散言語モデル、すなわち TraDo を導出する。
TraDo-8B-InstructはQwen2.5-7B-Instructで6.1%、Llama3.1-8B-Instructで51.3%の精度向上を実現している。
論文 参考訳（メタデータ） (2025-09-08T17:58:06Z) - MiroMind-M1: An Open-Source Advancement in Mathematical Reasoning via Context-Aware Multi-Stage Policy Optimization [74.04867639197445]
MiroMind-M1 は Qwen-2.5 ベースのベンチマーク上に構築された完全なオープンソース RLM のセットである。
我々のモデルは2つの段階で訓練されている: SFT on a carefully curated corpus of 719K math-reasoning problem with confirmed CoT trajectories, then RLVR on 62K challenge and verible problem。
論文 参考訳（メタデータ） (2025-07-19T16:21:23Z) - Teaching LLM to Reason: Reinforcement Learning from Algorithmic Problems without Code [76.80306464249217]
本稿では,LLMにより良い理性を教えることを目的としたTeaRを提案する。
TeaRは、注意深いデータキュレーションと強化学習を活用して、コード関連のタスクを通じて最適な推論パスを発見するモデルをガイドする。
我々は、2つのベースモデルと3つの長いCoT蒸留モデルを用いて広範な実験を行い、モデルのサイズは15億から32億のパラメータから、Math、Knowledge、Code、Logical Reasoningにまたがる17のベンチマークにまたがる。
論文 参考訳（メタデータ） (2025-07-10T07:34:05Z) - Structuring Radiology Reports: Challenging LLMs with Lightweight Models [5.01440254761063]
大規模言語モデル(LLM)は、臨床テキストの再構築、高い計算要求、透明性の欠如、データプライバシに関する懸念が現実的な展開を妨げていることを示す。
我々は,MIMIC-CXRおよびCheXpert Plusデータセットからの放射線学レポートを構造化するために,軽量エンコーダデコーダモデル(300Mパラメータ)を特にT5およびBERT2BERTで検討する。
我々の最良性能軽量モデルは、人間による注釈付きテストセット上で、プロンプトベースの手法で適応された全てのLCMより優れています。
論文 参考訳（メタデータ） (2025-05-30T20:12:51Z) - Applying RLAIF for Code Generation with API-usage in Lightweight LLMs [15.366324461797582]
Reinforcement Learning from AI Feedback (RLAIF)は、さまざまな領域で大きな可能性を証明している。
本稿では,軽量 (1B パラメータ) LLM のコード生成能力を改善するための RLAIF フレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-28T17:16:03Z) - Enhancing Reinforcement Learning with Label-Sensitive Reward for Natural Language Understanding [11.470005425117371]
ラベルセンシティブ・リワード(RLLR)で強化された新しい強化学習フレームワークを提案する。
提案手法は,RL中におけるニュアンス付きラベルセンシティブな意味的特徴を適切に捉え,自然言語の理解を向上させることを目的としている。
8つのタスクにまたがる5つの多様な基礎モデルの実験は、有望な結果を示している。
論文 参考訳（メタデータ） (2024-05-30T07:19:31Z) - GRATH: Gradual Self-Truthifying for Large Language Models [63.502835648056305]
GRATH(Gradual Self-Truthifying)は,大規模言語モデル(LLM)の真偽性を高めるためのポストプロセッシング手法である。
GRATHは、反復的に真理データを洗練し、モデルを更新する。
GRATHはTruthfulQAの最先端性能を達成し、MC1の精度は54.71%、MC2の精度は69.10%であり、70B-LLMよりも高い。
論文 参考訳（メタデータ） (2024-01-22T19:00:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。