論文の概要: Enhancing Code LLM Training with Programmer Attention

• arxiv url: http://arxiv.org/abs/2503.14936v1
• Date: Wed, 19 Mar 2025 06:44:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 15:25:52.878367
• Title: Enhancing Code LLM Training with Programmer Attention
• Title（参考訳）: プログラマの意識によるLLMトレーニングの強化
• Authors: Yifan Zhang, Chen Huang, Zachary Karas, Dung Thuy Nguyen, Kevin Leach, Yu Huang,
• Abstract要約: プログラマの注意グラフを拡大するための視線追跡経路拡張手法を提案する。 我々はまた、生の修正を学習可能な注意モチーフに洗練するパターン抽象化のステップも導入する。 コード要約のためのCodeXGlueベンチマークでは,CodeBLEUで+7.16が得られた。
• 参考スコア（独自算出の注目度）: 11.622059894637683
• License:
• Abstract: Human attention provides valuable yet underexploited signals for code LLM training, offering a perspective beyond purely machine-driven attention. Despite the complexity and cost of collecting eye-tracking data, there has also been limited progress in systematically using these signals for code LLM training. To address both issues, we propose a cohesive pipeline spanning augmentation and reward-based fine-tuning. Specifically, we introduce (1) an eye-tracking path augmentation method to expand programmer attention datasets, (2) a pattern abstraction step that refines raw fixations into learnable attention motifs, and (3) a reward-guided strategy for integrating these insights directly into a CodeT5 supervised fine-tuning process. Our experiments yield +7.16 in CodeBLEU on the CodeXGlue benchmark for code summarization, underscoring how uniting human and machine attention can boost code intelligence. We hope this work encourages broader exploration of human-centric methods in next-generation AI4SE.
• Abstract（参考訳）: 人間の注意は、LLMトレーニングに価値はあるが過小評価されていない信号を提供し、純粋にマシン駆動の注意を超えた視点を提供する。 視線追跡データの収集の複雑さとコストにもかかわらず、これらの信号をコードLLMトレーニングに体系的に使用する場合の進歩は限られている。 両問題に対処するために,報奨に基づく微調整と増補にまたがる凝集性パイプラインを提案する。 具体的には、(1)プログラマの注意データセットを拡張するための視線追跡経路拡張手法、(2)学習可能な注意モチーフに生の修正を洗練させるパターン抽象化ステップ、(3)これらの洞察を直接CodeT5の教師付き微調整プロセスに統合するための報酬誘導戦略を紹介する。 我々の実験では、コード要約のためのCodeXGlueベンチマークにおいて、CodeBLEUの+7.16が生成され、人間と機械の注意の統一がコードのインテリジェンスをいかに向上させるかを説明している。 この研究によって、次世代AI4SEにおける人間中心の手法のより広範な探索が促進されることを願っている。

関連論文リスト

• O1 Embedder: Let Retrievers Think Before Action [28.583031173137428]
  我々は,対象文書の検索に先立って,入力クエリに有用な思考を生成するO1 Embedderを提案する。 私たちのアプローチは、12の一般的なデータセットで大幅に改善される包括的な実験によって評価されます。 これらの結果は、O1 Embedderの顕著な精度と一般化性を強調し、次世代IR基盤モデルの開発への道を開いた。
  論文  参考訳（メタデータ） (2025-02-11T13:48:10Z)
• Attention Tracker: Detecting Prompt Injection Attacks in LLMs [62.247841717696765]
  大型言語モデル (LLM) は様々なドメインに革命をもたらしたが、インジェクション攻撃に弱いままである。 そこで本研究では,特定の注意点が本来の指示から注入指示へと焦点を移す,注意散逸効果の概念を紹介した。 本研究では,アテンション・トラッカーを提案する。アテンション・トラッカーは,インジェクション・アタックを検出するために,インストラクション上の注意パターンを追跡する訓練不要な検出手法である。
  論文  参考訳（メタデータ） (2024-11-01T04:05:59Z)
• Case2Code: Scalable Synthetic Data for Code Generation [105.89741089673575]
  大規模言語モデル(LLM)は、コード生成において顕著なブレークスルーを示している。 最近の研究は、いくつかの強力なLLMによって生成された合成データをトレーニングすることで、コードLLMを改善している。 プログラムの表現性と正確性を利用したtextbfCase2Code タスクを提案する。
  論文  参考訳（メタデータ） (2024-07-17T11:35:00Z)
• When Linear Attention Meets Autoregressive Decoding: Towards More Effective and Efficient Linearized Large Language Models [13.061946833851605]
  自己回帰型LDMに対する既存の線形注意法の有効性に関する総合的研究を行った。 本稿では,投機的復号化との整合性を保証する線形注意のための拡張手法を提案する。 提案手法は,LLaMAモデルにおけるパープレキシティの最大6.67低減と,従来の線形アテンション法と比較して,生成時の最大2$times$スピードアップを実現する。
  論文  参考訳（メタデータ） (2024-06-11T15:34:43Z)
• Extending Token Computation for LLM Reasoning [5.801044612920816]
  大規模言語モデル(LLM)は、自然言語処理の進歩において重要な要素である。 LLMは、非効率な注意分布のため、複雑な推論タスクに苦しむことが多い。 本稿では,アテンション機構の最適化を利用して,計算トークンをChain-of-Thoughtプロセスで拡張する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-22T03:23:58Z)
• EyeTrans: Merging Human and Machine Attention for Neural Code Summarization [16.694601606682046]
  我々は,人間の注意を機械の注意に取り入れて,ニューラルネットワークの要約を強化する手法を開発した。 人間の注意をトランスフォーマーに組み込むことの有効性を実証するため、2つのコード要約タスクに関する包括的な実験を行った。
  論文  参考訳（メタデータ） (2024-02-21T19:45:06Z)
• Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark [166.40879020706151]
  本稿では、微調整時のメモリコスト低減のためのソリューションとして、BPフリーゼロオーダー最適化(ZO)への移行を提案する。 従来のZO-SGD法とは異なり、我々の研究はより広い範囲のZO最適化手法に探索を広げる。 本研究は,タスクアライメントの重要性,前方勾配法の役割,アルゴリズムの複雑さと微調整性能のバランスについて,これまで見過ごされてきた最適化原理を明らかにした。
  論文  参考訳（メタデータ） (2024-02-18T14:08:48Z)
• StepCoder: Improve Code Generation with Reinforcement Learning from Compiler Feedback [58.20547418182074]
  2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。 CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。 FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。 提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:31Z)
• Follow-up Attention: An Empirical Study of Developer and Neural Model Code Exploration [6.060235526273212]
  OpenAI CodexやAlphaCodeといった最近のコードニューラルモデルは、コード生成において顕著な習熟性を示している。 しかしながら、モデルが実際にどのようにコードを処理しているか、その理由や注意機構がどのようにコードをスキャンするかが開発者のパターンとどのように一致しているかは、よくわからない。 この研究は、CodeGen、InCoder、GPT-Jの3つのオープンな言語モデルの処理された注意信号が、開発者がどのようにコードを見て探索するかにどのように一致するかを研究する。
  論文  参考訳（メタデータ） (2022-10-11T14:58:58Z)
• CCLF: A Contrastive-Curiosity-Driven Learning Framework for Sample-Efficient Reinforcement Learning [56.20123080771364]
  我々は、強化学習のためのモデルに依存しないコントラスト駆動学習フレームワーク(CCLF)を開発した。 CCLFは、サンプルの重要性を完全に活用し、自己管理的な学習効率を向上させる。 このアプローチをDeepMind Control Suite、Atari、MiniGridベンチマークで評価する。
  論文  参考訳（メタデータ） (2022-05-02T14:42:05Z)
• Data-Driven and SE-assisted AI Model Signal-Awareness Enhancement and Introspection [61.571331422347875]
  モデルの信号認識性を高めるためのデータ駆動型手法を提案する。 コード複雑性のSE概念とカリキュラム学習のAIテクニックを組み合わせる。 モデル信号認識における最大4.8倍の改善を実現している。
  論文  参考訳（メタデータ） (2021-11-10T17:58:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。