論文の概要: A Survey of Neural Code Intelligence: Paradigms, Advances and Beyond

• arxiv url: http://arxiv.org/abs/2403.14734v2
• Date: Sun, 23 Jun 2024 14:31:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 01:22:15.390879
• Title: A Survey of Neural Code Intelligence: Paradigms, Advances and Beyond
• Title（参考訳）: ニューラルネットワークインテリジェンスに関する調査
• Authors: Qiushi Sun, Zhirui Chen, Fangzhi Xu, Kanzhi Cheng, Chang Ma, Zhangyue Yin, Jianing Wang, Chengcheng Han, Renyu Zhu, Shuai Yuan, Qipeng Guo, Xipeng Qiu, Pengcheng Yin, Xiaoli Li, Fei Yuan, Lingpeng Kong, Xiang Li, Zhiyong Wu,
• Abstract要約: この調査は、コードインテリジェンスの発展に関する体系的なレビューを示す。 50以上の代表モデルとその変種、20以上のタスクのカテゴリ、および680以上の関連する広範な研究をカバーしている。 発達軌道の考察に基づいて、コードインテリジェンスとより広範なマシンインテリジェンスとの間の新たな相乗効果について検討する。
• 参考スコア（独自算出の注目度）: 84.95530356322621
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Code Intelligence -- leveraging deep learning to understand, generate, and optimize code -- holds immense potential for transformative impacts on the whole society. Bridging the gap between Natural Language and Programming Language, this domain has drawn significant attention from researchers in both research communities over the past few years. This survey presents a systematic and chronological review of the advancements in code intelligence, encompassing over 50 representative models and their variants, more than 20 categories of tasks, and an extensive coverage of over 680 related works. We follow the historical progression to trace the paradigm shifts across different research phases (e.g., from modeling code with recurrent neural networks to the era of Large Language Models). Concurrently, we highlight the major technical transitions in models, tasks, and evaluations spanning through different stages. For applications, we also observe a co-evolving shift. It spans from initial endeavors to tackling specific scenarios, through exploring a diverse array of tasks during its rapid expansion, to currently focusing on tackling increasingly complex and varied real-world challenges. Building on our examination of the developmental trajectories, we further investigate the emerging synergies between code intelligence and broader machine intelligence, uncovering new cross-domain opportunities and illustrating the substantial influence of code intelligence across various domains. Finally, we delve into both the opportunities and challenges associated with this field, alongside elucidating our insights on the most promising research directions. An ongoing, dynamically updated project and resources associated with this survey have been released at https://github.com/QiushiSun/NCISurvey.
• Abstract（参考訳）: ディープラーニングを活用してコードを理解し、生成し、最適化するニューラル・コード・インテリジェンスは、社会全体に変革をもたらす大きな可能性を秘めている。 自然言語とプログラミング言語のギャップを埋めて、このドメインは、過去数年間、両方の研究コミュニティの研究者から大きな注目を集めてきた。 この調査では、50以上の代表モデルとその変種、20以上のタスクカテゴリ、および680以上の関連研究を網羅した、コードインテリジェンスの進歩に関する体系的および時系列的なレビューを提示する。 我々は、異なる研究フェーズ(例えば、リカレントニューラルネットワークによるコードモデリングから、大規模言語モデルの時代まで)にわたるパラダイムシフトをトレースするために、歴史的な進歩を追及する。 同時に、さまざまな段階にまたがるモデル、タスク、評価における主要な技術的な変遷を強調します。 アプリケーションでは、共に進化するシフトも観察します。 初期の取り組みから特定のシナリオへの対処まで、その急速な拡張の間にさまざまなタスクを探索し、現在ますます複雑で多様な現実世界の課題に取り組むことに集中している。 発達軌跡の考察に基づき、コードインテリジェンスとより広範なマシンインテリジェンスとの新たな相乗効果について検討し、新たなクロスドメインの機会を明らかにし、コードインテリジェンスが様々な領域にまたがる実質的な影響を明らかにした。 最後に、この分野での機会と課題を掘り下げ、最も有望な研究方向性についての洞察を解明する。 この調査に関連する、動的に更新されたプロジェクトとリソースがhttps://github.com/QiushiSun/NCISurvey.comでリリースされた。

関連論文リスト

• State-Space Modeling in Long Sequence Processing: A Survey on Recurrence in the Transformer Era [59.279784235147254]
  このサーベイは、シーケンシャルなデータ処理の反復モデルに基づく最新のアプローチの詳細な概要を提供する。 新たなイメージは、標準のバックプロパゲーション・オブ・タイムから外れた学習アルゴリズムによって構成される、新しいルートを考える余地があることを示唆している。
  論文  参考訳（メタデータ） (2024-06-13T12:51:22Z)
• Large Language Models for Networking: Workflow, Advances and Challenges [19.104593453342304]
  ネットワークの分野は、その複雑さと迅速な反復によって特徴づけられる。 従来の機械学習ベースの手法は、ネットワークにおける複雑なタスクの一般化と自動化に苦慮している。 近年の大規模言語モデル(LLM)の出現は、これらの課題に対処する新たな可能性の波を引き起こしている。
  論文  参考訳（メタデータ） (2024-04-19T14:17:02Z)
• On permutation-invariant neural networks [8.633259015417993]
  Deep SetsやTransformersといったニューラルネットワークアーキテクチャの出現は、セットベースのデータ処理において大きな進歩を見せている。 この総合的な調査は、設定関数を近似するニューラルネットワークに関する様々な問題設定と進行中の研究の概観を提供することを目的としている。
  論文  参考訳（メタデータ） (2024-03-26T06:06:01Z)
• On the Challenges and Opportunities in Generative AI [135.2754367149689]
  現在の大規模生成AIモデルは、ドメイン間で広く採用されるのを妨げるいくつかの基本的な問題に十分対応していない、と我々は主張する。 本研究は、現代の生成型AIパラダイムにおける重要な未解決課題を特定し、その能力、汎用性、信頼性をさらに向上するために取り組まなければならない。
  論文  参考訳（メタデータ） (2024-02-28T15:19:33Z)
• Large Language Models for Generative Information Extraction: A Survey [89.71273968283616]
  情報抽出は、平易な自然言語テキストから構造的知識を抽出することを目的としている。 生成型大規模言語モデル(LLM)は、テキストの理解と生成において顕著な能力を示した。 LLMは生成パラダイムに基づいたIEタスクに対して実行可能なソリューションを提供する。
  論文  参考訳（メタデータ） (2023-12-29T14:25:22Z)
• A Comprehensive Survey of Forgetting in Deep Learning Beyond Continual Learning [76.47138162283714]
  蓄積とは、以前取得した情報や知識の喪失または劣化を指す。 フォッテッティングは、深層学習における様々な研究領域でよく見られる現象である。 調査では、忘れることは二重刃の剣であり、ある場合には有益で望ましいと論じている。
  論文  参考訳（メタデータ） (2023-07-16T16:27:58Z)
• A Comprehensive Survey on Applications of Transformers for Deep Learning Tasks [60.38369406877899]
  Transformerは、シーケンシャルデータ内のコンテキスト関係を理解するために自己認識メカニズムを使用するディープニューラルネットワークである。 Transformerモデルは、入力シーケンス要素間の長い依存関係を処理し、並列処理を可能にする。 我々の調査では、トランスフォーマーベースのモデルのためのトップ5のアプリケーションドメインを特定します。
  論文  参考訳（メタデータ） (2023-06-11T23:13:51Z)
• Evolutionary Multitask Optimization: a Methodological Overview, Challenges and Future Research Directions [8.14509634354919]
  一つの探索プロセスを実行することで、複数の最適化問題を同時に解くという文脈でマルチタスクを考える。 進化的マルチタスクの新たなパラダイムは、進化的計算から引き出されたインスピレーションの概念を用いて、マルチタスク最適化のシナリオに取り組む。
  論文  参考訳（メタデータ） (2021-02-04T11:48:11Z)
• Multimodal Research in Vision and Language: A Review of Current and Emerging Trends [41.07256031348454]
  本稿では,視覚的・言語的モダリティに関する最新の研究動向について概説する。 タスクの定式化におけるその応用と、意味認識やコンテンツ生成に関する様々な問題を解決する方法について検討する。 私たちは、この領域をよりモジュール的で透明なインテリジェントなシステムに向け、過去に現れた、多分野のパターンと洞察に光を当てました。
  論文  参考訳（メタデータ） (2020-10-19T13:55:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。