論文の概要: A Comparative Study on Code Generation with Transformers

• arxiv url: http://arxiv.org/abs/2412.05749v1
• Date: Sat, 07 Dec 2024 21:18:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:58:22.313082
• Title: A Comparative Study on Code Generation with Transformers
• Title（参考訳）: 変圧器によるコード生成の比較検討
• Authors: Namrata Das, Rakshya Panta, Neelam Karki, Ruchi Manandhar, Dinesh Baniya Kshatri,
• Abstract要約: 本稿では「トランスフォーマーを用いたコード生成の比較研究」という概念を紹介する。 Transformerアーキテクチャに基づくモデルと、さまざまな問題に対してC++ソースコードを自動生成するNLP方法論。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: In an era of widespread influence of Natural Language Processing (NLP), there have been multiple research efforts to supplant traditional manual coding techniques with automated systems capable of generating solutions autonomously. With rapid research for code generation and a sole focus on large language models, there emerges a need to compare and evaluate the performance of transformer architectures based on several complexities of the model. This paper introduces the concept of a "A Comparative Study on Code Generation with Transformers," a model based on Transformer architecture, and NLP methodologies to automatically generate C++ source code for different varieties of problems. Here, a comparative study is performed to evaluate the robustness of transformer-based models on the basis of their architecture complexities and their capability to handle diverse problem sets, from basic arithmetic to complex computations.
• Abstract（参考訳）: 自然言語処理(NLP)の影響が広まる時代には、従来の手作業によるコーディング技術を、自律的にソリューションを生成できる自動化システムに取って代わる研究がいくつも行われている。 コード生成の急速な研究と大規模言語モデルへの注力により、モデルの複雑さに基づいたトランスフォーマーアーキテクチャのパフォーマンスの比較と評価の必要性が浮かび上がっている。 本稿では,トランスフォーマーアーキテクチャに基づくモデルである"A Comparison Study on Code Generation with Transformers"の概念と,さまざまな問題に対してC++ソースコードを自動生成するNLP手法を紹介する。 ここでは, 基本計算から複素計算まで, アーキテクチャの複雑度と多種多様な問題集合を扱う能力に基づいて, トランスフォーマーモデルによるロバスト性を評価するために, 比較検討を行った。

関連論文リスト

• A Review on the Applications of Transformer-based language models for Nucleotide Sequence Analysis [0.8049701904919515]
  本稿では, ヌクレオチド配列の文脈における近年のトランスフォーマーモデルの発展について紹介する。 このレビューは、トランスフォーマーベースの言語モデルからヌクレオチド配列への様々な応用を理解する上で、科学コミュニティの助けになると考えています。
  論文  参考訳（メタデータ） (2024-12-10T05:33:09Z)
• STAR: Synthesis of Tailored Architectures [61.080157488857516]
  本稿では, 適合型アーキテクチャ (STAR) の新規な合成手法を提案する。 提案手法は線形入力可変系の理論に基づく新しい探索空間を結合し,階層的な数値エンコーディングをアーキテクチャゲノムに支持する。STARゲノムは,複数のモデル品質と効率の指標に最適化するために,勾配のない進化的アルゴリズムで自動的に精製・組換えされる。 STARを用いて、多種多様な計算単位と相互接続パターンを活用し、品質、パラメータサイズ、および自動回帰言語モデリングのための推論キャッシュのフロンティアにおける高度に最適化されたトランスフォーマーとストライプハイブリッドモデルを改善する。
  論文  参考訳（メタデータ） (2024-11-26T18:42:42Z)
• Transformers are Efficient Compilers, Provably [11.459397066286822]
  トランスフォーマーベースの大規模言語モデル(LLM)は、幅広い言語関連タスクにおいて驚くほど堅牢なパフォーマンスを示している。 本稿では,表現力の観点から,トランスフォーマーをコンパイラとして用いることの正式な調査に向けて第一歩を踏み出す。 代表言語であるMini-Huskyを導入し、現代のC言語の特徴をカプセル化する。
  論文  参考訳（メタデータ） (2024-10-07T20:31:13Z)
• Learning to Estimate System Specifications in Linear Temporal Logic using Transformers and Mamba [6.991281327290525]
  仕様マイニングは システムトレースから 時間論理式を抽出する トレースから線形時間論理式を生成するオートレモデルを導入する。 生成した公式の特異性の指標と,構文制約を強制するアルゴリズムを考案する。
  論文  参考訳（メタデータ） (2024-05-31T15:21:53Z)
• Looped Transformers are Better at Learning Learning Algorithms [16.98720552888865]
  本稿ではループ変換器アーキテクチャとその学習手法について述べる。 実験結果から, ループ変換器は標準変圧器に匹敵する性能を実現することが示唆された。
  論文  参考訳（メタデータ） (2023-11-21T08:32:38Z)
• Transformers as Statisticians: Provable In-Context Learning with In-Context Algorithm Selection [88.23337313766353]
  この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。 コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。 エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
  論文  参考訳（メタデータ） (2023-06-07T17:59:31Z)
• Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
  トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。 最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。 Transformerモデルをより効率的にすることに注力している。
  論文  参考訳（メタデータ） (2023-02-27T18:18:13Z)
• Redefining Neural Architecture Search of Heterogeneous Multi-Network Models by Characterizing Variation Operators and Model Components [71.03032589756434]
  複素領域における異なる変動演算子の効果について検討する。 モデルの複雑さと性能に影響を及ぼす変化演算子と、それを構成する異なる部分の質を推定する様々な指標に依存するモデルの両方を特徴付ける。
  論文  参考訳（メタデータ） (2021-06-16T17:12:26Z)
• Thinking Like Transformers [64.96770952820691]
  本稿では,プログラミング言語の形式で変換器エンコーダの計算モデルを提案する。 RASPは、トランスフォーマーによって確実に学習できるタスクの解決策をプログラムするのにどのように使えるかを示す。 ヒストグラム、ソート、ダイク言語のためのRASPプログラムを提供する。
  論文  参考訳（メタデータ） (2021-06-13T13:04:46Z)
• GroupBERT: Enhanced Transformer Architecture with Efficient Grouped Structures [57.46093180685175]
  トランスフォーマー層の構造を改良し,より効率的なアーキテクチャを実現する。 自己認識モジュールを補完する畳み込みモジュールを追加し、局所的およびグローバルな相互作用の学習を分離する。 得られたアーキテクチャを言語表現学習に適用し、異なるスケールのBERTモデルと比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2021-06-10T15:41:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。