論文の概要: BiGSCoder: State Space Model for Code Understanding

• arxiv url: http://arxiv.org/abs/2505.01475v1
• Date: Fri, 02 May 2025 14:27:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-06 18:49:35.1409
• Title: BiGSCoder: State Space Model for Code Understanding
• Title（参考訳）: BiGSCoder:コード理解のための状態空間モデル
• Authors: Shweta Verma, Abhinav Anand, Mira Mezini,
• Abstract要約: BiGSCoderは、ゲートアーキテクチャを備えた新しいエンコーダのみの双方向状態空間モデル(SSM)である。 本研究の目的は,従来のトランスフォーマーアーキテクチャと比較して,コーディングタスクにおけるSSMの能力を体系的に評価することである。
• 参考スコア（独自算出の注目度）: 1.8838588087156363
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We present BiGSCoder, a novel encoder-only bidirectional state-space model (SSM) featuring a gated architecture, pre-trained for code understanding on a code dataset using masked language modeling. Our work aims to systematically evaluate SSMs' capabilities in coding tasks compared to traditional transformer architectures; BiGSCoder is built for this purpose. Through comprehensive experiments across diverse pre-training configurations and code understanding benchmarks, we demonstrate that BiGSCoder outperforms transformer-based models, despite utilizing simpler pre-training strategies and much less training data. Our results indicate that BiGSCoder can serve as a more sample-efficient alternative to conventional transformer models. Furthermore, our study shows that SSMs perform better without positional embeddings and can effectively extrapolate to longer sequences during fine-tuning.
• Abstract（参考訳）: マスク付き言語モデリングを用いたコードデータセット上でのコード理解のために事前訓練されたゲートアーキテクチャを備えた,新しいエンコーダのみの双方向状態空間モデル(SSM)であるBiGSCoderを提案する。 本研究は,従来のトランスフォーマーアーキテクチャと比較して,SSMのコーディング能力を評価することを目的としている。 さまざまな事前トレーニング設定とコード理解ベンチマークの包括的な実験を通じて、より単純な事前トレーニング戦略とはるかに少ないトレーニングデータを使用しながら、BiGSCoderがトランスフォーマーベースのモデルより優れていることを実証した。 以上の結果から,BiGSCoderは従来のトランスフォーマーモデルよりも,よりサンプル効率の良い代替品として機能することが示唆された。 さらに,本研究では,SSMは位置埋め込みを伴わずに優れた性能を示し,微調整時により長いシーケンスに効果的に外挿できることを示した。

関連論文リスト

• RAGGED: Towards Informed Design of Retrieval Augmented Generation Systems [51.171355532527365]
  Retrieval-augmented Generation (RAG) は言語モデル(LM)の性能を大幅に向上させる RAGGEDは、様々な文書ベースの質問応答タスクにわたるRAG構成を分析するためのフレームワークである。
  論文  参考訳（メタデータ） (2024-03-14T02:26:31Z)
• Representation Learning in a Decomposed Encoder Design for Bio-inspired Hebbian Learning [5.67478985222587]
  本稿では,異なる不変な視覚ディスクリプタを帰納バイアスとして活用する並列エンコーダを含む,バイオインスパイアされたコントラッシブ予測符号化を訓練したモジュラーフレームワークを提案する。 以上の結果から,帰納的バイアスは学習表現の堅牢性を大幅に向上させ,モデル間の性能ギャップを狭めることが示唆された。
  論文  参考訳（メタデータ） (2023-11-22T07:58:14Z)
• TransformCode: A Contrastive Learning Framework for Code Embedding via Subtree Transformation [9.477734501499274]
  コード埋め込みを対照的な学習方法で学習する新しいフレームワークであるTransformCodeを提案する。 我々のフレームワークはエンコーダに依存しない言語に依存しないので、どんなエンコーダモデルでも活用でき、どんなプログラミング言語でも扱える。
  論文  参考訳（メタデータ） (2023-11-10T09:05:23Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• TransCoder: Towards Unified Transferable Code Representation Learning Inspired by Human Skills [31.75121546422898]
  本稿では,コード表現学習のためのTransCoderについて述べる。 我々は、メタラーナーとして調整可能なプレフィックスエンコーダを用いて、クロスタスクおよびクロス言語変換可能な知識をキャプチャする。 本手法は, 各種コード関連タスクの性能向上と相互強化の促進に寄与する。
  論文  参考訳（メタデータ） (2023-05-23T06:59:22Z)
• Pretraining Without Attention [114.99187017618408]
  本研究では、状態空間モデル(SSM)に基づくシーケンスルーティングの最近の進歩を利用して、注意を払わずに事前学習を探索する。 BiGS は GLUE 上で BERT の事前トレーニング精度と一致し、近似なしで 4096 トークンの長期事前トレーニングに拡張できる。
  論文  参考訳（メタデータ） (2022-12-20T18:50:08Z)
• MASTER: Multi-task Pre-trained Bottlenecked Masked Autoencoders are Better Dense Retrievers [140.0479479231558]
  本研究では,様々な事前学習タスクをマルチタスク事前学習モデル(MASTER)に統合することを目的とする。 MASTERは共有エンコーダのマルチデコーダアーキテクチャを利用して、タスク全体にわたる豊富なセマンティック情報を高密度ベクトルに圧縮する表現ボトルネックを構築することができる。
  論文  参考訳（メタデータ） (2022-12-15T13:57:07Z)
• CodeRL: Mastering Code Generation through Pretrained Models and Deep Reinforcement Learning [92.36705236706678]
  CodeRLは、事前訓練されたLMと深層強化学習によるプログラム合成タスクのための新しいフレームワークである。 推論中、我々は重要なサンプリング戦略を持つ新しい生成手順を導入する。 モデルバックボーンについては,CodeT5のエンコーダデコーダアーキテクチャを拡張し,学習目標を拡張した。
  論文  参考訳（メタデータ） (2022-07-05T02:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。