論文の概要: CodeSSM: Towards State Space Models for Code Understanding
- arxiv url: http://arxiv.org/abs/2505.01475v2
- Date: Wed, 21 May 2025 15:24:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-22 15:42:58.414011
- Title: CodeSSM: Towards State Space Models for Code Understanding
- Title（参考訳）: CodeSSM: コード理解のための状態空間モデル
- Authors: Shweta Verma, Abhinav Anand, Mira Mezini,
- Abstract要約: 状態空間モデル(SSM)は、コード理解タスクのためのトランスフォーマーの潜在的な代替品である。
SSMはトランスよりも計算効率が高い。
また,SSMはよりサンプリング効率が高く,より長いコンテキストに効果的に外挿できることを示す。
- 参考スコア（独自算出の注目度）: 1.8838588087156363
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Although transformers are widely used for various code-specific tasks, they have some significant limitations. In this paper, we investigate State Space Models (SSMs) as a potential alternative to transformers for code understanding tasks, such as code retrieval, classification, and clone detection. Previous research has already demonstrated that SSMs are more compute-efficient than transformers. In our work, we show that SSMs are also more sample-efficient and can effectively extrapolate to longer contexts (beyond the pretraining context) during fine-tuning. Through comprehensive experiments, we demonstrate that SSMs could serve as a viable alternative to transformers for code understanding tasks, while addressing some of the major limitations associated with transformers.
- Abstract（参考訳）: トランスフォーマーは様々なコード固有のタスクに広く使われているが、いくつかの大きな制限がある。
本稿では,コード検索,分類,クローン検出などのコード理解タスクのためのトランスフォーマーの代替として,状態空間モデル(SSM)について検討する。
従来の研究では、SSMはトランスよりも計算効率が高いことが示されている。
本研究では,SSMはよりサンプリング効率が高く,微調整時により長いコンテキスト(事前学習のコンテキスト以外の)に効果的に外挿できることを示した。
総合的な実験を通じて、SSMがコード理解タスクのトランスフォーマーの代替となり得ることを実証し、トランスフォーマーに関連するいくつかの主要な制限に対処する。
関連論文リスト
- RAGGED: Towards Informed Design of Retrieval Augmented Generation Systems [51.171355532527365]
Retrieval-augmented Generation (RAG) は言語モデル(LM)の性能を大幅に向上させる
RAGGEDは、様々な文書ベースの質問応答タスクにわたるRAG構成を分析するためのフレームワークである。
論文 参考訳（メタデータ） (2024-03-14T02:26:31Z) - Representation Learning in a Decomposed Encoder Design for Bio-inspired Hebbian Learning [5.67478985222587]
本稿では,異なる不変な視覚ディスクリプタを帰納バイアスとして活用する並列エンコーダを含む,バイオインスパイアされたコントラッシブ予測符号化を訓練したモジュラーフレームワークを提案する。
以上の結果から,帰納的バイアスは学習表現の堅牢性を大幅に向上させ,モデル間の性能ギャップを狭めることが示唆された。
論文 参考訳（メタデータ） (2023-11-22T07:58:14Z) - TransformCode: A Contrastive Learning Framework for Code Embedding via Subtree Transformation [9.477734501499274]
コード埋め込みを対照的な学習方法で学習する新しいフレームワークであるTransformCodeを提案する。
我々のフレームワークはエンコーダに依存しない言語に依存しないので、どんなエンコーダモデルでも活用でき、どんなプログラミング言語でも扱える。
論文 参考訳（メタデータ） (2023-11-10T09:05:23Z) - Disentanglement via Latent Quantization [60.37109712033694]
本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。
本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
論文 参考訳（メタデータ） (2023-05-28T06:30:29Z) - TransCoder: Towards Unified Transferable Code Representation Learning Inspired by Human Skills [31.75121546422898]
本稿では,コード表現学習のためのTransCoderについて述べる。
我々は、メタラーナーとして調整可能なプレフィックスエンコーダを用いて、クロスタスクおよびクロス言語変換可能な知識をキャプチャする。
本手法は, 各種コード関連タスクの性能向上と相互強化の促進に寄与する。
論文 参考訳（メタデータ） (2023-05-23T06:59:22Z) - Pretraining Without Attention [114.99187017618408]
本研究では、状態空間モデル(SSM)に基づくシーケンスルーティングの最近の進歩を利用して、注意を払わずに事前学習を探索する。
BiGS は GLUE 上で BERT の事前トレーニング精度と一致し、近似なしで 4096 トークンの長期事前トレーニングに拡張できる。
論文 参考訳（メタデータ） (2022-12-20T18:50:08Z) - MASTER: Multi-task Pre-trained Bottlenecked Masked Autoencoders are
Better Dense Retrievers [140.0479479231558]
本研究では,様々な事前学習タスクをマルチタスク事前学習モデル(MASTER)に統合することを目的とする。
MASTERは共有エンコーダのマルチデコーダアーキテクチャを利用して、タスク全体にわたる豊富なセマンティック情報を高密度ベクトルに圧縮する表現ボトルネックを構築することができる。
論文 参考訳（メタデータ） (2022-12-15T13:57:07Z) - CodeRL: Mastering Code Generation through Pretrained Models and Deep
Reinforcement Learning [92.36705236706678]
CodeRLは、事前訓練されたLMと深層強化学習によるプログラム合成タスクのための新しいフレームワークである。
推論中、我々は重要なサンプリング戦略を持つ新しい生成手順を導入する。
モデルバックボーンについては,CodeT5のエンコーダデコーダアーキテクチャを拡張し,学習目標を拡張した。
論文 参考訳（メタデータ） (2022-07-05T02:42:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。