論文の概要: Automatic Identification of Parallelizable Loops Using Transformer-Based Source Code Representations

• arxiv url: http://arxiv.org/abs/2603.30040v1
• Date: Tue, 31 Mar 2026 17:54:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-01 15:25:03.966068
• Title: Automatic Identification of Parallelizable Loops Using Transformer-Based Source Code Representations
• Title（参考訳）: Transformer-based Source Code Representation を用いた並列化可能なループの自動同定
• Authors: Izavan dos S. Correia, Henrique C. T. Santos, Tiago A. E. Ferreira,
• Abstract要約: ソースコードの並列化ポテンシャルを分類するトランスフォーマーに基づく手法を提案する。 我々は、サブワードトークン化を用いたソースコードシーケンスの処理にDistilBERTを採用している。 その結果, 平均精度は99%以上, 偽陽性率は低かった。
• 参考スコア（独自算出の注目度）: 1.5866931449827322
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic parallelization remains a challenging problem in software engineering, particularly in identifying code regions where loops can be safely executed in parallel on modern multi-core architectures. Traditional static analysis techniques, such as dependence analysis and polyhedral models, often struggle with irregular or dynamically structured code. In this work, we propose a Transformer-based approach to classify the parallelization potential of source code, focusing on distinguishing independent (parallelizable) loops from undefined ones. We adopt DistilBERT to process source code sequences using subword tokenization, enabling the model to capture contextual syntactic and semantic patterns without handcrafted features. The approach is evaluated on a balanced dataset combining synthetically generated loops and manually annotated real-world code, using 10-fold cross-validation and multiple performance metrics. Results show consistently high performance, with mean accuracy above 99\% and low false positive rates, demonstrating robustness and reliability. Compared to prior token-based methods, the proposed approach simplifies preprocessing while improving generalization and maintaining computational efficiency. These findings highlight the potential of lightweight Transformer models for practical identification of parallelization opportunities at the loop level.
• Abstract（参考訳）: 自動並列化は、ソフトウェアエンジニアリング、特に現代のマルチコアアーキテクチャ上でループを安全に実行可能なコード領域の特定において、依然として困難な問題である。 依存分析や多面体モデルといった従来の静的解析技術は、しばしば不規則または動的に構造化されたコードと競合する。 本研究では,ソースコードの並列化ポテンシャルを分類するTransformerベースの手法を提案する。 我々は、サブワードトークン化を用いてソースコードのシーケンスを処理するためにDistilBERTを採用し、手作りの機能を使わずにコンテキストの構文やセマンティックパターンをキャプチャできる。 このアプローチは、10倍のクロスバリデーションと複数のパフォーマンスメトリクスを使用して、合成生成されたループと手動で注釈付けされた実世界のコードを組み合わせたバランスのとれたデータセットで評価される。 その結果, 平均精度が99\%以上, 偽陽性率が低く, 堅牢性と信頼性が示された。 従来のトークンベースの手法と比較して,提案手法は一般化と計算効率の維持を図りつつ,前処理を単純化する。 これらの知見は、ループレベルでの並列化機会を実用的に識別するための軽量トランスフォーマーモデルの可能性を示している。

関連論文リスト

• PRISM: Parallel Residual Iterative Sequence Model [52.26239951489612]
  我々はこの緊張を解決するためにPRISM(Parallel Residual Iterative Sequence Model)を提案する。 PRISMは、パラレル化可能な形で多段階精製の重要な構造特性を捉える、ソルバに着想を得た帰納バイアスを導入している。 この定式化が Rank-$L$ の蓄積を達成することを証明し、更新多様体を単一ステップの Rank-$1$ ボトルネックを超えて構造的に拡張する。
  論文  参考訳（メタデータ） (2026-02-11T12:39:41Z)
• Frame-Stacked Local Transformers For Efficient Multi-Codebook Speech Generation [13.289870835946347]
  大規模言語モデル(LLM)に基づく音声生成モデルは、テキストトークンと基本的に異なる離散音響符号で動作する。 各段階において、モデルはNのコードブックエントリを共同で予測し、単純な並列予測アプローチに挑戦する依存関係を導入する必要がある。 これを解決するために階層戦略では、ローカルトランスフォーマー(LT)を使用して予測を洗練し、タイムステップ内依存関係をキャプチャする。 本稿では,計算効率や合成忠実度などのデプロイメントの優先順位に基づいて,デコード戦略を選択するための実践的ガイドラインを提案する。
  論文  参考訳（メタデータ） (2025-09-23T21:31:00Z)
• ASPD: Unlocking Adaptive Serial-Parallel Decoding by Exploring Intrinsic Parallelism in LLMs [34.477777651648914]
  大規模言語モデル(LLM)は、自動回帰デコードパラダイムのため、推論遅延の大きな問題を生じさせる。 本稿では、並列化可能なデータの自動構築と効率的な並列化機構の2つの課題に対処する適応シリアル-パラレルデコーディング(ASPD)を提案する。 我々のフレームワークは、効率的なLCM並列推論のための基盤となるベンチマークを設定し、AIによるカスタマーサービスボットや回答検索エンジンのようなレイテンシに敏感なアプリケーションへのデプロイの道を開く。
  論文  参考訳（メタデータ） (2025-08-12T12:35:55Z)
• Speculative Decoding for Multi-Sample Inference [21.64693536216534]
  マルチサンプル推論シナリオに適した新しい投機的復号法を提案する。 提案手法は並列生成経路の本質的なコンセンサスを利用して高品質なドラフトトークンを合成する。
  論文  参考訳（メタデータ） (2025-03-07T11:15:36Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• OMPar: Automatic Parallelization with AI-Driven Source-to-Source Compilation [4.266086505323998]
  本稿では,OpenMP pragmasを用いたC/C++コードの並列化を自動化するAI駆動型ツールであるOMParを紹介する。 OMParは、ループ並列化ポテンシャルを評価するOMPifyと、正確なOpenMPパグマを生成する新しい微調整モデルであるMonoCoder-OMPの2つの主要なコンポーネントを通じて、LLM(Large Language Models)を統合している。
  論文  参考訳（メタデータ） (2024-09-23T07:39:01Z)
• Transformers as Statisticians: Provable In-Context Learning with In-Context Algorithm Selection [88.23337313766353]
  この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。 コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。 エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
  論文  参考訳（メタデータ） (2023-06-07T17:59:31Z)
• Randomized Block-Diagonal Preconditioning for Parallel Learning [0.0]
  本研究では,プレコンディショニング行列がブロック対角形を持つ事前条件付き勾配に基づく最適化手法について検討する。 本研究の主な貢献は,これらの手法の収束性がランダム化手法によって著しく向上できることを実証することである。
  論文  参考訳（メタデータ） (2020-06-24T10:12:36Z)
• Cascaded Text Generation with Markov Transformers [122.76100449018061]
  ニューラルテキスト生成における2つの主要なアプローチは、シリアルビームサーチデコーディングを使用した完全自己回帰モデルと、出力依存のない並列デコーディングを使用した非自己回帰モデルである。 本稿では,境界付きコンテキストを持つ条件付きランダムフィールドを並列にデコードできることに言及し,高品質な出力を生成するための効率的なカスケードデコード手法を提案する。 このアプローチでは,5つの機械翻訳データセットの既存の手法と比較して,競争力のある精度と速度のトレードオフを示す一方で,標準的な自己回帰トレーニングからのわずかな変更しか必要としない。
  論文  参考訳（メタデータ） (2020-06-01T17:52:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。