論文の概要: FAIR: Flow Type-Aware Pre-Training of Compiler Intermediate Representations

• arxiv url: http://arxiv.org/abs/2309.04828v1
• Date: Sat, 9 Sep 2023 15:51:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-23 08:10:23.502527
• Title: FAIR: Flow Type-Aware Pre-Training of Compiler Intermediate Representations
• Title（参考訳）: FAIR: コンパイラ中間表現のフロー型認識事前評価
• Authors: Changan Niu, Chuanyi Li, Vincent Ng, David Lo, Bin Luo
• Abstract要約: コンパイラ中間表現(IR)のためのフロー型認識事前学習モデルを提案する。 具体的には、FAIRがIRトークンのセマンティクス、フロー型情報、およびIRの全体的な表現を学べるようにすることを提案する。 実験の結果、FAIRは4つのコード関連下流タスクで最先端の結果を得ることができることがわかった。
• 参考スコア（独自算出の注目度）: 36.030609139210426
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While the majority of existing pre-trained models from code learn source code features such as code tokens and abstract syntax trees, there are some other works that focus on learning from compiler intermediate representations (IRs). Existing IR-based models typically utilize IR features such as instructions, control and data flow graphs (CDFGs), call graphs, etc. However, these methods confuse variable nodes and instruction nodes in a CDFG and fail to distinguish different types of flows, and the neural networks they use fail to capture long-distance dependencies and have over-smoothing and over-squashing problems. To address these weaknesses, we propose FAIR, a Flow type-Aware pre-trained model for IR that involves employing (1) a novel input representation of IR programs; (2) Graph Transformer to address over-smoothing, over-squashing and long-dependencies problems; and (3) five pre-training tasks that we specifically propose to enable FAIR to learn the semantics of IR tokens, flow type information, and the overall representation of IR. Experimental results show that FAIR can achieve state-of-the-art results on four code-related downstream tasks.
• Abstract（参考訳）: 既存のトレーニング済みモデルのほとんどは、コードトークンや抽象構文木などのソースコード機能を学ぶが、コンパイラ中間表現(IR)から学ぶことに注力する研究は他にもある。 既存のIRベースのモデルでは、命令、制御、データフローグラフ(CDFG)、コールグラフなどのIR機能を利用するのが一般的である。 しかし、これらの方法はCDFG内の変数ノードと命令ノードを混同し、異なるタイプのフローを区別できない。 これらの弱点に対処するため,(1)新しいIRプログラムの入力表現を取り入れたフロー型事前学習モデルであるFAIR,(2)過度なスムース、過度なスキャッシング、長期依存問題に対処するグラフ変換器,(3)FAIRがIRトークンのセマンティクス、フロー型情報、IRの全体表現を学習できるようにするための5つの事前学習タスクを提案する。 実験の結果、FAIRは4つのコード関連下流タスクで最先端の結果を得ることができることがわかった。

関連論文リスト

• Robust Neural Information Retrieval: An Adversarial and Out-of-distribution Perspective [111.58315434849047]
  ニューラルネットワーク検索モデル(IR)モデルの堅牢性は、大きな注目を集めている。 我々は、IRの堅牢性を多面的概念とみなし、敵攻撃、アウト・オブ・ディストリビューション(OOD)シナリオ、パフォーマンスのばらつきに対してその必要性を強調している。 我々は,既存の手法,データセット,評価指標について詳細な議論を行い,大規模言語モデルの時代における課題や今後の方向性に光を当てる。
  論文  参考訳（メタデータ） (2024-07-09T16:07:01Z)
• Towards Learning Abductive Reasoning using VSA Distributed Representations [56.31867341825068]
  本稿では,文脈認識モデルを用いた帰納的ルール学習手法を提案する。 ARLCは、誘引的推論のための、新しくより広く適用可能な訓練目標を特徴としている。 プログラムされた知識の上に実例から漸進的に学習することで,ARLCのポストプログラミングトレーニングに対する堅牢性を示す。
  論文  参考訳（メタデータ） (2024-06-27T12:05:55Z)
• Visual Delta Generator with Large Multi-modal Models for Semi-supervised Composed Image Retrieval [50.72924579220149]
  Composed Image Retrieval (CIR)は、提供されるテキスト修正に基づいて、クエリに似たイメージを取得するタスクである。 現在の技術は、基準画像、テキスト、ターゲット画像のラベル付き三重項を用いたCIRモデルの教師あり学習に依存している。 本稿では,参照とその関連対象画像を補助データとして検索する半教師付きCIR手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T21:00:22Z)
• Probabilistic Abduction for Visual Abstract Reasoning via Learning Rules in Vector-symbolic Architectures [22.12114509953737]
  抽象推論は人間の知性の基礎であり、それを人工知能(AI)で複製することは、現在進行中の課題である。 本研究では,抽象的推論能力を評価する視覚的テストであるRaven's Progress matrices (RPM) を効率的に解くことに焦点を当てた。 RPMに関連するルール定式化をハードコーディングする代わりに、トレーニングデータに1回だけ通すだけでVSAルール定式化を学習することができる。
  論文  参考訳（メタデータ） (2024-01-29T10:17:18Z)
• DiffIR: Efficient Diffusion Model for Image Restoration [108.82579440308267]
  拡散モデル(DM)は、画像合成過程をデノナイジングネットワークのシーケンシャルな応用にモデル化することで、SOTA性能を達成した。 画像全体や特徴マップを推定する大規模なモデルで大規模なイテレーションを実行する従来のDMは、画像復元には非効率である。 本稿では、小型IR先行抽出ネットワーク(CPEN)、ダイナミックIR変換器(DIRformer)、デノナイズネットワーク(Denoising Network)からなるDiffIRを提案する。
  論文  参考訳（メタデータ） (2023-03-16T16:47:14Z)
• Generalization on the Unseen, Logic Reasoning and Degree Curriculum [25.7378861650474]
  本稿では,論理的(ブール的)関数の学習について,未確認(GOTU)設定の一般化に着目して考察する。 我々は,(S)GDで訓練されたネットワークアーキテクチャがGOTUの下でどのように機能するかを検討する。 具体的には、より高次基底要素に最小のフーリエ質量を持つトレーニングデータの補間子を意味する。
  論文  参考訳（メタデータ） (2023-01-30T17:44:05Z)
• Entity-Conditioned Question Generation for Robust Attention Distribution in Neural Information Retrieval [51.53892300802014]
  教師付きニューラル情報検索モデルでは,通過トークンよりも疎注意パターンを学習することが困難であることを示す。 目的とする新しい合成データ生成手法を用いて、与えられた通路内の全てのエンティティに対して、より均一で堅牢な参加をニューラルIRに教える。
  論文  参考訳（メタデータ） (2022-04-24T22:36:48Z)
• Learning Centric Wireless Resource Allocation for Edge Computing: Algorithm and Experiment [15.577056429740951]
  Edge Intelligenceは、センサー、通信、コンピューティングコンポーネントを統合し、さまざまな機械学習アプリケーションをサポートする、新興ネットワークアーキテクチャである。 既存の方法は2つの重要な事実を無視している: 1) 異なるモデルがトレーニングデータに不均一な要求を持っている; 2) シミュレーション環境と実環境との間にはミスマッチがある。 本稿では,複数のタスクの最悪の学習性能を最大化する学習中心の無線リソース割り当て方式を提案する。
  論文  参考訳（メタデータ） (2020-10-29T06:20:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。