論文の概要: FAIR: Flow Type-Aware Pre-Training of Compiler Intermediate
Representations
- arxiv url: http://arxiv.org/abs/2309.04828v1
- Date: Sat, 9 Sep 2023 15:51:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 08:10:23.502527
- Title: FAIR: Flow Type-Aware Pre-Training of Compiler Intermediate
Representations
- Title(参考訳): FAIR: コンパイラ中間表現のフロー型認識事前評価
- Authors: Changan Niu, Chuanyi Li, Vincent Ng, David Lo, Bin Luo
- Abstract要約: コンパイラ中間表現(IR)のためのフロー型認識事前学習モデルを提案する。
具体的には、FAIRがIRトークンのセマンティクス、フロー型情報、およびIRの全体的な表現を学べるようにすることを提案する。
実験の結果、FAIRは4つのコード関連下流タスクで最先端の結果を得ることができることがわかった。
- 参考スコア(独自算出の注目度): 36.030609139210426
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While the majority of existing pre-trained models from code learn source code
features such as code tokens and abstract syntax trees, there are some other
works that focus on learning from compiler intermediate representations (IRs).
Existing IR-based models typically utilize IR features such as instructions,
control and data flow graphs (CDFGs), call graphs, etc. However, these methods
confuse variable nodes and instruction nodes in a CDFG and fail to distinguish
different types of flows, and the neural networks they use fail to capture
long-distance dependencies and have over-smoothing and over-squashing problems.
To address these weaknesses, we propose FAIR, a Flow type-Aware pre-trained
model for IR that involves employing (1) a novel input representation of IR
programs; (2) Graph Transformer to address over-smoothing, over-squashing and
long-dependencies problems; and (3) five pre-training tasks that we
specifically propose to enable FAIR to learn the semantics of IR tokens, flow
type information, and the overall representation of IR. Experimental results
show that FAIR can achieve state-of-the-art results on four code-related
downstream tasks.
- Abstract(参考訳): 既存のトレーニング済みモデルのほとんどは、コードトークンや抽象構文木などのソースコード機能を学ぶが、コンパイラ中間表現(IR)から学ぶことに注力する研究は他にもある。
既存のIRベースのモデルでは、命令、制御、データフローグラフ(CDFG)、コールグラフなどのIR機能を利用するのが一般的である。
しかし、これらの方法はCDFG内の変数ノードと命令ノードを混同し、異なるタイプのフローを区別できない。
これらの弱点に対処するため,(1)新しいIRプログラムの入力表現を取り入れたフロー型事前学習モデルであるFAIR,(2)過度なスムース、過度なスキャッシング、長期依存問題に対処するグラフ変換器,(3)FAIRがIRトークンのセマンティクス、フロー型情報、IRの全体表現を学習できるようにするための5つの事前学習タスクを提案する。
実験の結果、FAIRは4つのコード関連下流タスクで最先端の結果を得ることができることがわかった。
関連論文リスト
- Visual Delta Generator with Large Multi-modal Models for Semi-supervised Composed Image Retrieval [50.72924579220149]
Composed Image Retrieval (CIR)は、提供されるテキスト修正に基づいて、クエリに似たイメージを取得するタスクである。
現在の技術は、基準画像、テキスト、ターゲット画像のラベル付き三重項を用いたCIRモデルの教師あり学習に依存している。
本稿では,参照とその関連対象画像を補助データとして検索する半教師付きCIR手法を提案する。
論文 参考訳(メタデータ) (2024-04-23T21:00:22Z) - Sparse Feature Circuits: Discovering and Editing Interpretable Causal Graphs in Language Models [55.19497659895122]
本稿ではスパース特徴回路の発見と適用方法を紹介する。
これらは言語モデルの振る舞いを説明するための人間の解釈可能な特徴の因果関係の著作である。
論文 参考訳(メタデータ) (2024-03-28T17:56:07Z) - InfMAE: A Foundation Model in Infrared Modality [40.51637501297646]
本稿では,赤外線モダリティの基礎モデルであるInfMAEを提案する。
Inf30と呼ばれる赤外線データセットをリリースし、自己教師付き学習のための大規模データ不足の問題に対処する。
提案手法は,3つの下流タスクにおいて,他の教師付き手法や自己教師付き学習方法よりも優れている。
論文 参考訳(メタデータ) (2024-02-01T08:02:10Z) - Probabilistic Abduction for Visual Abstract Reasoning via Learning Rules
in Vector-symbolic Architectures [22.12114509953737]
抽象推論は人間の知性の基礎であり、それを人工知能(AI)で複製することは、現在進行中の課題である。
本研究では,抽象的推論能力を評価する視覚的テストであるRaven's Progress matrices (RPM) を効率的に解くことに焦点を当てた。
RPMに関連するルール定式化をハードコーディングする代わりに、トレーニングデータに1回だけ通すだけでVSAルール定式化を学習することができる。
論文 参考訳(メタデータ) (2024-01-29T10:17:18Z) - LETA: Learning Transferable Attribution for Generic Vision Explainer [78.96465840557056]
大規模画像データセットの汎用的説明器を開発し、その伝達可能性を活用して、下流タスクの様々な視覚モデルを説明する。
LETAは、ジェネリック・アナトリビューションに対するジェネリック・アナトリビュータの事前トレーニングをガイドし、下流のタスクを説明するために、トランストリビュータのルールベースの適応を導入する。
実験結果から,LETAは下流タスクのデータに対する追加トレーニングを必要とせず,これらのタスクを説明するのに有効であることが示唆された。
論文 参考訳(メタデータ) (2023-12-23T21:49:23Z) - DiffIR: Efficient Diffusion Model for Image Restoration [108.82579440308267]
拡散モデル(DM)は、画像合成過程をデノナイジングネットワークのシーケンシャルな応用にモデル化することで、SOTA性能を達成した。
画像全体や特徴マップを推定する大規模なモデルで大規模なイテレーションを実行する従来のDMは、画像復元には非効率である。
本稿では、小型IR先行抽出ネットワーク(CPEN)、ダイナミックIR変換器(DIRformer)、デノナイズネットワーク(Denoising Network)からなるDiffIRを提案する。
論文 参考訳(メタデータ) (2023-03-16T16:47:14Z) - Entity-Conditioned Question Generation for Robust Attention Distribution
in Neural Information Retrieval [51.53892300802014]
教師付きニューラル情報検索モデルでは,通過トークンよりも疎注意パターンを学習することが困難であることを示す。
目的とする新しい合成データ生成手法を用いて、与えられた通路内の全てのエンティティに対して、より均一で堅牢な参加をニューラルIRに教える。
論文 参考訳(メタデータ) (2022-04-24T22:36:48Z) - Learning Centric Wireless Resource Allocation for Edge Computing:
Algorithm and Experiment [15.577056429740951]
Edge Intelligenceは、センサー、通信、コンピューティングコンポーネントを統合し、さまざまな機械学習アプリケーションをサポートする、新興ネットワークアーキテクチャである。
既存の方法は2つの重要な事実を無視している: 1) 異なるモデルがトレーニングデータに不均一な要求を持っている; 2) シミュレーション環境と実環境との間にはミスマッチがある。
本稿では,複数のタスクの最悪の学習性能を最大化する学習中心の無線リソース割り当て方式を提案する。
論文 参考訳(メタデータ) (2020-10-29T06:20:40Z) - Copula Representations and Error Surface Projections for the Exclusive
Or Problem [0.0]
排他的あるいは(xor)関数は、なぜ非線形フィードフォワードネットワークが機械学習アプリケーションにおいて線形回帰よりも優れているのかを示す最も単純な例の1つである。
本稿では、xor表現と近似問題を概観し、確率論的論理と連想的コプラ関数の観点からそれらの解について議論する。
論文 参考訳(メタデータ) (2019-07-08T00:20:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。