論文の概要: Pattern Matching in AI Compilers and its Formalization (Extended Version)

• arxiv url: http://arxiv.org/abs/2412.13398v1
• Date: Wed, 18 Dec 2024 00:29:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 16:47:40.128229
• Title: Pattern Matching in AI Compilers and its Formalization (Extended Version)
• Title（参考訳）: AIコンパイラにおけるパターンマッチングとその形式化(拡張バージョン)
• Authors: Joseph W. Cutler, Alex Collins, Bin Fan, Mahesh Ravishankar, Vinod Grover,
• Abstract要約: PyPMは、リライトベースの最適化パスを構築するためのPythonベースのドメイン固有言語である。 我々は、PyPMの構築と、この複雑さの形式化と蒸留について、理解可能な数学的コアに提示する。
• 参考スコア（独自算出の注目度）: 5.025922465392978
• License:
• Abstract: PyPM is a Python-based domain specific language (DSL) for building rewrite-based optimization passes on machine learning computation graphs. Users define individual optimizations by writing (a) patterns that match subgraphs of a computation graph and (b) corresponding rules which replace a matched subgraph with an optimized kernel. PyPM is distinguished from the many other DSLs for defining rewriting passes by its complex and novel pattern language which borrows concepts from logic programming. PyPM patterns can be recursive, nondeterminstic, and can require checking domain-specific constraints such as the shapes of tensors. The PyPM implementation is thus similarly complicated, consisting of thousands of lines of C++ code. In this paper, we present our work on building PyPM, as well as formalizing and distilling and this complexity to an understandable mathematical core. We have developed a formal core calculus expressing the main operations of the PyPM pattern language. We define both a declarative semantics - describing which patterns match which terms - and an algorithmic semantics - an idealized version of the PyPM pattern interpreter - and prove their equivalence. The development is fully mechanized in the Coq proof assistant.
• Abstract（参考訳）: PyPMは、リライトベースの最適化パスを構築するためのPythonベースのドメイン固有言語(DSL)である。 ユーザーは書くことで個別の最適化を定義する (a)計算グラフのサブグラフと一致するパターンと b) 一致した部分グラフを最適化されたカーネルに置き換える対応する規則。 PyPMは、論理プログラミングの概念を借用した複雑で斬新なパターン言語によって書き換えパスを定義するために、他の多くのDSLと区別されている。 PyPMパターンは再帰的で非決定的であり、テンソルの形状のようなドメイン固有の制約をチェックする必要がある。 したがって、PyPMの実装も同様に複雑で、数千行のC++コードで構成されている。 本稿では,PyPMの構築と,この複雑さを数学的に理解可能なコアにフォーマル化・蒸留する作業について述べる。 我々はPyPMパターン言語の主要な操作を表現した公式なコア計算を開発した。 PyPMパターンインタプリタの理想的なバージョンである宣言的セマンティクス(どのパターンがどの用語に一致するかを記述する)とアルゴリズム的セマンティクス(英語版)の両方を定義し、その等価性を証明する。 開発はCoq証明アシスタントで完全に機械化されている。

関連論文リスト

• Training Neural Networks as Recognizers of Formal Languages [87.06906286950438]
  形式言語理論は、特に認識者に関するものである。 代わりに、非公式な意味でのみ類似したプロキシタスクを使用するのが一般的である。 ニューラルネットワークを文字列のバイナリ分類器として直接訓練し評価することで、このミスマッチを補正する。
  論文  参考訳（メタデータ） (2024-11-11T16:33:25Z)
• Automata-based constraints for language model decoding [9.137697105669142]
  言語モデル(LM)は、いくつかの形式言語で文字列を生成することがしばしば期待されている。 チューニングにはかなりのリソースが必要で、一般的でない、あるいはタスク固有のフォーマットでは実用的ではない。 我々はこれらの問題をオートマトン理論を適用して解決する。 我々のシステムは、7000倍高速に制約をコンパイルし、確実に正確であり、モジュール方式で拡張することができる。
  論文  参考訳（メタデータ） (2024-07-11T00:25:01Z)
• AI Coders Are Among Us: Rethinking Programming Language Grammar Towards Efficient Code Generation [14.831115535710692]
  本稿では,AI指向文法の概念を提案する。 これは、AIモデルの動作メカニズムにより良い方法でコードを表現することを目的としています。 AI指向文法で書かれたコードはフォーマットを捨て、最小限のトークンを使用する。
  論文  参考訳（メタデータ） (2024-04-25T04:46:02Z)
• Compositional Program Generation for Few-Shot Systematic Generalization [59.57656559816271]
  コンポジションプログラムジェネレータ(CPG)と呼ばれるニューロシンボリックアーキテクチャに関する研究 CPGには3つの重要な特徴がある: 文法規則の形で、テキストモジュラリティ、テキストコンポジション、テキストタストラクションである。 SCAN と COGS のベンチマークでは,SCAN の14例と COGS の22例を使用して,完全な一般化を実現している。
  論文  参考訳（メタデータ） (2023-09-28T14:33:20Z)
• Natural Language Embedded Programs for Hybrid Language Symbolic Reasoning [84.12154024070024]
  本研究では,数学・記号的推論,自然言語理解,後続の課題に対処するための統合フレームワークとして,自然言語組み込みプログラム(NLEP)を提案する。 我々のアプローチは,構造化知識の自然言語表現を含むデータ構造上の関数を定義する完全なPythonプログラムを生成するよう,言語モデルに促す。 Pythonインタープリタが生成されたコードを実行し、出力をプリントする。
  論文  参考訳（メタデータ） (2023-09-19T17:54:21Z)
• Top-Down Knowledge Compilation for Counting Modulo Theories [11.086759883832505]
  入力式が決定論的分解可能な否定正規形(d-DNNF)である場合、仮説モデルカウントは効率的に解ける。 トップダウン知識コンパイルは#SAT問題を解決する最先端技術である。 我々は,DPLL(T)探索の痕跡に基づくトップダウンコンパイラを提唱する。
  論文  参考訳（メタデータ） (2023-06-07T15:46:28Z)
• GraphQ IR: Unifying Semantic Parsing of Graph Query Language with Intermediate Representation [91.27083732371453]
  本稿では,グラフクエリ言語,すなわちGraphQ IRに対する統合中間表現(IR)を提案する。 セマンティックギャップをブリッジするIRの自然言語のような表現と、グラフ構造を維持するための正式に定義された構文によって、ニューラルネットワークによるセマンティックパーシングは、ユーザクエリをより効果的にGraphQ IRに変換することができる。 我々のアプローチは、KQA Pro、Overnight、MetaQAにおける最先端のパフォーマンスを一貫して達成できます。
  論文  参考訳（メタデータ） (2022-05-24T13:59:53Z)
• Discovering Non-monotonic Autoregressive Orderings with Variational Inference [67.27561153666211]
  我々は、訓練データから高品質な生成順序を純粋に検出する、教師なし並列化可能な学習装置を開発した。 エンコーダを非因果的注意を持つトランスフォーマーとして実装し、1つのフォワードパスで置換を出力する。 言語モデリングタスクにおける経験的結果から,我々の手法は文脈認識であり,一定の順序と競合する,あるいはより優れた順序を見つけることができる。
  論文  参考訳（メタデータ） (2021-10-27T16:08:09Z)
• pygrank: A Python Package for Graph Node Ranking [13.492381728793612]
  我々は、ノードランキングアルゴリズムを定義し、実行し、評価するオープンソースのPythonパッケージであるpygrankを紹介した。 我々は,グラフフィルタ,ポストプロセッサ,測度,ベンチマーク,オンラインチューニングなど,オブジェクト指向で広範囲に単体テストされたアルゴリズムコンポーネントを提供する。
  論文  参考訳（メタデータ） (2021-10-18T13:13:21Z)
• PyMatching: A Python package for decoding quantum codes with minimum-weight perfect matching [0.0]
  PyMatchingは、最小ウェイト完全マッチング(MWPM)アルゴリズムで量子誤り訂正符号を復号するパッケージである。 PyMatchingは、重み付きエッジの使用、フックエラー、バウンダリ、測定エラーをサポートし、高速な復号化とフォールトトレラント量子コンピューティングのシミュレーションを可能にする。
  論文  参考訳（メタデータ） (2021-05-27T12:10:37Z)
• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks [133.93803565077337]
  検索強化生成モデルは、事前訓練されたパラメトリックメモリと非パラメトリックメモリを組み合わせて言語生成を行う。 我々は、RAGモデルが、最先端パラメトリックのみのセク2セックベースラインよりも、より具体的で、多様で、現実的な言語を生成することを示す。
  論文  参考訳（メタデータ） (2020-05-22T21:34:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。