論文の概要: Enhancing Compiler Transformation Robustness with Large Language Models
- arxiv url: http://arxiv.org/abs/2401.16797v1
- Date: Tue, 30 Jan 2024 07:24:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-31 15:40:12.453478
- Title: Enhancing Compiler Transformation Robustness with Large Language Models
- Title(参考訳): 大規模言語モデルによるコンパイラ変換ロバスト性向上
- Authors: Yanzhao Wang, Fei Xie
- Abstract要約: 本稿では,Large Language Models (LLM) を翻訳検証に組み込むフレームワークを提案する。
我々のフレームワークは、翻訳検証に既存の形式的検証フレームワークを利用する。
LLMによって予測される変換には、戻り値やメモリの不整合のためにファジングが適用される。
他の理由や音のために変換が不適切である場合、フレームワークは、さらなるファジィを伴わずに、これらの結果を直接報告する。
- 参考スコア(独自算出の注目度): 5.103162976634333
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: This paper presents a framework that integrates Large Language Models (LLMs)
into translation validation, targeting LLVM compiler transformations where
formal verification tools are insufficient. Our framework first utilizes
existing formal verification frameworks for translation validation. In this
work, we use Alive2, a well-known tool in LLVM compiler verification, as an
example. When formal verification frameworks are unable to confirm a
transformation's soundness, our framework employs fine-tuned LLMs for
prediction. It applies fuzzing to transformations predicted as potentially
unsound by the LLMs due to return value or memory inconsistencies, aiming to
find counterexamples. In cases where transformations are unsound for other
reasons or sound, or if no counterexamples emerge, the framework directly
reports these outcomes without further fuzzing. This methodology has shown
effectiveness in complex areas like deep-learning accelerator design, where
traditional tools struggle.
- Abstract(参考訳): 本稿では,形式的検証ツールが不十分なLLVMコンパイラ変換を対象とし,言語モデル(LLM)を翻訳検証に統合するフレームワークを提案する。
まず,既存の形式的検証フレームワークを用いて翻訳検証を行う。
この作業では、llvmコンパイラ検証で有名なツールであるalive2を例として使用しています。
形式的検証フレームワークでは,変換の健全性が確認できない場合,予測には微調整されたllmを用いる。
これは、LLMによって予測される変換にファジィングを適用し、反例を見つけることを目的として、戻り値やメモリの不整合に起因する可能性がある。
他の理由や音のために変換が不正確である場合、あるいは反例が出現しない場合、フレームワークはさらなるファジィを伴わずにこれらの結果を直接報告する。
この方法論は、従来のツールが苦労するディープラーニングアクセラレータ設計のような複雑な領域で有効性を示している。
関連論文リスト
- Strategies for Improving NL-to-FOL Translation with LLMs: Data Generation, Incremental Fine-Tuning, and Verification [9.36179617282876]
GPT-4o を用いて ProofWriter データセットの高品質な FOL アノテーション付きサブセットを作成する。
本稿では,LLaMA-2およびMistralモデル上でProofFOLを用いたProofWriterおよびProntoQAデータセットの最先端性能を示す。
論文 参考訳(メタデータ) (2024-09-24T21:24:07Z) - Using Large Language Models for the Interpretation of Building Regulations [7.013802453969655]
大規模言語モデル(LLM)は、ユーザのプロンプトに応答する論理的に一貫性のあるテキストとソースコードを生成することができる。
本稿では, 建物規制をLegalRuleMLに変換する際のLLMの性能を, 数ショットの学習設定で評価する。
論文 参考訳(メタデータ) (2024-07-26T08:30:47Z) - An Empirical Evaluation of Pre-trained Large Language Models for Repairing Declarative Formal Specifications [5.395614997568524]
本稿では,アロイの宣言的仕様を修復するためのLarge Language Models (LLMs) の能力について,体系的に検討する。
本稿では, 補修エージェントとプロンプトエージェントを組み合わせた, 二重エージェントLLMフレームワークを統合した新しい補修パイプラインを提案する。
本研究は, LLM, 特に GPT-4 変種が, 実行時およびトークン使用率の限界が増大しているにもかかわらず, 修復効率において既存の技術よりも優れていたことを明らかにした。
論文 参考訳(メタデータ) (2024-04-17T03:46:38Z) - Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。
既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
論文 参考訳(メタデータ) (2024-03-26T06:57:23Z) - Leveraging Large Language Models for Automated Proof Synthesis in Rust [6.202137610101939]
大規模言語モデル(LLM)は、コード解析と合成に成功している。
我々は、LLMと静的解析を組み合わせることで、Verusと呼ばれるRustベースの形式検証フレームワークの不変性、アサーション、その他の証明構造を合成する。
プロトタイプでは,検証タスクを複数の小さなタスクに分割し,反復的にGPT-4をクエリし,その出力と軽量な静的解析を組み合わせる。
論文 参考訳(メタデータ) (2023-11-07T05:47:47Z) - Knowledge-Augmented Language Model Verification [68.6099592486075]
最近の言語モデル(LM)は、パラメータに内在化された知識を持つテキストを生成する際、印象的な能力を示している。
本稿では,知識付加型LMの出力と知識を別個の検証器で検証することを提案する。
その結果,提案した検証器は,検索と生成の誤りを効果的に識別し,LMがより現実的に正しい出力を提供できることを示した。
論文 参考訳(メタデータ) (2023-10-19T15:40:00Z) - Automatic Program Instrumentation for Automatic Verification (Extended
Technical Report) [0.0]
帰納的検証とソフトウェアモデルチェックでは、特定の仕様言語構造を扱うことが問題となる。
本稿では,様々なアドホックなアプローチを仮定する統一検証パラダイムとして,インスツルメンテーションを提案する。
我々は,プログラムのアグリゲーションによる検証に適したMonoCeraツールにアプローチを実装した。
論文 参考訳(メタデータ) (2023-05-26T14:55:35Z) - Self-Checker: Plug-and-Play Modules for Fact-Checking with Large Language Models [75.75038268227554]
Self-Checkerはファクトチェックを容易にするプラグインとプレイモジュールからなるフレームワークである。
このフレームワークは、低リソース環境でファクトチェックシステムを構築するための、高速で効率的な方法を提供する。
論文 参考訳(メタデータ) (2023-05-24T01:46:07Z) - Label Words are Anchors: An Information Flow Perspective for
Understanding In-Context Learning [77.7070536959126]
大規模言語モデル(LLM)の有望な能力としてインコンテキスト学習(ICL)が出現する
本稿では,情報フローレンズを用いたICLの動作機構について検討する。
本稿では,ICL性能向上のためのアンカー再重み付け手法,推論の高速化のための実演圧縮手法,GPT2-XLにおけるICLエラーの診断のための解析フレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-23T15:26:20Z) - Explaining Emergent In-Context Learning as Kernel Regression [61.57151500616111]
大規模言語モデル(LLM)は、伝達学習のパラダイムシフトを開始した。
本稿では,トランスフォーマーに基づく言語モデルが事前学習後に文脈内学習を達成できる理由について検討する。
ICL中、LLMの注意と隠れた特徴は、カーネル回帰の挙動と一致していることがわかった。
論文 参考訳(メタデータ) (2023-05-22T06:45:02Z) - Augmented Language Models: a Survey [55.965967655575454]
この調査は、言語モデル(LM)が推論スキルとツールの使用能力で強化されているかのレビューを行う。
私たちはこれらをAugmented Language Models (ALMs)と呼ぶ。
トークンの目的の欠如により、ALMは標準的な自然言語タスクを実行しながら、推論、ツールの使用、さらには行動を学ぶことができる。
論文 参考訳(メタデータ) (2023-02-15T18:25:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。