論文の概要: Tratto: A Neuro-Symbolic Approach to Deriving Axiomatic Test Oracles

• arxiv url: http://arxiv.org/abs/2504.04251v1
• Date: Sat, 05 Apr 2025 19:14:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:13:55.647568
• Title: Tratto: A Neuro-Symbolic Approach to Deriving Axiomatic Test Oracles
• Title（参考訳）: Tratto: Axiomatic Test Oraclesを導出するためのニューロシンボリックアプローチ
• Authors: Davide Molinelli, Alberto Martin-Lopez, Elliott Zackrone, Beyza Eken, Michael D. Ernst, Mauro Pezzè,
• Abstract要約: トラット (Tlatto) は、神経象徴的なアプローチであり、軸索のオラクルとして機能するアサーションを生成する。 トラットは現在の記号的アプローチの3倍の公理的オラクルを生成することができる。
• 参考スコア（独自算出の注目度）: 7.3987551784639844
• License:
• Abstract: This paper presents Tratto, a neuro-symbolic approach that generates assertions (boolean expressions) that can serve as axiomatic oracles, from source code and documentation. The symbolic module of Tratto takes advantage of the grammar of the programming language, the unit under test, and the context of the unit (its class and available APIs) to restrict the search space of the tokens that can be successfully used to generate valid oracles. The neural module of Tratto uses transformers fine-tuned for both deciding whether to output an oracle or not and selecting the next lexical token to incrementally build the oracle from the set of tokens returned by the symbolic module. Our experiments show that Tratto outperforms the state-of-the-art axiomatic oracle generation approaches, with 73% accuracy, 72% precision, and 61% F1-score, largely higher than the best results of the symbolic and neural approaches considered in our study (61%, 62%, and 37%, respectively). Tratto can generate three times more axiomatic oracles than current symbolic approaches, while generating 10 times less false positives than GPT4 complemented with few-shot learning and Chain-of-Thought prompting.
• Abstract（参考訳）: 本稿では,アサーション(ブール表現)を生成する神経記号的アプローチであるTrattoについて,ソースコードと文書から,公理的オラクルとして機能する。 Trattoのシンボリックモジュールは、プログラミング言語の文法、テスト中のユニット、およびユニットのコンテキスト(クラスと利用可能なAPI)を利用して、有効なオラクルを生成するためにうまく使用できるトークンの検索空間を制限する。 Trattoのニューラルモジュールは、オラクルを出力するかどうかを判断するトランスフォーマーと、シンボルモジュールによって返されるトークンの集合からオラクルをインクリメンタルに構築する次の語彙トークンを選択するの両方に微調整されている。 実験の結果,Trattoは73%の精度,72%の精度,61%のF1スコアで,最先端の軸索発生法よりも優れており,本研究で検討したシンボル的アプローチとニューラルアプローチの最良の結果(それぞれ61%,62%,37%)よりも高い結果を示した。 Trattoは、現在のシンボリックアプローチの3倍の公理的オラクルを生成できるが、GPT4の10倍の偽陽性を生成でき、少数ショット学習やChain-of-Thoughtプロンプトを補完する。

関連論文リスト

• EquiBench: Benchmarking Code Reasoning Capabilities of Large Language Models via Equivalence Checking [54.354203142828084]
  本稿では,大規模言語モデルのコード推論能力を評価する新しい手法として等価チェックの課題を提案する。 EquiBenchは、4つのプログラミング言語と6つの等価カテゴリにまたがる2400のプログラムペアのデータセットである。 その結果,OpenAI o3-miniの精度は78.0%と高いことがわかった。
  論文  参考訳（メタデータ） (2025-02-18T02:54:25Z)
• Token-by-Token Regeneration and Domain Biases: A Benchmark of LLMs on Advanced Mathematical Problem-Solving [0.0]
  本研究は,MATHデータセットを用いて10大言語モデル(LLM)を70億から80億のパラメータで評価する。 焦点は、9450以上のコード実行を含む、推論プロセスのステップとして実行可能なPythonコードを生成する能力である。
  論文  参考訳（メタデータ） (2025-01-28T17:11:36Z)
• Sparse Autoencoders Enable Scalable and Reliable Circuit Identification in Language Models [0.0]
  本稿では,大規模言語モデルにおける解釈可能な回路を発見するための,効率的かつ堅牢な手法を提案する。 本稿では, 慎重に設計した正負の例に対して, スパースオートエンコーダを訓練する。 本研究は,スケーラブルかつ効率的な機械的解釈性を実現するための離散スパースオートエンコーダの実現を示唆するものである。
  論文  参考訳（メタデータ） (2024-05-21T06:26:10Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• Advancing LLM Reasoning Generalists with Preference Trees [119.57169648859707]
  推論に最適化された大規模言語モデル(LLM)のスイートであるEulusを紹介する。 Eurusモデルは、様々なベンチマークでオープンソースのモデルの間で最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-04-02T16:25:30Z)
• LINC: A Neurosymbolic Approach for Logical Reasoning by Combining Language Models with First-Order Logic Provers [60.009969929857704]
  論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。 本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。 我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
  論文  参考訳（メタデータ） (2023-10-23T17:58:40Z)
• Closing the Curious Case of Neural Text Degeneration [91.22954750742183]
  トラニケートサンプリングの有効性を理論的に説明する。 モデルエラーの既知の源であるソフトマックスボトルネックを利用して、特定のトークンが真の確率がゼロでないことを示す。 提案手法は,低エントロピーテキスト生成におけるしきい値ベースよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-02T23:16:25Z)
• Text2KGBench: A Benchmark for Ontology-Driven Knowledge Graph Generation from Text [2.396908230113859]
  大規模言語モデル (LLM) と創発的機能を持つ基礎モデルは、多くのNLPタスクの性能を向上させることが示されている。 オントロジーでガイドされた自然言語テキストから知識グラフ(KG)を生成する言語モデルの能力を評価するベンチマークであるText2KGBenchを提案する。
  論文  参考訳（メタデータ） (2023-08-04T14:47:15Z)
• Tram: A Token-level Retrieval-augmented Mechanism for Source Code Summarization [76.57699934689468]
  ニューラルモデルの性能を高めるために,デコーダ側で詳細なTokenレベル検索強化機構(Tram)を提案する。 文脈的コードセマンティクスの取得におけるトークンレベルの検索の課題を克服するために,コードセマンティクスを個々の要約トークンに統合することを提案する。
  論文  参考訳（メタデータ） (2023-05-18T16:02:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。