論文の概要: On the Effectiveness of Large Language Models in Writing Alloy Formulas

• arxiv url: http://arxiv.org/abs/2502.15441v1
• Date: Fri, 21 Feb 2025 13:09:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 16:10:30.034355
• Title: On the Effectiveness of Large Language Models in Writing Alloy Formulas
• Title（参考訳）: 合金筆記式における大規模言語モデルの有効性について
• Authors: Yang Hong, Shan Jiang, Yulei Fu, Sarfraz Khurshid,
• Abstract要約: 本稿では,大規模言語モデル (LLM) を用いて言語合金に宣言式を記述するための制御実験について述べる。 我々は LLM を用いて、与えられた自然言語記述から完全な合金公式を書く(英語) また, LLMを用いて, 与えられた合金式に対して, 代替だが等価な合金式を作成する。
• 参考スコア（独自算出の注目度）: 5.228716226321531
• License:
• Abstract: Declarative specifications have a vital role to play in developing safe and dependable software systems. Writing specifications correctly, however, remains particularly challenging. This paper presents a controlled experiment on using large language models (LLMs) to write declarative formulas in the well-known language Alloy. Our use of LLMs is three-fold. One, we employ LLMs to write complete Alloy formulas from given natural language descriptions (in English). Two, we employ LLMs to create alternative but equivalent formulas in Alloy with respect to given Alloy formulas. Three, we employ LLMs to complete sketches of Alloy formulas and populate the holes in the sketches by synthesizing Alloy expressions and operators so that the completed formulas accurately represent the desired properties (that are given in natural language). We conduct the experimental evaluation using 11 well-studied subject specifications and employ two popular LLMs, namely ChatGPT and DeepSeek. The experimental results show that the LLMs generally perform well in synthesizing complete Alloy formulas from input properties given in natural language or in Alloy, and are able to enumerate multiple unique solutions. Moreover, the LLMs are also successful at completing given sketches of Alloy formulas with respect to natural language descriptions of desired properties (without requiring test cases). We believe LLMs offer a very exciting advance in our ability to write specifications, and can help make specifications take a pivotal role in software development and enhance our ability to build robust software.
• Abstract（参考訳）: 宣言的仕様は、安全で信頼性の高いソフトウェアシステムの開発において重要な役割を担います。 しかし、仕様を正しく記述することは特に困難である。 本稿では,多言語モデル(LLM)を用いて有名な言語合金に宣言式を記述するための制御実験について述べる。 LLMの使用は3倍です。 ひとつは LLM を用いて、与えられた自然言語記述(英語)から完全な合金公式を記述することである。 2つ目は, LLMを用いて, 与えられた合金式に対して, 代替だが等価な合金式を作成することである。 3つ目に, LLMを用いて, 合金式と演算子を合成し, 所望の特性(自然言語で与えられるもの)を正確に表現できるように, スケッチ中の穴を埋める。 本研究は,11の主観的仕様を用いて実験を行い,ChatGPTとDeepSeekという2つの人気のあるLCMを用いて評価を行った。 実験結果から, LLMは自然言語や合金から得られる入力特性から完全合金公式を合成し, 複数の一意解を列挙できることがわかった。 さらに、LLMは、(テストケースを必要とせずに)所望の性質の自然言語記述に関して、アロイの公式のスケッチを完成させることに成功した。 LLMは、仕様を書く能力において非常にエキサイティングな進歩をもたらし、そして、仕様がソフトウェア開発において重要な役割を担い、堅牢なソフトウェアを構築する能力を高めるのに役立ちます。

関連論文リスト

• Leveraging the Power of MLLMs for Gloss-Free Sign Language Translation [6.688680877428467]
  そこで我々は,Gloss-free Multimodal Sign Language Translationフレームワークを提案する。 マルチモーダルな大言語モデルを用いて手話コンポーネントの詳細なテキスト記述を生成する。 提案手法は,ベンチマークデータセットPHOENIX14TとCSL-Dailyの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-11-25T09:01:41Z)
• Crystal: Illuminating LLM Abilities on Language and Code [58.5467653736537]
  本稿では,自然言語と符号化機能の統合性を高めるための事前学習戦略を提案する。 結果のモデルであるCrystalは、両方のドメインで顕著な能力を示します。
  論文  参考訳（メタデータ） (2024-11-06T10:28:46Z)
• Sketch: A Toolkit for Streamlining LLM Operations [51.33202045501429]
  大規模言語モデル(LLM)は大きな成功を収めた。 アウトプットフォーマットの柔軟性は、モデルのアウトプットを制御および活用する上での課題を引き起こします。 スケッチ(Sketch)は、多種多様な分野にわたるLCM操作を合理化するための革新的なツールキットである。
  論文  参考訳（メタデータ） (2024-09-05T08:45:44Z)
• LLMs' Understanding of Natural Language Revealed [0.0]
  大規模言語モデル(LLM)は、大規模言語におけるボトムアップ、データ駆動のリバースエンジニアリングにおける大規模な実験の結果である。 私たちはLLMの言語理解能力、彼らが想定する砦をテストすることに重点を置きます。
  論文  参考訳（メタデータ） (2024-07-29T01:21:11Z)
• Evaluating Character Understanding of Large Language Models via Character Profiling from Fictional Works [33.817319226631426]
  大規模言語モデル(LLM)は印象的なパフォーマンスを示し、多くのAIアプリケーションに拍車をかけた。 これらのRPAの前提条件は、LLMが架空の作品からキャラクターを理解する能力にある。 これまでの努力は、基本的な分類タスクや特徴的模倣を通じて、この機能を評価してきた。
  論文  参考訳（メタデータ） (2024-04-19T09:10:29Z)
• Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing [56.75702900542643]
  大規模言語モデルの自己改善のためのAlphaLLMを紹介する。 モンテカルロ木探索(MCTS)とLLMを統合し、自己改善ループを確立する。 実験の結果,AlphaLLM は付加アノテーションを使わずに LLM の性能を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-04-18T15:21:34Z)
• Beyond Natural Language: LLMs Leveraging Alternative Formats for Enhanced Reasoning and Communication [79.79948834910579]
  自然言語(NL)は長年、人間の認知とコミュニケーションの主要なフォーマットであった。 本研究では,異なる文脈における非NLフォーマットの有用性を検討することで,NLのデフォルト利用に挑戦する。
  論文  参考訳（メタデータ） (2024-02-28T16:07:54Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• The potential of LLMs for coding with low-resource and domain-specific programming languages [0.0]
  本研究は,オープンソースソフトウェアGreetlのハンスル(Hansl)という,econometricスクリプティング言語に焦点を当てたものである。 この結果から, LLMはグレタブルコードの記述, 理解, 改善, 文書化に有用なツールであることが示唆された。
  論文  参考訳（メタデータ） (2023-07-24T17:17:13Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。