論文の概要: On the Effectiveness of Large Language Models in Writing Alloy Formulas

• arxiv url: http://arxiv.org/abs/2502.15441v1
• Date: Fri, 21 Feb 2025 13:09:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 23:44:09.979959
• Title: On the Effectiveness of Large Language Models in Writing Alloy Formulas
• Title（参考訳）: 合金筆記式における大規模言語モデルの有効性について
• Authors: Yang Hong, Shan Jiang, Yulei Fu, Sarfraz Khurshid,
• Abstract要約: 本稿では,大規模言語モデル (LLM) を用いて言語合金に宣言式を記述するための制御実験について述べる。 我々は LLM を用いて、与えられた自然言語記述から完全な合金公式を書く(英語) また, LLMを用いて, 与えられた合金式に対して, 代替だが等価な合金式を作成する。
• 参考スコア（独自算出の注目度）: 5.228716226321531
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Declarative specifications have a vital role to play in developing safe and dependable software systems. Writing specifications correctly, however, remains particularly challenging. This paper presents a controlled experiment on using large language models (LLMs) to write declarative formulas in the well-known language Alloy. Our use of LLMs is three-fold. One, we employ LLMs to write complete Alloy formulas from given natural language descriptions (in English). Two, we employ LLMs to create alternative but equivalent formulas in Alloy with respect to given Alloy formulas. Three, we employ LLMs to complete sketches of Alloy formulas and populate the holes in the sketches by synthesizing Alloy expressions and operators so that the completed formulas accurately represent the desired properties (that are given in natural language). We conduct the experimental evaluation using 11 well-studied subject specifications and employ two popular LLMs, namely ChatGPT and DeepSeek. The experimental results show that the LLMs generally perform well in synthesizing complete Alloy formulas from input properties given in natural language or in Alloy, and are able to enumerate multiple unique solutions. Moreover, the LLMs are also successful at completing given sketches of Alloy formulas with respect to natural language descriptions of desired properties (without requiring test cases). We believe LLMs offer a very exciting advance in our ability to write specifications, and can help make specifications take a pivotal role in software development and enhance our ability to build robust software.
• Abstract（参考訳）: 宣言的仕様は、安全で信頼性の高いソフトウェアシステムの開発において重要な役割を担います。 しかし、仕様を正しく記述することは特に困難である。 本稿では,多言語モデル(LLM)を用いて有名な言語合金に宣言式を記述するための制御実験について述べる。 LLMの使用は3倍です。 ひとつは LLM を用いて、与えられた自然言語記述(英語)から完全な合金公式を記述することである。 2つ目は, LLMを用いて, 与えられた合金式に対して, 代替だが等価な合金式を作成することである。 3つ目に, LLMを用いて, 合金式と演算子を合成し, 所望の特性(自然言語で与えられるもの)を正確に表現できるように, スケッチ中の穴を埋める。 本研究は,11の主観的仕様を用いて実験を行い,ChatGPTとDeepSeekという2つの人気のあるLCMを用いて評価を行った。 実験結果から, LLMは自然言語や合金から得られる入力特性から完全合金公式を合成し, 複数の一意解を列挙できることがわかった。 さらに、LLMは、(テストケースを必要とせずに)所望の性質の自然言語記述に関して、アロイの公式のスケッチを完成させることに成功した。 LLMは、仕様を書く能力において非常にエキサイティングな進歩をもたらし、そして、仕様がソフトウェア開発において重要な役割を担い、堅牢なソフトウェアを構築する能力を高めるのに役立ちます。

関連論文リスト

• Ensemble Learning for Large Language Models in Text and Code Generation: A Survey [6.041894045506043]
  より広範なアプリケーションに対して、強力なパフォーマンスとポテンシャルを示す4つの方法とモデルに焦点を当てます。 これには多様性の表現性の向上、出力品質の向上、アプリケーションの柔軟性の向上などが含まれる。
  論文  参考訳（メタデータ） (2025-03-13T18:50:57Z)
• Leveraging the Power of MLLMs for Gloss-Free Sign Language Translation [6.688680877428467]
  そこで我々は,Gloss-free Multimodal Sign Language Translationフレームワークを提案する。 マルチモーダルな大言語モデルを用いて手話コンポーネントの詳細なテキスト記述を生成する。 提案手法は,ベンチマークデータセットPHOENIX14TとCSL-Dailyの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-11-25T09:01:41Z)
• Crystal: Illuminating LLM Abilities on Language and Code [58.5467653736537]
  本稿では,自然言語と符号化機能の統合性を高めるための事前学習戦略を提案する。 結果のモデルであるCrystalは、両方のドメインで顕著な能力を示します。
  論文  参考訳（メタデータ） (2024-11-06T10:28:46Z)
• Sketch: A Toolkit for Streamlining LLM Operations [51.33202045501429]
  大規模言語モデル(LLM)は大きな成功を収めた。 アウトプットフォーマットの柔軟性は、モデルのアウトプットを制御および活用する上での課題を引き起こします。 スケッチ(Sketch)は、多種多様な分野にわたるLCM操作を合理化するための革新的なツールキットである。
  論文  参考訳（メタデータ） (2024-09-05T08:45:44Z)
• LLMs' Understanding of Natural Language Revealed [0.0]
  大規模言語モデル(LLM)は、大規模言語におけるボトムアップ、データ駆動のリバースエンジニアリングにおける大規模な実験の結果である。 私たちはLLMの言語理解能力、彼らが想定する砦をテストすることに重点を置きます。
  論文  参考訳（メタデータ） (2024-07-29T01:21:11Z)
• Evaluating Character Understanding of Large Language Models via Character Profiling from Fictional Works [33.817319226631426]
  大規模言語モデル(LLM)は印象的なパフォーマンスを示し、多くのAIアプリケーションに拍車をかけた。 これらのRPAの前提条件は、LLMが架空の作品からキャラクターを理解する能力にある。 これまでの努力は、基本的な分類タスクや特徴的模倣を通じて、この機能を評価してきた。
  論文  参考訳（メタデータ） (2024-04-19T09:10:29Z)
• Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing [56.75702900542643]
  大規模言語モデルの自己改善のためのAlphaLLMを紹介する。 モンテカルロ木探索(MCTS)とLLMを統合し、自己改善ループを確立する。 実験の結果,AlphaLLM は付加アノテーションを使わずに LLM の性能を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-04-18T15:21:34Z)
• $\forall$uto$\exists$val: Autonomous Assessment of LLMs in Formal Synthesis and Interpretation Tasks [21.12437562185667]
  本稿では,形式構文を自然言語に翻訳する際のLLM評価のスケールアップ手法を提案する。 我々は、文脈自由文法(CFG)を用いて、その場で配布外のデータセットを生成する。 我々はまた、このパラダイムの実現可能性と拡張性を示すために、複数のSOTAクローズドおよびオープンソースLCMの評価を行う。
  論文  参考訳（メタデータ） (2024-03-27T08:08:00Z)
• Beyond Natural Language: LLMs Leveraging Alternative Formats for Enhanced Reasoning and Communication [79.79948834910579]
  自然言語(NL)は長年、人間の認知とコミュニケーションの主要なフォーマットであった。 本研究では,異なる文脈における非NLフォーマットの有用性を検討することで,NLのデフォルト利用に挑戦する。
  論文  参考訳（メタデータ） (2024-02-28T16:07:54Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• Towards LLM-guided Causal Explainability for Black-box Text Classifiers [16.36602400590088]
  我々は,近年の大規模言語モデルにおける命令追従とテキスト理解機能を活用して,因果的説明可能性を高めることを目指している。 提案する3ステップパイプラインは,既製のLCMを用いて,入力テキスト中の潜時的・未観測な特徴を識別する。 我々は,複数のNLPテキスト分類データセットを用いたパイプライン実験を行い,興味深い,有望な結果を示した。
  論文  参考訳（メタデータ） (2023-09-23T11:22:28Z)
• Grammar-Constrained Decoding for Structured NLP Tasks without Finetuning [27.59524153097858]
  文法制約付き復号法(GCD)は、大言語モデル(LM)の生成を制御するために用いられる。 GCDは一般に構造化NLPタスクの統一フレームワークとして機能する。 文法制約付きLMは、制約なしLMよりも大幅に優れるか、タスク固有の微調整モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-23T11:54:37Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。