論文の概要: ClarifySTL: An Interactive LLM Agent Framework for STL Transformation through Requirements Clarification
- arxiv url: http://arxiv.org/abs/2605.01209v1
- Date: Sat, 02 May 2026 02:55:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-05 20:33:49.642233
- Title: ClarifySTL: An Interactive LLM Agent Framework for STL Transformation through Requirements Clarification
- Title(参考訳): ClarifySTL: 要求の明確化によるSTL変換のための対話型LLMエージェントフレームワーク
- Authors: Yue Fang, Zhi Jin, Jie An, Hongshen Chen, Xiaohong Chen, Naijun Zhan,
- Abstract要約: Signal Temporal Logic (STL) は、サイバー物理システムのリアルタイム動作を特定するための形式言語である。
大規模言語モデル(LLM)を活用した最近の取り組みは目覚ましい性能を示しているが、いくつかの自然言語要求にはあいまいな情報や曖昧な情報が含まれている。
要求の明確化を通じてSTL変換を強化する対話型LLMエージェントフレームワークであるClarifySTLを提案する。
- 参考スコア(独自算出の注目度): 41.040507019193775
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Signal Temporal Logic (STL) is a formal language for specifying real-time behaviors of cyber-physical systems (CPS). Automatically transforming natural language requirements into STL specifications has received growing attention. Recent efforts leveraging large language models (LLMs) have demonstrated impressive performance, but some natural language requirements in practice contain vague or ambiguous information, which remains challenging for LLMs to handle. To address these challenges, we propose ClarifySTL, an interactive LLM-agent framework that enhances STL transformation through requirements clarification. ClarifySTL first detects vague expressions that indicate underspecified information in a requirement. If any vagueness is detected, it generates targeted clarification queries to guide users in supplementing the requirement until all necessary details are provided. Subsequently, if ClarifySTL detects ambiguities, it formulates focused ambiguity clarification queries and updates the requirements based on user feedback until all ambiguities are resolved. Finally, the requirements with vagueness and ambiguity clarified are transformed into STL specifications using LLMs. This interactive framework ensures that the resulting STL formulas faithfully capture user intent while reducing the burden on the user. We evaluate ClarifySTL on the representative benchmarks DeepSTL and STL-DivEn, as well as our newly introduced AmbiEval benchmark, which is specifically designed to assess the performance of the agents in handling vagueness and ambiguity, including both detection and query generation. The experimental results show that ClarifySTL is effective.
- Abstract(参考訳): Signal Temporal Logic (STL) は、サイバー物理システム(CPS)のリアルタイム動作を特定するための形式言語である。
自然言語の要求を自動的にSTL仕様に変換することは注目されている。
大規模言語モデル(LLM)を活用した最近の取り組みは、目覚ましい性能を示しているが、実際にはいくつかの自然言語要求にはあいまいな情報や曖昧な情報が含まれており、LLMが扱うことは依然として困難である。
これらの課題に対処するために,要求の明確化を通じてSTL変換を強化する対話型LLMエージェントフレームワークであるClarifySTLを提案する。
ClarifySTLは、要求の未特定情報を示すあいまいな表現を最初に検出する。
曖昧さが検出された場合、必要な詳細がすべて提供されるまで、ユーザをガイドするターゲットの明確化クエリを生成する。
その後、ClarifySTLがあいまいさを検知すると、焦点のあいまいさを明確にするクエリを定式化し、すべてのあいまいさが解決されるまでユーザーのフィードバックに基づいて要求を更新する。
最後に、あいまいさとあいまいさを明確にした要件をLSMを用いてSTL仕様に変換する。
この対話的なフレームワークにより、結果のSTL式がユーザの意図を忠実に捉えつつ、ユーザの負担を軽減することができる。
我々はClarifySTLを、DeepSTLとSTL-DivEnの代表ベンチマークと、新たに導入されたAmbiEvalベンチマークで評価する。
実験の結果,ClarifySTLは有効であることが示唆された。
関連論文リスト
- Assessing the Impact of Requirement Ambiguity on LLM-based Function-Level Code Generation [14.755517753769837]
Orchidは、曖昧な要求で特別に設計された最初のコード生成ベンチマークです。
これは、語彙、構文、意味、曖昧さの4つの異なる種類の曖昧さをカバーする1,304の関数レベルタスクからなる。
この結果から,高度モデルにおいて最も顕著な負の効果が観察され,不明瞭さは全ての評価LCMの性能を常に低下させることが示された。
論文 参考訳(メタデータ) (2026-04-23T10:07:33Z) - Step-Level Sparse Autoencoder for Reasoning Process Interpretation [48.99201531966593]
大規模言語モデル(LLM)は、Chain-of-Thought(CoT)推論を通じて、強力な複雑な推論機能を実現している。
本稿では,ステップレベルスパースオートエンコーダ (SSAE) を提案する。
複数の基本モデルと推論タスクの実験により,抽出した特徴の有効性が示された。
論文 参考訳(メタデータ) (2026-03-03T14:25:02Z) - Bridging Natural Language and Formal Specification--Automated Translation of Software Requirements to LTL via Hierarchical Semantics Decomposition Using LLMs [10.958536923155101]
Req2LTLは、NLとLinear Temporal Logicをブリッジするモジュラーフレームワークである。
実世界の航空要求に対して88.4%のセマンティック精度と100%の構文的正確性を達成する。
論文 参考訳(メタデータ) (2025-12-19T08:25:54Z) - Language Bottleneck Models: A Framework for Interpretable Knowledge Tracing and Beyond [55.984684518346924]
我々は、知識追跡を逆問題として再考する: 過去の回答を説明できる最小限の自然言語要約を学習し、将来の回答を予測できる。
我々のLanguage Bottleneck Model(LBM)は、解釈可能な知識要約を書くエンコーダLLMと、その要約テキストのみを使用して生徒の反応を再構成し予測しなければならないフリーズデコーダLLMで構成されている。
合成算術ベンチマークと大規模Eediデータセットの実験により、LBMは最先端のKT法と直接LLM法の精度に匹敵する一方で、受講者軌道のオーダーを少なくすることを示した。
論文 参考訳(メタデータ) (2025-06-20T13:21:14Z) - Enhancing Transformation from Natural Language to Signal Temporal Logic Using LLMs with Diverse External Knowledge [23.50725254650578]
STL-Diversity-Enhanced (STL-DivEn) と呼ばれるNL-STLデータセットを提案する。
データセットを開発するために、まず手動でNL-STLペアの小さなシードセットを作成する。
代表的な例はクラスタリングを通じて識別され、大きな言語モデルをガイドするために使用される。
最後に、厳密なルールベースのフィルタと人間の検証によって、多様性と精度が保証される。
論文 参考訳(メタデータ) (2025-05-27T03:07:25Z) - Large Language Models are Interpretable Learners [53.56735770834617]
本稿では,Large Language Models(LLM)とシンボルプログラムの組み合わせによって,表現性と解釈可能性のギャップを埋めることができることを示す。
自然言語プロンプトを持つ事前訓練されたLLMは、生の入力を自然言語の概念に変換することができる解釈可能な膨大なモジュールセットを提供する。
LSPが学んだ知識は自然言語の記述と記号規則の組み合わせであり、人間(解釈可能)や他のLLMに容易に転送できる。
論文 参考訳(メタデータ) (2024-06-25T02:18:15Z) - Can Large Language Models Understand Real-World Complex Instructions? [54.86632921036983]
大型言語モデル(LLM)は人間の指示を理解することができるが、複雑な命令には耐えられない。
既存のベンチマークでは、LLMが複雑な命令を理解する能力を評価するには不十分である。
複雑な命令を体系的に追従するLSMの能力を評価するためのベンチマークであるCellOを提案する。
論文 参考訳(メタデータ) (2023-09-17T04:18:39Z) - Interactive Learning from Natural Language and Demonstrations using
Signal Temporal Logic [5.88797764615148]
自然言語(NL)は曖昧で、現実世界のタスクであり、それらの安全性要件はあいまいにコミュニケーションする必要がある。
Signal Temporal Logic (STL) は、ロボットタスクを記述するための汎用的で表現力があり、曖昧な形式言語として機能する形式論理である。
DIALOGUESTLは,(しばしば)曖昧なNL記述から正確かつ簡潔なSTL公式を学習するための対話的手法である。
論文 参考訳(メタデータ) (2022-07-01T19:08:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。