論文の概要: Feedback Makes Perfect: A Closed-Loop Framework for NL-to-STL Translation
- arxiv url: http://arxiv.org/abs/2609.33287v1
- Date: Sun, 27 Sep 2026 06:46:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 01:25:13.881176
- Title: Feedback Makes Perfect: A Closed-Loop Framework for NL-to-STL Translation
- Title(参考訳): フィードバックが完璧になる:NL-to-STL翻訳のためのクローズドループフレームワーク
- Abstract要約: Signal Temporal Logic (STL) は、サイバー物理システムの厳密な検証と制御を可能にする。
大規模言語モデルは自然言語(NL)要求をSTLに変換することができるが、より強力な翻訳者は精度の高い天井に近づく。
我々はNL-to-STL変換をクローズドループフィードバックプロセスとして再構成する。
- 参考スコア(独自算出の注目度): 5.770722401551772
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Signal Temporal Logic (STL) enables rigorous verification and control of cyber-physical systems, but writing correct specifications requires expertise that most requirement holders lack. Large language models can translate natural-language (NL) requirements into STL, yet stronger translators alone approach an accuracy ceiling. We argue that this ceiling stems from how the task is posed: one-shot, open-loop translation is somewhat ill-defined. Natural language is ambiguous, and, more fundamentally, what a person writes may not always be what they intend, so the target specification is not fully contained in the input text. We therefore reformulate NL-to-STL translation as a closed-loop feedback process. Each generated formula is translated back into natural language for the user to check, and natural-language corrections drive revision until the user accepts the specification. Users never read or write formal syntax. This framework rests on an asymmetry familiar from feedback control theory. The forward path, from ambiguous language to formal logic, is hard and error-prone. The feedback path, from structured STL back to language, can be made highly precise, and a precise feedback path lets an imprecise forward path achieve precise closed-loop behavior. Experiments on 500 expert-authored requirements and seven LLMs support this view. Back-translated explanations agree with expert judgments in 99.5\% of cases. Closed-loop refinement raises strong models from about 89\% open-loop accuracy to 98.0--99.2\%, and yields gains of over 30 percentage points for weaker models (e.g., 17.6\%$\rightarrow$48.0\%). Ablations show these gains come from the semantic content of the feedback rather than from repeated attempts. An expert audit and a 280-session user study further confirm the reliability of the loop. We also identify a capability threshold above which feedback no longer helps.
- Abstract(参考訳): Signal Temporal Logic (STL)は、サイバー物理システムの厳密な検証と制御を可能にするが、正しい仕様を書くには、ほとんどの要件保持者が欠く専門知識が必要である。
大規模言語モデルは自然言語(NL)要求をSTLに変換することができるが、より強力な翻訳者は精度の高い天井に近づく。
私たちは、この天井はタスクのポーズの仕方に由来すると論じています。
自然言語はあいまいであり、より根本的には、人が書くものは必ずしも意図するものではないかもしれないため、ターゲット仕様は入力テキストに完全に含まれていない。
そこで我々はNL-to-STL変換を閉ループフィードバックプロセスとして再構成する。
生成した各公式は、ユーザがチェックするために自然言語に変換され、自然言語の修正は、ユーザが仕様を受け入れるまでリビジョンを駆動する。
ユーザーは形式的な構文を読み書きすることはない。
この枠組みはフィードバック制御理論に精通した非対称性に基づいている。
曖昧な言語から形式論理への前方経路は困難でエラーを起こしやすい。
構造化されたSTLから言語へのフィードバックパスを高精度に行うことができ、高精度なフィードバックパスにより、不正確なフォワードパスが正確なクローズループ動作を達成することができる。
500人の専門家による要求と7つのLLMの実験がこの見解を支持している。
逆転写による説明は、99.5 %のケースで専門家の判断と一致する。
クローズドループの改良により、オープンループの精度は約89\%から98.0--99.2\%に向上し、より弱いモデル(例えば、17.6\%$\rightarrow$48.0\%)では30ポイント以上上昇する。
アブレーションは、繰り返しの試みではなく、フィードバックのセマンティックな内容から得られるものであることを示している。
専門家の監査と280人のセッションユーザによる調査により、ループの信頼性がさらに確認された。
また、フィードバックがもはや役に立たない機能しきい値も特定します。
関連論文リスト
- SCP-NL2TL: Selective Conformal Prediction with Semantic Verification for Natural Language to Temporal Logic Specifications [28.546702829415207]
自然言語命令を機械解釈可能な形式仕様に変換することで、ロボットと自律システムは、その動作を計画し、推論し、正式に検証することができる。
既存の翻訳モデルは、通常、結果が信頼できないり、ユーザの意図を捉えなかったりしても、すべての入力に対して仕様を生成する。
選択的共形予測に着想を得て,形式仕様を生成するだけでなく,いつ信頼できるかを判断する選択翻訳フレームワークを提案する。
論文 参考訳(メタデータ) (2026-08-05T22:17:09Z) - Translating Natural Language to Strategic Temporal Specifications via LLMs [4.863985119779627]
本稿では, 戦略的要件の自然言語記述を, ATL/ATL* の公式に翻訳する枠組みを提案する。
我々の最高の微調整システムは、統計学的に最強数ショットプロプライエタリベースラインの0.86と同等の、0.84のセマンティック精度に達する。
生成された仕様の実用性を評価するため、既存の戦略的論理モデルチェッカーにツールを組み込む。
論文 参考訳(メタデータ) (2026-06-29T15:15:40Z) - Incentivizing Parametric Knowledge via Reinforcement Learning with Verifiable Rewards for Cross-Cultural Entity Translation [68.85147984815778]
本稿では, EA-RLVR(Entity-Anchored Reinforcement Learning with Verifiable Rewards)を提案する。
EA-RLVRは、検証可能なエンティティレベルの報酬信号の監視をアンカーし、最適化を安定させるために軽量な構造ゲートを組み込む。
EA-RLVRをXC-Translate上で評価し、エンティティ翻訳精度とドメイン外一般化の両面で一貫した改善を観察する。
論文 参考訳(メタデータ) (2026-04-18T07:15:43Z) - Grammar-Forced Translation of Natural Language to Temporal Logic using LLMs [11.37102335479887]
グラマー強制翻訳(GraFT)と呼ばれるNLからTLへの翻訳のためのフレームワークを提案する。
GraFTは、有効な出力トークンの集合を全語彙から各ステップでほんの一握りに制限することで、両方のタスクの複雑さを減らす。
CW,GLTL,Naviベンチマークを用いてGraFTの有効性を評価する。
論文 参考訳(メタデータ) (2025-12-18T17:55:15Z) - Do What? Teaching Vision-Language-Action Models to Reject the Impossible [53.40183895299108]
VLA(Vision-Language-Action)モデルは、さまざまなロボットタスクにおいて強力なパフォーマンスを示している。
Instruct-Verify-and-Act(IVA)を提案する。
実験の結果,IVAはベースラインよりも97.56%の精度で虚偽の前提検出精度を向上させることがわかった。
論文 参考訳(メタデータ) (2025-08-22T10:54:33Z) - Lost in Literalism: How Supervised Training Shapes Translationese in LLMs [51.04435855143767]
大規模言語モデル(LLM)は機械翻訳において顕著な成功を収めた。
しかし、過度にリテラルと不自然な翻訳を特徴とする翻訳は、依然として永続的な課題である。
我々は、黄金の基準を磨き、不自然なトレーニングインスタンスをフィルタリングするなど、これらのバイアスを軽減する方法を導入する。
論文 参考訳(メタデータ) (2025-03-06T12:14:45Z) - Building Accurate Translation-Tailored LLMs with Language Aware Instruction Tuning [57.323716555996114]
オフターゲット翻訳は、特に低リソース言語では未解決の問題である。
最近の研究は、翻訳命令の機能を強調するために高度なプロンプト戦略を設計するか、LLMの文脈内学習能力を活用している。
本研究では,LLMの命令追従能力(特に翻訳方向)を向上させるために,2段階の微調整アルゴリズムを設計する。
論文 参考訳(メタデータ) (2024-03-21T13:47:40Z) - Reasons to Reject? Aligning Language Models with Judgments [72.39858230784002]
言語フィードバックを用いた大規模言語モデル(LLM)の整合性について検討する。
本稿では,不適切なコンテンツ検出と判断に基づく修正が可能なコントラスト型異種訓練(Contrastive Unlikelihood Training, CUT)を提案する。
以上の結果から,CUTは175BのDaVinci003を破り,AlpacaEvalの50.84ポイントを達成できた。
論文 参考訳(メタデータ) (2023-12-22T10:29:43Z) - ParroT: Translating during Chat using Large Language Models tuned with
Human Translation and Feedback [90.20262941911027]
ParroTはチャット中の翻訳機能を強化し、規制するフレームワークである。
具体的には、ParroTは、翻訳データを命令フォロースタイルに書き換える。
本稿では,ParroTモデルを微調整するための3つの命令タイプを提案する。
論文 参考訳(メタデータ) (2023-04-05T13:12:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。