論文の概要: Bridging Logic and Learning: Decoding Temporal Logic Embeddings via Transformers

• arxiv url: http://arxiv.org/abs/2507.07808v1
• Date: Thu, 10 Jul 2025 14:35:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-11 16:40:15.445263
• Title: Bridging Logic and Learning: Decoding Temporal Logic Embeddings via Transformers
• Title（参考訳）: 論理と学習のブリッジ:トランスフォーマーによる時間論理埋め込みのデコード
• Authors: Sara Candussio, Gaia Saveri, Gabriele Sarti, Luca Bortolussi,
• Abstract要約: 我々はTransformerベースのデコーダのみのモデルをトレーニングし、論理式のセマンティック埋め込みを反転させる。 このモデルでは,1エポック後に有効な式を生成でき,約10エポックで論理のセマンティクスに一般化可能であることを示す。
• 参考スコア（独自算出の注目度）: 2.33432538444645
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continuous representations of logic formulae allow us to integrate symbolic knowledge into data-driven learning algorithms. If such embeddings are semantically consistent, i.e. if similar specifications are mapped into nearby vectors, they enable continuous learning and optimization directly in the semantic space of formulae. However, to translate the optimal continuous representation into a concrete requirement, such embeddings must be invertible. We tackle this issue by training a Transformer-based decoder-only model to invert semantic embeddings of Signal Temporal Logic (STL) formulae. STL is a powerful formalism that allows us to describe properties of signals varying over time in an expressive yet concise way. By constructing a small vocabulary from STL syntax, we demonstrate that our proposed model is able to generate valid formulae after only 1 epoch and to generalize to the semantics of the logic in about 10 epochs. Additionally, the model is able to decode a given embedding into formulae that are often simpler in terms of length and nesting while remaining semantically close (or equivalent) to gold references. We show the effectiveness of our methodology across various levels of training formulae complexity to assess the impact of training data on the model's ability to effectively capture the semantic information contained in the embeddings and generalize out-of-distribution. Finally, we deploy our model for solving a requirement mining task, i.e. inferring STL specifications that solve a classification task on trajectories, performing the optimization directly in the semantic space.
• Abstract（参考訳）: 論理式を連続的に表現することで、記号的知識をデータ駆動学習アルゴリズムに統合することができる。 そのような埋め込みが意味的に一貫したものである場合、例えば、類似した仕様が近くのベクトルに写像された場合、公式のセマンティック空間において連続学習と最適化が直接可能である。 しかし、最適連続表現を具体的な要件に変換するためには、そのような埋め込みは可逆である必要がある。 本稿では,STL(Signal Temporal Logic)の公式のセマンティック埋め込みを反転させるために,Transformerベースのデコーダのみのモデルをトレーニングすることでこの問題に対処する。 STLは、時間とともに変化する信号の特性を表現的かつ簡潔な方法で記述できる強力な形式主義である。 STL構文から小さな語彙を構築することで,提案モデルが1時間後から有効な式を生成でき,約10時間後に論理のセマンティクスに一般化できることを実証する。 さらに、モデルは与えられた埋め込みを、金の参照に意味的に近い(または等価)まま、長さやネストの点でしばしば単純である公式にデコードすることができる。 本手法の有効性を示すため, 学習データの影響をモデルが評価し, 埋め込みに含まれる意味情報を効果的に把握し, アウト・オブ・ディストリビューションを一般化する手法を提案する。 最後に,要求マイニングタスク,すなわち軌道上の分類タスクを解くSTL仕様を推論し,セマンティック空間で直接最適化を行うモデルを構築した。

関連論文リスト

• Learning Probabilistic Temporal Logic Specifications for Stochastic Systems [24.82640206181621]
  マルコフ連鎖の集合から簡潔なL仕様を推論する新しい学習アルゴリズムを提案する。 我々はアルゴリズムの有効性を,アルゴリズムによって誘導されるポリシーから学習し,確率論的モデルから学習する2つのユースケースで示す。
  論文  参考訳（メタデータ） (2025-05-17T18:19:35Z)
• Learning to Estimate System Specifications in Linear Temporal Logic using Transformers and Mamba [6.991281327290525]
  仕様マイニングは システムトレースから 時間論理式を抽出する トレースから線形時間論理式を生成するオートレモデルを導入する。 生成した公式の特異性の指標と,構文制約を強制するアルゴリズムを考案する。
  論文  参考訳（メタデータ） (2024-05-31T15:21:53Z)
• TLINet: Differentiable Neural Network Temporal Logic Inference [10.36033062385604]
  本稿では,STL式を学習するニューラルネットワークシンボリックフレームワークであるTLINetを紹介する。 従来の手法とは対照的に,時間論理に基づく勾配法に特化して設計された最大演算子の近似法を導入する。 我々のフレームワークは、構造だけでなく、STL公式のパラメータも学習し、演算子と様々な論理構造の柔軟な組み合わせを可能にします。
  論文  参考訳（メタデータ） (2024-05-03T16:38:14Z)
• Meaning Representations from Trajectories in Autoregressive Models [106.63181745054571]
  入力テキストを拡張可能なすべてのトラジェクトリの分布を考慮し,自己回帰言語モデルから意味表現を抽出する。 この戦略はプロンプトフリーであり、微調整は必要とせず、事前訓練された自己回帰モデルにも適用できる。 我々は,大規模なモデルから得られた表現が人間のアノテーションとよく一致し,意味的類似性タスクにおける他のゼロショットおよびプロンプトフリーメソッドよりも優れており,標準埋め込みが扱えないより複雑なエンタテインメントや包含タスクの解決に使用できることを実証的に示す。
  論文  参考訳（メタデータ） (2023-10-23T04:35:58Z)
• Large Language Models as General Pattern Machines [64.75501424160748]
  我々は,事前訓練された大規模言語モデル (LLM) が,複雑なトークンシーケンスを自動回帰的に完了することを示す。 驚いたことに、語彙からランダムにサンプリングされたトークンを用いてシーケンスが表現された場合でも、パターン完了の習熟度を部分的に保持することができる。 本研究では,ロボット工学における問題に対して,これらのゼロショット機能がどのように適用されるかを検討する。
  論文  参考訳（メタデータ） (2023-07-10T17:32:13Z)
• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• PSSAT: A Perturbed Semantic Structure Awareness Transferring Method for Perturbation-Robust Slot Filling [27.602336774468]
  既存のスロットフィリングモデルの多くは、トレーニングデータからエンティティとそれに対応するコンテキストの固有のパターンを記憶する傾向がある。 本稿では,摂動-ロバストスロット充填モデルの訓練のための意味認識構造伝達法を提案する。
  論文  参考訳（メタデータ） (2022-08-24T13:01:00Z)
• Backpropagation through Signal Temporal Logic Specifications: Infusing Logical Structure into Gradient-Based Methods [28.72161643908351]
  本稿では,STLCG(Signal Temporal Logic)公式の定量的意味を計算グラフを用いて計算する手法を提案する。 STLは、連続系とハイブリッド系の両方で生成される信号の空間的および時間的特性を指定できる、強力で表現力のある形式言語である。
  論文  参考訳（メタデータ） (2020-07-31T22:01:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。