論文の概要: A Pseudo-Semantic Loss for Autoregressive Models with Logical Constraints

• arxiv url: http://arxiv.org/abs/2312.03905v1
• Date: Wed, 6 Dec 2023 20:58:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-08 16:37:03.982595
• Title: A Pseudo-Semantic Loss for Autoregressive Models with Logical Constraints
• Title（参考訳）: 論理制約付き自己回帰モデルに対する擬意味的損失
• Authors: Kareem Ahmed, Kai-Wei Chang, Guy Van den Broeck
• Abstract要約: ニューロシンボリックAIは、純粋にシンボリックな学習とニューラルな学習のギャップを埋める。 本稿では,ニューラルネットワークの出力分布に対するシンボリック制約の可能性を最大化する方法を示す。 また,スドクと最短経路予測の手法を自己回帰世代として評価した。
• 参考スコア（独自算出の注目度）: 87.08677547257733
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neuro-symbolic AI bridges the gap between purely symbolic and neural approaches to learning. This often requires maximizing the likelihood of a symbolic constraint w.r.t the neural network's output distribution. Such output distributions are typically assumed to be fully-factorized. This limits the applicability of neuro-symbolic learning to the more expressive autoregressive distributions, e.g., transformers. Under such distributions, computing the likelihood of even simple constraints is #P-hard. Instead of attempting to enforce the constraint on the entire output distribution, we propose to do so on a random, local approximation thereof. More precisely, we optimize the likelihood of the constraint under a pseudolikelihood-based approximation centered around a model sample. Our approximation is factorized, allowing the reuse of solutions to sub-problems, a main tenet for efficiently computing neuro-symbolic losses. Moreover, it is a local, high-fidelity approximation of the likelihood, exhibiting low entropy and KL-divergence around the model sample. We evaluate our approach on Sudoku and shortest-path prediction cast as autoregressive generation, and observe that we greatly improve upon the base model's ability to predict logically-consistent outputs. We also evaluate on the task of detoxifying large language models. Using a simple constraint disallowing a list of toxic words, we are able to steer the model's outputs away from toxic generations, achieving SoTA detoxification compared to previous approaches.
• Abstract（参考訳）: ニューロシンボリックAIは、純粋にシンボリックな学習とニューラルな学習のギャップを埋める。 これはしばしば、ニューラルネットワークの出力分布に対する記号的制約の可能性を最大化する必要がある。 このような出力分布は典型的には完全分解であると仮定される。 これにより、神経シンボリック学習のより表現力のある自己回帰分布、例えばトランスフォーマーへの適用性が制限される。 そのような分布の下では、単純な制約でさえも計算できる確率は#Pハードである。 出力分布全体の制約を強制するのではなく、ランダムに局所的に近似する手法を提案する。 より正確には、モデルサンプルを中心とした擬似類似度に基づく近似の下で制約の可能性を最適化する。 我々の近似は分解され、解をサブプロブレムに再利用することは、ニューロシンボリックな損失を効率的に計算する主要な要素である。 さらに、確率の局所的、高忠実な近似であり、モデルサンプルの周囲に低いエントロピーとkl-ダイバージェンスを示す。 我々は,スドクと最短経路予測のアプローチを自己回帰生成として評価し,論理的に一貫性のある出力を予測できる基本モデルの能力を大幅に改善することを確認する。 また,大規模言語モデルをデトックスするタスクについても評価した。 有害な単語のリストを許容する単純な制約を用いることで、有害な世代からモデル出力を分離し、従来のアプローチと比較してSoTAの解毒を達成できる。

関連論文リスト

• Controllable Generation via Locally Constrained Resampling [77.48624621592523]
  本研究では, ベイズ条件付けを行い, 制約条件下でサンプルを描画する, トラクタブルな確率的手法を提案する。 提案手法はシーケンス全体を考慮し,現行のグリード法よりも大域的に最適に制約された生成を導出する。 提案手法は, 有害な世代からモデル出力を分離し, 脱毒化に対する同様のアプローチより優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-17T00:49:53Z)
• Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
  ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。 トラクタブル回路において,これを効率的に計算する方法を示す。 我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
  論文  参考訳（メタデータ） (2023-02-28T00:04:22Z)
• An Information-Theoretic Analysis of Compute-Optimal Neural Scaling Laws [24.356906682593532]
  大規模ニューラルネットワークにおけるモデルとトレーニングデータセットサイズ間の計算-最適トレードオフについて検討する。 以上の結果から, チンチラの実証分析で裏付けられる線形関係が示唆された。
  論文  参考訳（メタデータ） (2022-12-02T18:46:41Z)
• Neuro-Symbolic Entropy Regularization [78.16196949641079]
  構造化予測では、目的は構造化されたオブジェクトをエンコードする多くの出力変数を共同で予測することである。 エントロピー正則化(Entropy regularization)という1つのアプローチは、決定境界が低確率領域にあるべきであることを示唆している。 我々は、モデルが有効対象を確実に予測することを奨励する損失、ニューロシンボリックエントロピー正規化を提案する。
  論文  参考訳（メタデータ） (2022-01-25T06:23:10Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Goal-directed Generation of Discrete Structures with Conditional Generative Models [85.51463588099556]
  本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。 提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
  論文  参考訳（メタデータ） (2020-10-05T20:03:13Z)
• What needles do sparse neural networks find in nonlinear haystacks [0.0]
  人工ニューラルネットワーク(ANN)におけるスパーシリティ誘導ペナルティは、特にノイズが高く、トレーニングセットが小さい状況において、過度な適合を避ける。 線形モデルの場合、そのようなアプローチは、適切なコセンのペナルティパラメータに対するレギュレーションにおいて高い確率で重要な特徴を確実に回復する。 簡単なモデルを用いてモンテカルロシミュレーションを行い,提案手法の有効性を示した。
  論文  参考訳（メタデータ） (2020-06-07T04:46:55Z)
• Interventions and Counterfactuals in Tractable Probabilistic Models: Limitations of Contemporary Transformations [12.47276164048813]
  本研究では,SPNを因果グラフ介入推論に変換すると,限界分布の計算に還元されることを示す。 まず,PSDDから因果グラフを構築するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-01-29T15:45:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。