論文の概要: Learning Better Representations From Less Data For Propositional Satisfiability
- arxiv url: http://arxiv.org/abs/2402.08365v3
- Date: Sun, 10 Nov 2024 16:45:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-12 14:03:32.401935
- Title: Learning Better Representations From Less Data For Propositional Satisfiability
- Title（参考訳）: 提案的満足度のための少ないデータからより良い表現を学習する
- Authors: Mohamed Ghanem, Frederik Schmitt, Julian Siber, Bernd Finkbeiner,
- Abstract要約: 我々は、命題が満足できるという2つの課題に対処するニュールレス(NeuRes)というニューロシンボリックなアプローチを提案する。
我々のモデルは、分類のみのために訓練されたモデルよりも優れた表現を学習し、データ効率はずっと高い。
このモデルでは,NuroSATよりも,正しく分類された例と証明された例の両方において,はるかに優れた性能が得られることを示す。
- 参考スコア（独自算出の注目度）: 7.449724123186386
- License:
- Abstract: Training neural networks on NP-complete problems typically demands very large amounts of training data and often needs to be coupled with computationally expensive symbolic verifiers to ensure output correctness. In this paper, we present NeuRes, a neuro-symbolic approach to address both challenges for propositional satisfiability, being the quintessential NP-complete problem. By combining certificate-driven training and expert iteration, our model learns better representations than models trained for classification only, with a much higher data efficiency -- requiring orders of magnitude less training data. NeuRes employs propositional resolution as a proof system to generate proofs of unsatisfiability and to accelerate the process of finding satisfying truth assignments, exploring both possibilities in parallel. To realize this, we propose an attention-based architecture that autoregressively selects pairs of clauses from a dynamic formula embedding to derive new clauses. Furthermore, we employ expert iteration whereby model-generated proofs progressively replace longer teacher proofs as the new ground truth. This enables our model to reduce a dataset of proofs generated by an advanced solver by ~32% after training on it with no extra guidance. This shows that NeuRes is not limited by the optimality of the teacher algorithm owing to its self-improving workflow. We show that our model achieves far better performance than NeuroSAT in terms of both correctly classified and proven instances.
- Abstract（参考訳）: NP完全問題に対するニューラルネットワークのトレーニングは通常、非常に大量のトレーニングデータを必要とし、しばしば出力の正確性を保証するために計算に高価なシンボル検証器と結合する必要がある。
本稿では,NP完全問題であるNeuResについて述べる。
証明書駆動のトレーニングとエキスパートのイテレーションを組み合わせることで、私たちのモデルは、分類のみのためにトレーニングされたモデルよりも優れた表現を学びます。
NeuRes は証明システムとして命題分解を使い、満足できない証明を生成し、真理の割り当てを満足させる過程を加速し、両方の可能性を並列に探索する。
そこで本研究では,新しい節を導出するために,動的公式の埋め込みから句のペアを自動回帰的に選択するアテンションベースアーキテクチャを提案する。
さらに、我々は、モデル生成証明が、より長い教師の証明を、新たな基礎的真実として徐々に置き換える専門家の反復を採用する。
これにより、先進的な解法によって生成される証明のデータセットを、余分なガイダンスなしでトレーニング後に約32%削減できる。
このことは、NeuResがその自己改善ワークフローのために教師アルゴリズムの最適性によって制限されないことを示している。
このモデルでは,NuroSATよりも,正しく分類された例と証明された例の両方において,はるかに優れた性能が得られることを示す。
関連論文リスト
- Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-03-01T03:27:08Z) - Boosting Low-Data Instance Segmentation by Unsupervised Pre-training
with Saliency Prompt [103.58323875748427]
この研究は、低データ体制のための新しい教師なし事前学習ソリューションを提供する。
近年のPrompting技術の成功に触発されて,QEISモデルを強化した新しい事前学習手法を導入する。
実験結果から,本手法は3つのデータセット上でのいくつかのQEISモデルを大幅に向上させることが示された。
論文 参考訳（メタデータ） (2023-02-02T15:49:03Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳（メタデータ） (2022-06-15T19:10:35Z) - CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。
本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
論文 参考訳（メタデータ） (2022-06-01T03:02:07Z) - Training Data Subset Selection for Regression with Controlled
Generalization Error [19.21682938684508]
そこで我々は,データサブセット選択のための効率的な大規模化最小化アルゴリズムを開発した。
SELCONは、現在の最先端技術よりも精度と効率を効果的に交換する。
論文 参考訳（メタデータ） (2021-06-23T16:03:55Z) - BiFair: Training Fair Models with Bilevel Optimization [8.2509884277533]
我々は,ユーティリティの最小化と公正な関心の喪失を両立させる,BiFairという新しいトレーニングアルゴリズムを開発した。
我々のアルゴリズムは、常により良い性能、すなわち、与えられた公正度メトリックのより優れた値、あるいはより高い精度で到達する。
論文 参考訳（メタデータ） (2021-06-03T22:36:17Z) - Less is More: Data-Efficient Complex Question Answering over Knowledge
Bases [26.026065844896465]
本稿では,複雑な質問応答のためのデータ効率向上学習フレームワークであるNS-CQAモデルを提案する。
我々のフレームワークはニューラルジェネレータとシンボリックエグゼキュータで構成されており、自然言語の質問を原始的なアクションのシーケンスに変換する。
近年の大規模質問応答データセットであるCQAと,マルチホップ質問応答データセットであるWebQuestionsSPの2つのデータセットで評価を行った。
論文 参考訳（メタデータ） (2020-10-29T18:42:44Z) - Modeling Token-level Uncertainty to Learn Unknown Concepts in SLU via
Calibrated Dirichlet Prior RNN [98.4713940310056]
現代パーソナルアシスタントにおける音声言語理解(SLU)の主な課題は、発話から意味概念を抽出することである。
最近の研究では、疑問と回答を収集し、未知のデータを学習し、質問すべきである。
疑わしい監督なしにシーケンスの不確かさをモデル化するために、ソフトマックスベースのスロット充填ニューラルネットワークアーキテクチャを組み込んだ。
論文 参考訳（メタデータ） (2020-10-16T02:12:30Z) - A Neural Network Approach for Online Nonlinear Neyman-Pearson
Classification [3.6144103736375857]
論文の中では,オンラインと非線形の両方で初となる新しいNeyman-Pearson(NP)分類器を提案する。
提案する分類器は、オンライン方式でバイナリラベル付きデータストリーム上で動作し、ユーザが指定し、制御可能な偽陽性率の検出能力を最大化する。
提案アルゴリズムは大規模データアプリケーションに適しており,実時間処理による偽陽性率制御性を実現している。
論文 参考訳（メタデータ） (2020-06-14T20:00:25Z) - The Right Tool for the Job: Matching Model and Instance Complexities [62.95183777679024]
NLPモデルが大きくなればなるほど、訓練されたモデルを実行するには、金銭的・環境的なコストを発生させる重要な計算資源が必要である。
我々は、推論中、早期(かつ高速)の"exit"を可能にする文脈表現微調整の修正を提案する。
3つのテキスト分類データセットと2つの自然言語推論ベンチマークの2つのタスクで、5つの異なるデータセットに対して提案した修正を検証した。
論文 参考訳（メタデータ） (2020-04-16T04:28:08Z) - PrIU: A Provenance-Based Approach for Incrementally Updating Regression
Models [9.496524884855559]
本稿では,予測精度を犠牲にすることなく,モデルパラメータを漸進的に更新する手法PrIUを提案する。
漸進的に更新されたモデルパラメータの正しさと収束性を証明し、実験的に検証する。
実験結果から, PrIU-optはスクラッチからモデルを再トレーニングするのに対して, 非常に類似したモデルを得るよりも, 最大2桁のスピードアップを達成できることがわかった。
論文 参考訳（メタデータ） (2020-02-26T21:04:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。