論文の概要: Augment with Care: Contrastive Learning for the Boolean Satisfiability Problem

• arxiv url: http://arxiv.org/abs/2202.08396v1
• Date: Thu, 17 Feb 2022 01:31:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-19 04:51:40.824165
• Title: Augment with Care: Contrastive Learning for the Boolean Satisfiability Problem
• Title（参考訳）: Augment with Care: ブール満足度問題に対するコントラスト学習
• Authors: Haonan Duan, Pashootan Vaezipoor, Max B. Paulus, Yangjun Ruan and Chris J. Maddison
• Abstract要約: ラベル保存強化がコントラスト事前学習の成功に不可欠であることを示す。 実験結果から, 完全学習に匹敵するテスト精度を達成でき, ラベルの1%しか使用できないことがわかった。
• 参考スコア（独自算出の注目度）: 17.57059932879715
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Supervised learning can improve the design of state-of-the-art solvers for combinatorial problems, but labelling large numbers of combinatorial instances is often impractical due to exponential worst-case complexity. Inspired by the recent success of contrastive pre-training for images, we conduct a scientific study of the effect of augmentation design on contrastive pre-training for the Boolean satisfiability problem. While typical graph contrastive pre-training uses label-agnostic augmentations, our key insight is that many combinatorial problems have well-studied invariances, which allow for the design of label-preserving augmentations. We find that label-preserving augmentations are critical for the success of contrastive pre-training. We show that our representations are able to achieve comparable test accuracy to fully-supervised learning while using only 1% of the labels. We also demonstrate that our representations are more transferable to larger problems from unseen domains.
• Abstract（参考訳）: 教師付き学習はコンビネート問題に対する最先端の解法の設計を改善することができるが、膨大な数のコンビネートインスタンスをラベル付けすることは、指数関数的な最悪のケースの複雑さのために、しばしば実用的ではない。 画像のコントラストプリトレーニングが最近成功したことに触発されて,ブール満足性問題に対するコントラストプレトレーニングに対する拡張設計の影響を科学的に研究した。 典型的なグラフコントラスト事前学習はラベルに依存しない拡張を用いるが、我々の重要な洞察は、多くの組合せ問題にはよく研究された不変性があり、ラベル保存拡張の設計を可能にすることである。 ラベル保存強化は対照的な事前学習の成功に不可欠である。 我々の表現は、ラベルの1%しか使用せず、完全教師付き学習に匹敵するテスト精度を達成できることを示す。 また、我々の表現は、目に見えない領域からより大きな問題に転送可能であることも示している。

関連論文リスト

• Uncovering Capabilities of Model Pruning in Graph Contrastive Learning [0.0]
  我々は、拡張ビューではなく、異なるモデルバージョンを対比することで、グラフのコントラスト学習の問題を再構築する。 教師なしおよび転送学習によるグラフ分類に関する様々なベンチマークにおいて,本手法を広範囲に検証する。
  論文  参考訳（メタデータ） (2024-10-27T07:09:31Z)
• Understanding GNNs for Boolean Satisfiability through Approximation Algorithms [0.0]
  本稿では,ブール満足度という文脈におけるグラフニューラルネットワークの解釈可能性について論じる。 目標は、これらのモデルの内部の動作を軽視し、意思決定プロセスに対する洞察力のある視点を提供することです。
  論文  参考訳（メタデータ） (2024-08-27T21:47:09Z)
• Semantic Contrastive Bootstrapping for Single-positive Multi-label Recognition [36.3636416735057]
  本研究では,意味的コントラスト型ブートストラップ法(Scob)を用いて,オブジェクト間の関係を徐々に回復する手法を提案する。 次に、アイコン的オブジェクトレベルの表現を抽出する再帰的セマンティックマスク変換器を提案する。 大規模な実験結果から,提案手法が最先端のモデルを超えていることが示唆された。
  論文  参考訳（メタデータ） (2023-07-15T01:59:53Z)
• HaLP: Hallucinating Latent Positives for Skeleton-based Self-Supervised Learning of Actions [69.14257241250046]
  ラベルなしの骨格に基づく行動認識のためのモデル学習のための新しいコントラスト学習手法を提案する。 私たちの重要な貢献は、単純なモジュールであるHalucinate Latent Positivesのコントラスト学習へのHalucinate HaLPです。 実験を通して、標準のコントラスト学習フレームワーク内でこれらの生成した正を使用すれば、一貫した改善がもたらされることを示す。
  論文  参考訳（メタデータ） (2023-04-01T21:09:43Z)
• A Theoretical Understanding of Shallow Vision Transformers: Learning, Generalization, and Sample Complexity [71.11795737362459]
  自己注意モジュールを持つViTは、最近多くのタスクで経験的な成功を収めた。 しかし、理論学習の一般化分析は、ほとんどノイズが多く、解答的である。 本稿では,分類タスクのための浅いViTの理論的解析を行った。
  論文  参考訳（メタデータ） (2023-02-12T22:12:35Z)
• SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised Learning [101.86916775218403]
  本稿では, サンプル重み付けを統一した定式化により, 一般的な擬似ラベル法を再検討する。 トレーニング中の擬似ラベルの量と質を両立させることでトレードオフを克服するSoftMatchを提案する。 実験では、画像、テキスト、不均衡な分類など、さまざまなベンチマークで大幅に改善されている。
  論文  参考訳（メタデータ） (2023-01-26T03:53:25Z)
• Learning Transferable Adversarial Robust Representations via Multi-view Consistency [57.73073964318167]
  デュアルエンコーダを用いたメタ逆多視点表現学習フレームワークを提案する。 未確認領域からの少数ショット学習タスクにおけるフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-10-19T11:48:01Z)
• A Framework using Contrastive Learning for Classification with Noisy Labels [1.2891210250935146]
  雑音ラベルの存在下で画像分類を行うために,コントラスト学習を事前学習タスクとして利用するフレームワークを提案する。 擬似ラベル, ガウス混合モデルを用いたサンプル選択, 重み付き教師付きコントラスト学習などの近年の戦略は, 事前学習後の微調整相に組み合わされている。
  論文  参考訳（メタデータ） (2021-04-19T18:51:22Z)
• Adversarial Imitation Learning with Trajectorial Augmentation and Correction [61.924411952657756]
  本稿では,拡張軌道の成功を保った新しい拡張手法を提案する。 我々は, 合成専門家を用いた模倣エージェントの訓練を行うために, 逆データ拡張模倣アーキテクチャを開発した。 実験により,我々のデータ拡張戦略は,敵対的模倣の精度と収束時間を向上できることが示された。
  論文  参考訳（メタデータ） (2021-03-25T14:49:32Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。