論文の概要: Contrastive Learning and Abstract Concepts: The Case of Natural Numbers

• arxiv url: http://arxiv.org/abs/2408.02247v1
• Date: Mon, 5 Aug 2024 05:41:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-06 14:26:02.865168
• Title: Contrastive Learning and Abstract Concepts: The Case of Natural Numbers
• Title（参考訳）: コントラスト学習と抽象概念:自然数の場合
• Authors: Daniel N. Nissani,
• Abstract要約: 対照的な学習は、人間でも超人的範囲でも高い精度で、一目で数えられるように訓練できることを示す。 類似アーキテクチャのニューラルネットワークスキームを,一見教師付き学習(SL)のトレーニング・ツー・カウントの結果と比較した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive Learning (CL) has been successfully applied to classification and other downstream tasks related to concrete concepts, such as objects contained in the ImageNet dataset. No attempts seem to have been made so far in applying this promising scheme to more abstract entities. A prominent example of these could be the concept of (discrete) Quantity. CL can be frequently interpreted as a self-supervised scheme guided by some profound and ubiquitous conservation principle (e.g. conservation of identity in object classification tasks). In this introductory work we apply a suitable conservation principle to the semi-abstract concept of natural numbers by which discrete quantities can be estimated or predicted. We experimentally show, by means of a toy problem, that contrastive learning can be trained to count at a glance with high accuracy both at human as well as at super-human ranges.. We compare this with the results of a trained-to-count at a glance supervised learning (SL) neural network scheme of similar architecture. We show that both schemes exhibit similar good performance on baseline experiments, where the distributions of the training and testing stages are equal. Importantly, we demonstrate that in some generalization scenarios, where training and testing distributions differ, CL boasts more robust and much better error performance.
• Abstract（参考訳）: 対照的学習(CL)は、ImageNetデータセットに含まれるオブジェクトなど、具体的な概念に関連する分類や下流タスクにうまく適用されている。 これまでのところ、より抽象的なエンティティにこの有望なスキームを適用する試みは行われていないようだ。 これらの顕著な例は、(離散的な)量の概念である。 CLはしばしば、深遠でユビキタスな保存原理(例えば、オブジェクト分類タスクにおけるアイデンティティの保存)によって導かれる自己教師型スキームとして解釈される。 この入門研究では、離散量の推定や予測が可能な自然数の半抽象概念に適切な保存原理を適用する。 実験により、おもちゃの問題により、対照的な学習は、人間でも超人的範囲でも高い精度で、一目で数えられるように訓練できることが示される。 と。 類似アーキテクチャのニューラルネットワークスキームを,一見教師付き学習(SL)のトレーニング・ツー・カウントの結果と比較した。 両スキームは, トレーニング段階と試験段階の分布が等しいベースライン実験において, 同様の性能を示すことを示す。 重要なことは、分散のトレーニングとテストが異なるいくつかの一般化シナリオにおいて、CLはより堅牢ではるかに優れたエラー性能を誇示している。

関連論文リスト

• Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
  細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。 近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。 本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-11T13:44:49Z)
• Uncertainty in Contrastive Learning: On the Predictability of Downstream Performance [7.411571833582691]
  このような表現の不確実性は、単一のデータポイントに対して有意義な方法で定量化できるかどうかを考察する。 埋め込み空間におけるトレーニングデータの分布を直接推定することにより,この目標を達成することができることを示す。
  論文  参考訳（メタデータ） (2022-07-19T15:44:59Z)
• Chaos is a Ladder: A New Theoretical Understanding of Contrastive Learning via Augmentation Overlap [64.60460828425502]
  コントラスト学習の下流性能に関する新たな保証を提案する。 我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。 本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:36:26Z)
• Towards the Generalization of Contrastive Self-Supervised Learning [11.889992921445849]
  本稿では, 自己教師付き事前学習モデルが下流タスクにどのように一般化するかを理論的に説明する。 さらに,SimCLR と Barlow Twins についても検討する。
  論文  参考訳（メタデータ） (2021-11-01T07:39:38Z)
• Weakly Supervised Contrastive Learning [68.47096022526927]
  この問題に対処するために,弱教師付きコントラスト学習フレームワーク(WCL)を導入する。 WCLはResNet50を使用して65%と72%のImageNet Top-1の精度を実現している。
  論文  参考訳（メタデータ） (2021-10-10T12:03:52Z)
• Contrastive Learning for Fair Representations [50.95604482330149]
  訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。 対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。 比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
  論文  参考訳（メタデータ） (2021-09-22T10:47:51Z)
• A Low Rank Promoting Prior for Unsupervised Contrastive Learning [108.91406719395417]
  提案手法は,従来の低階の促進をコントラスト学習の枠組みに効果的に組み込む新しい確率的グラフィカルモデルを構築する。 我々の仮説は、同じインスタンスクラスに属するすべてのサンプルが、小さな次元の同じ部分空間上にあることを明示的に要求する。 実証的な証拠は、提案アルゴリズムが複数のベンチマークにおける最先端のアプローチを明らかに上回っていることを示している。
  論文  参考訳（メタデータ） (2021-08-05T15:58:25Z)
• About contrastive unsupervised representation learning for classification and its convergence [2.6782615615913343]
  我々は、その性能を保証するための対照的な学習に関する理論的枠組みを構築している。 複数の負のサンプルとマルチウェイ分類のためのトレーニングにこれらの結果の拡張を提供する。 また、過度にパラメータ化されたディープニューラルエンコーダの勾配降下によるコントラストトレーニング誤差の最小化のための収束保証も提供する。
  論文  参考訳（メタデータ） (2020-12-02T10:08:57Z)
• Unsupervised Feature Learning by Cross-Level Instance-Group Discrimination [68.83098015578874]
  我々は、インスタンスグループ化ではなく、クロスレベルな識別によって、インスタンス間の類似性を対照的な学習に統合する。 CLDは、教師なし学習を、自然データや現実世界のアプリケーションに効果的に近づける。 セルフスーパービジョン、セミスーパービジョン、トランスファーラーニングベンチマークに関する新たな最先端技術は、報告されたすべてのパフォーマンスでMoCo v2とSimCLRを上回っている。
  論文  参考訳（メタデータ） (2020-08-09T21:13:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。