論文の概要: Self-Supervised Relational Reasoning for Representation Learning

• arxiv url: http://arxiv.org/abs/2006.05849v3
• Date: Tue, 10 Nov 2020 15:22:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-11-23 04:41:04.771331
• Title: Self-Supervised Relational Reasoning for Representation Learning
• Title（参考訳）: 表現学習のための自己教師付き関係推論
• Authors: Massimiliano Patacchiola and Amos Storkey
• Abstract要約: 自己教師型学習では、ラベルのないデータに対して代替ターゲットを定義することにより、代理目的を達成することを課題とする。 本稿では,学習者が無ラベルデータに暗黙的な情報から信号をブートストラップできる,新たな自己教師型関係推論法を提案する。 提案手法は,標準データセット,プロトコル,バックボーンを用いて,厳密な実験手順に従って評価する。
• 参考スコア（独自算出の注目度）: 5.076419064097733
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In self-supervised learning, a system is tasked with achieving a surrogate objective by defining alternative targets on a set of unlabeled data. The aim is to build useful representations that can be used in downstream tasks, without costly manual annotation. In this work, we propose a novel self-supervised formulation of relational reasoning that allows a learner to bootstrap a signal from information implicit in unlabeled data. Training a relation head to discriminate how entities relate to themselves (intra-reasoning) and other entities (inter-reasoning), results in rich and descriptive representations in the underlying neural network backbone, which can be used in downstream tasks such as classification and image retrieval. We evaluate the proposed method following a rigorous experimental procedure, using standard datasets, protocols, and backbones. Self-supervised relational reasoning outperforms the best competitor in all conditions by an average 14% in accuracy, and the most recent state-of-the-art model by 3%. We link the effectiveness of the method to the maximization of a Bernoulli log-likelihood, which can be considered as a proxy for maximizing the mutual information, resulting in a more efficient objective with respect to the commonly used contrastive losses.
• Abstract（参考訳）: 自己教師あり学習において、システムはラベルなしデータの集合上の代替目標を定義することによって、代理目的を達成することを任務とする。 その目的は、コストのかかる手動アノテーションなしで、ダウンストリームタスクで使用できる便利な表現を構築することである。 本研究では,学習者がラベルなしデータに暗黙の情報から信号をブートストラップできる関係推論の自己教師あり定式化を提案する。 リレーションヘッドをトレーニングして、エンティティが自分自身(イントラ推論)や他のエンティティ(イントラ推論)とどのように関連しているかを識別し、基盤となるニューラルネットワークのバックボーンにリッチで記述的な表現をもたらし、分類や画像検索などの下流タスクで使用することができる。 標準データセット,プロトコル,バックボーンを用いて,厳密な実験手順に従って提案手法を評価する。 自己教師付きリレーショナル推論は、すべての条件において、平均14%の精度でベストコンペティタを上回り、最新の最新モデルでは3%も上回っている。 本手法の有効性をベルヌーイログ類似度(bernolli log-likelihood)の最大化と結びつけ,相互情報の最大化の指標として考察した。

関連論文リスト

• ADROIT: A Self-Supervised Framework for Learning Robust Representations for Active Learning [9.89630586942325]
  本稿では,タスク認識を伴う能動的学習に適した統一表現学習フレームワークを提案する。 再建、敵対的、自己監督的、知識蒸留、分類損失など様々なソースを統合されたVAEベースのADROITアプローチに統合する。
  論文  参考訳（メタデータ） (2025-03-10T16:28:04Z)
• XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
  低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。 XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。 6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
  論文  参考訳（メタデータ） (2023-10-09T08:07:04Z)
• Canary in a Coalmine: Better Membership Inference with Ensembled Adversarial Queries [53.222218035435006]
  私たちは、差別的で多様なクエリを最適化するために、逆ツールを使用します。 我々の改善は既存の方法よりもはるかに正確な会員推定を実現している。
  論文  参考訳（メタデータ） (2022-10-19T17:46:50Z)
• Uncertainty in Contrastive Learning: On the Predictability of Downstream Performance [7.411571833582691]
  このような表現の不確実性は、単一のデータポイントに対して有意義な方法で定量化できるかどうかを考察する。 埋め込み空間におけるトレーニングデータの分布を直接推定することにより,この目標を達成することができることを示す。
  論文  参考訳（メタデータ） (2022-07-19T15:44:59Z)
• Self-Taught Metric Learning without Labels [47.832107446521626]
  教師なしメトリック学習のための新しい自己学習フレームワークを提案する。 埋め込みモデルの移動平均を通してデータ間のクラス等価関係を予測し、予測された関係を擬似ラベルとして学習する。
  論文  参考訳（メタデータ） (2022-05-04T05:48:40Z)
• Masked prediction tasks: a parameter identifiability view [49.533046139235466]
  マスク付きトークンの予測に広く用いられている自己教師型学習手法に着目する。 いくつかの予測タスクは識別可能性をもたらすが、他のタスクはそうではない。
  論文  参考訳（メタデータ） (2022-02-18T17:09:32Z)
• Learning Bias-Invariant Representation by Cross-Sample Mutual Information Minimization [77.8735802150511]
  対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。 相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。 我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
  論文  参考訳（メタデータ） (2021-08-11T21:17:02Z)
• Hybrid Generative-Contrastive Representation Learning [32.84066504783469]
  コントラストと生成的損失の両方で訓練されたトランスフォーマーベースのエンコーダデコーダアーキテクチャは、生成性能を損なうことなく、高い識別性および堅牢性を持つ表現を学習できることを示す。
  論文  参考訳（メタデータ） (2021-06-11T04:23:48Z)
• S^3-Rec: Self-Supervised Learning for Sequential Recommendation with Mutual Information Maximization [104.87483578308526]
  本稿では,シーケンスレコメンデーションのための自己改善学習のためのモデルS3-Recを提案する。 そこで本稿では,属性,項目,サブシーケンス,シーケンス間の相関関係を学習するために,4つの補助的自己教師対象を考案する。 6つの実世界のデータセットで実施された大規模な実験は、既存の最先端手法よりも提案手法が優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-18T11:44:10Z)
• Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
  既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。 本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。 ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-13T08:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。