Fugu-MT 論文翻訳(概要): The Impact of Negative Sampling on Contrastive Structured World Models

論文の概要: The Impact of Negative Sampling on Contrastive Structured World Models

arxiv url: http://arxiv.org/abs/2107.11676v1
Date: Sat, 24 Jul 2021 19:42:42 GMT
ステータス: 処理完了
システム内更新日: 2021-07-27 15:58:50.830903
Title: The Impact of Negative Sampling on Contrastive Structured World Models
Title（参考訳）: 負サンプリングがコントラスト構造世界モデルに及ぼす影響
Authors: Ondrej Biza and Elise van der Pol and Thomas Kipf
Abstract要約: 対照的な損失における負の状態のサンプリング方法の小さな変化が、モデル性能の劇的な変化に繋がる3つの事例について述べる。時間ステップの相関を利用して、コントラスト構造世界モデルの性能を2倍にすることができることを示す。
参考スコア（独自算出の注目度）: 6.950510860295866
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: World models trained by contrastive learning are a compelling alternative to autoencoder-based world models, which learn by reconstructing pixel states. In this paper, we describe three cases where small changes in how we sample negative states in the contrastive loss lead to drastic changes in model performance. In previously studied Atari datasets, we show that leveraging time step correlations can double the performance of the Contrastive Structured World Model. We also collect a full version of the datasets to study contrastive learning under a more diverse set of experiences.
Abstract（参考訳）: コントラスト学習によって訓練された世界モデルは、ピクセル状態の再構築によって学習するオートエンコーダベースの世界モデルにとって魅力的な代替手段である。本稿では,コントラスト損失における負の状態のサンプル方法の小さな変化が,モデル性能の劇的な変化をもたらす3つの事例について述べる。従来研究されてきたAtariデータセットにおいて,時間ステップ相関を利用してコントラスト構造世界モデルの性能を2倍にすることができることを示す。また、データセットの完全なバージョンを収集して、より多様な経験の下でコントラスト学習を研究します。

関連論文リスト

PairCFR: Enhancing Model Training on Paired Counterfactually Augmented Data through Contrastive Learning [49.60634126342945]
Counterfactually Augmented Data (CAD)は、既存のデータサンプルのラベルを他のクラスに戻すのに、最小限かつ十分な修正を適用することで、新しいデータサンプルを作成する。近年の研究では、CADを用いたトレーニングが、他の重要な文脈情報を無視しながら、モデルが修正機能に過度にフォーカスする可能性があることが示されている。我々は、対実的手がかりの学習に加えて、グローバルな特徴アライメントを促進するために、対照的な学習を採用する。
論文参考訳（メタデータ） (2024-06-09T07:29:55Z)
Time-Series Contrastive Learning against False Negatives and Class Imbalance [17.43801009251228]
我々は理論分析を行い、それらが基本的な問題、つまりInfoNCEの損失に基づくフレームワークに固有の偽陰性とクラス不均衡を見落としていることを発見した。インスタンス識別タスクに携わるモデルに対して,SimCLRフレームワークに根ざした直感的な修正を導入する。半教師付き一貫性分類を行い、マイノリティクラスの代表的能力を高める。
論文参考訳（メタデータ） (2023-12-19T08:38:03Z)
ReCoRe: Regularized Contrastive Representation Learning of World Model [21.29132219042405]
対照的な教師なし学習と介入不変正規化器を用いて不変特徴を学習する世界モデルを提案する。提案手法は,現状のモデルベースおよびモデルフリーのRL法より優れ,iGibsonベンチマークで評価された分布外ナビゲーションタスクを大幅に改善する。
論文参考訳（メタデータ） (2023-12-14T15:53:07Z)
When hard negative sampling meets supervised contrastive learning [17.173114048398947]
我々は、微調整フェーズ中にハードネガティブサンプリングを組み込んだ新しい教師付きコントラスト学習目標であるSCHaNeを導入する。 SchaNeは、様々なベンチマークで、トップ1の精度で強いベースラインBEiT-3を上回っている。提案手法は,ImageNet-1kのベースモデルに対して,86.14%の精度で新たな最先端技術を実現する。
論文参考訳（メタデータ） (2023-08-28T20:30:10Z)
On the Compositional Generalization Gap of In-Context Learning [73.09193595292233]
In-distriion (ID) と Out-of-distriion (OOD) の相違について考察する。我々は,3つの意味解析データセットを用いて,OPT,BLOOM,CodeGen,Codexの4つのモデルファミリを評価する。
論文参考訳（メタデータ） (2022-11-15T19:56:37Z)
An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
論文参考訳（メタデータ） (2022-05-21T19:49:04Z)
Style-Hallucinated Dual Consistency Learning for Domain Generalized Semantic Segmentation [117.3856882511919]
本稿では、ドメインシフトを処理するためのStyle-HAllucinated Dual consistEncy Learning(SHADE)フレームワークを提案する。 SHADEは3つの実世界のデータセットの平均mIoUに対して5.07%と8.35%の精度で改善し、最先端の手法よりも優れています。
論文参考訳（メタデータ） (2022-04-06T02:49:06Z)
CLIFF: Contrastive Learning for Improving Faithfulness and Factuality in Abstractive Summarization [6.017006996402699]
我々は、与えられた記事に忠実で事実に整合した抽象的な要約を生成することを研究する。参照要約を正のトレーニングデータとして活用し、誤要約を負のトレーニングデータとして自動生成し、両者を区別し易い要約システムを訓練する、新しいコントラスト学習定式化を提案する。
論文参考訳（メタデータ） (2021-09-19T20:05:21Z)
Taxonomizing local versus global structure in neural network loss landscapes [60.206524503782006]
ロスランドスケープが世界規模で良好に接続されている場合, 最適なテスト精度が得られることを示す。また、モデルが小さい場合や、品質の低いデータに訓練された場合、世界規模で接続の不十分なランドスケープが生じる可能性があることも示しています。
論文参考訳（メタデータ） (2021-07-23T13:37:14Z)
Probing Negative Sampling Strategies to Learn GraphRepresentations via Unsupervised Contrastive Learning [4.909151538536424]
グラフ表現学習は長い間、さまざまな現実世界のアプリケーションにとって重要かつ困難なタスクでした。本稿では,教師なしコントラスト学習の最近の進歩に触発されて,ノード毎のコントラスト学習の実施方法について検討する。
論文参考訳（メタデータ） (2021-04-13T15:53:48Z)
Stereopagnosia: Fooling Stereo Networks with Adversarial Perturbations [71.00754846434744]
知覚不能な加法的摂動は,差分マップを著しく変更できることを示す。敵データ拡張に使用すると、我々の摂動はより堅牢なトレーニングされたモデルをもたらすことを示す。
論文参考訳（メタデータ） (2020-09-21T19:20:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。