論文の概要: Uncovering RL Integration in SSL Loss: Objective-Specific Implications for Data-Efficient RL

• arxiv url: http://arxiv.org/abs/2410.17428v1
• Date: Tue, 22 Oct 2024 20:57:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-24 13:55:27.542107
• Title: Uncovering RL Integration in SSL Loss: Objective-Specific Implications for Data-Efficient RL
• Title（参考訳）: SSLロスにおけるRL統合の発見:データ効率のよいRLに対する客観的な意味
• Authors: Ömer Veysel Çağatan, Barış Akgün,
• Abstract要約: SPRフレームワークにおけるSSLの客観的な修正の効果について検討する。 これには、端末状態マスキングと優先順位付けされたリプレイ重み付けが含まれる。 Atari 100kベンチマークのSPR版を6種類評価した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: In this study, we investigate the effect of SSL objective modifications within the SPR framework, focusing on specific adjustments such as terminal state masking and prioritized replay weighting, which were not explicitly addressed in the original design. While these modifications are specific to RL, they are not universally applicable across all RL algorithms. Therefore, we aim to assess their impact on performance and explore other SSL objectives that do not accommodate these adjustments like Barlow Twins and VICReg. We evaluate six SPR variants on the Atari 100k benchmark, including versions both with and without these modifications. Additionally, we test the performance of these objectives on the DeepMind Control Suite, where such modifications are absent. Our findings reveal that incorporating specific SSL modifications within SPR significantly enhances performance, and this influence extends to subsequent frameworks like SR-SPR and BBF, highlighting the critical importance of SSL objective selection and related adaptations in achieving data efficiency in self-predictive reinforcement learning.
• Abstract（参考訳）: 本研究では,SPR フレームワークにおけるSSL の目的変更の効果について検討し,端末状態マスキングや優先リプレイ重み付けなどの特定の調整に焦点をあてる。 これらの修正はRLに固有のものであるが、すべてのRLアルゴリズムに普遍的に適用できない。 そこで本研究では,Barlow Twins や VICReg など,これらの調整に適合しない他のSSL目標についても検討する。 Atari 100kベンチマークのSPR版を6種類評価した。 さらに、これらの目的をDeepMind Control Suite上でテストする。 以上の結果から,SPRに特定のSSL修正を組み込むことによって性能が著しく向上し,SR-SPRやBBFといったその後のフレームワークにもその影響が拡大し,自己予測型強化学習におけるSSL目的の選択と関連する適応の重要性が強調された。

関連論文リスト

• Unveiling the Vulnerability of Private Fine-Tuning in Split-Based Frameworks for Large Language Models: A Bidirectionally Enhanced Attack [20.727726850786386]
  BiSRは、スプリットラーニング(SL)の前方および後方伝播プロセスの両方をターゲットにした最初のデータ再構成攻撃である。 SLの前方および後方伝播過程を標的とした最初のデータ再構成攻撃(DRA)であるBiSRを提案する。
  論文  参考訳（メタデータ） (2024-09-02T06:01:20Z)
• On the Discriminability of Self-Supervised Representation Learning [38.598160031349686]
  自己教師付き学習(SSL)は、最近、下流の視覚タスクで大きな成功を収めた。 特に複雑な下流タスクにおいて、SSLと教師あり学習(SL)の間には、注目すべきギャップがまだ残っている。
  論文  参考訳（メタデータ） (2024-07-18T14:18:03Z)
• A Thorough Performance Benchmarking on Lightweight Embedding-based Recommender Systems [67.52782366565658]
  State-of-the-art recommender system (RS) は、埋め込みベクトルによって符号化される分類的特徴に依存し、結果として非常に大きな埋め込みテーブルとなる。 軽量埋め込み型RSの繁栄にもかかわらず、評価プロトコルには幅広い多様性が見られる。 本研究では, LERSの性能, 効率, クロスタスク転送性について, 徹底的なベンチマークによる検討を行った。
  論文  参考訳（メタデータ） (2024-06-25T07:45:00Z)
• FedSC: Provable Federated Self-supervised Learning with Spectral Contrastive Objective over Non-i.i.d. Data [26.81377738626344]
  我々は、スペクトルコントラストの目的に基づいて、FedSCという証明可能なFedSSLアルゴリズムを提案する。 FedSCでは、クライアントは定期的にモデルの重みに加えて、データ表現の相関行列を共有する。 我々は、収束と余分なプライバシー漏洩に関する理論的分析を提供する。
  論文  参考訳（メタデータ） (2024-05-07T02:12:38Z)
• Reinforcement Learning-Guided Semi-Supervised Learning [20.599506122857328]
  本稿では,SSLを片腕バンディット問題として定式化する新しい強化学習ガイド型SSL手法 RLGSSL を提案する。 RLGSSLは、ラベル付きデータとラベルなしデータのバランスを保ち、一般化性能を向上させるために、慎重に設計された報酬関数を組み込んでいる。 我々は,複数のベンチマークデータセットに対する広範な実験を通じてRCGSSLの有効性を実証し,我々の手法が最先端のSSL手法と比較して一貫した優れた性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-05-02T21:52:24Z)
• Take the Bull by the Horns: Hard Sample-Reweighted Continual Training Improves LLM Generalization [165.98557106089777]
  大きな言語モデル(LLM)の能力を高めることが大きな課題だ。 本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。 次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
  論文  参考訳（メタデータ） (2024-02-22T04:10:57Z)
• InfoRM: Mitigating Reward Hacking in RLHF via Information-Theoretic Reward Modeling [66.3072381478251]
  Reward Hacking(報酬の過度な最適化)は依然として重要な課題だ。 本稿では,報奨モデル,すなわちInfoRMのためのフレームワークを提案する。 InfoRMの過度な最適化検出機構は、有効であるだけでなく、幅広いデータセットにわたって堅牢であることを示す。
  論文  参考訳（メタデータ） (2024-02-14T17:49:07Z)
• An Information-Theoretic Perspective on Variance-Invariance-Covariance Regularization [52.44068740462729]
  我々は、VICRegの目的に関する情報理論的な視点を示す。 我々は、VICRegの一般化を導出し、下流タスクに固有の利点を明らかにした。 既存のSSL技術よりも優れた情報理論の原理から派生したSSL手法のファミリーを紹介する。
  論文  参考訳（メタデータ） (2023-03-01T16:36:25Z)
• On the Importance of Hyperparameters and Data Augmentation for Self-Supervised Learning [32.53142486214591]
  自己監視学習(SSL)はディープラーニング研究の非常に活発な領域となり、分類やその他のタスクの事前学習方法として広く利用されている。 ここでは、実際、ハイパーパラメータとデータ拡張戦略の選択は、パフォーマンスに劇的な影響を与える可能性があることを示す。 我々は,グループ間のサンプリングを最適化するグループ拡張アルゴリズム,GroupAugmentを導入する。
  論文  参考訳（メタデータ） (2022-07-16T08:31:11Z)
• Evolving Pareto-Optimal Actor-Critic Algorithms for Generalizability and Stability [67.8426046908398]
  汎用性と安定性は,実世界における強化学習(RL)エージェントの運用において重要な2つの目的である。 本稿では,アクター・クリティック・ロス関数の自動設計法であるMetaPGを提案する。
  論文  参考訳（メタデータ） (2022-04-08T20:46:16Z)
• Efficient Sharpness-aware Minimization for Improved Training of Neural Networks [146.2011175973769]
  本稿では,SAM s の効率を高コストで向上する高効率シャープネス認識最小化器 (M) を提案する。 Mには、Stochastic Weight PerturbationとSharpness-Sensitive Data Selectionという、2つの新しい効果的なトレーニング戦略が含まれている。 我々は、CIFARとImageNetデータセットの広範な実験を通して、ESAMはSAMよりも100%余分な計算を40%のvis-a-visベースに必要とせずに効率を向上させることを示した。
  論文  参考訳（メタデータ） (2021-10-07T02:20:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。