論文の概要: A Survey on Self-play Methods in Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2408.01072v2
• Date: Wed, 05 Mar 2025 10:03:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-06 17:18:39.786133
• Title: A Survey on Self-play Methods in Reinforcement Learning
• Title（参考訳）: 強化学習における自己表現法の検討
• Authors: Ruize Zhang, Zelai Xu, Chengdong Ma, Chao Yu, Wei-Wei Tu, Wenhao Tang, Shiyu Huang, Deheng Ye, Wenbo Ding, Yaodong Yang, Yu Wang,
• Abstract要約: エージェントとコピーや過去のバージョンとの相互作用を特徴とするセルフプレイは、近年、強化学習において注目されている。 本稿では,マルチエージェント強化学習フレームワークやゲーム理論の基本概念を含む,自己プレイの予備的概念を明らかにする。 統合されたフレームワークを提供し、このフレームワーク内で既存のセルフプレイアルゴリズムを分類する。
• 参考スコア（独自算出の注目度）: 30.623046272862318
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-play, characterized by agents' interactions with copies or past versions of themselves, has recently gained prominence in reinforcement learning (RL). This paper first clarifies the preliminaries of self-play, including the multi-agent reinforcement learning framework and basic game theory concepts. Then, it provides a unified framework and classifies existing self-play algorithms within this framework. Moreover, the paper bridges the gap between the algorithms and their practical implications by illustrating the role of self-play in different scenarios. Finally, the survey highlights open challenges and future research directions in self-play. This paper is an essential guide map for understanding the multifaceted landscape of self-play in RL.
• Abstract（参考訳）: エージェントとコピーや過去のバージョンとの相互作用を特徴とするセルフプレイは、最近強化学習(RL)で注目されている。 本稿ではまず,マルチエージェント強化学習フレームワークやゲーム理論の基本概念を含む,セルフプレイの予備的概念を明らかにする。 そして、統合されたフレームワークを提供し、このフレームワーク内で既存のセルフプレイアルゴリズムを分類する。 さらに,本論文は,異なるシナリオにおける自己表現の役割を具現化することによって,アルゴリズムと実践的意味のギャップを埋めるものである。 最後に、この調査はオープンな課題と、セルフプレイにおける今後の研究方向性を強調している。 本稿は,RLにおける自己表現の多面的景観を理解するためのガイドマップである。

関連論文リスト

• Agentic Reasoning for Large Language Models [122.81018455095999]
  推論は推論、問題解決、意思決定の基礎となる基本的な認知プロセスである。 大規模言語モデル(LLM)は、クローズドワールド設定では強力な推論能力を示すが、オープンエンドおよび動的環境では苦労する。 エージェント推論は、連続的な相互作用を計画し、行動し、学習する自律的なエージェントとしてLLMを解釈することでパラダイムシフトを示す。
  論文  参考訳（メタデータ） (2026-01-18T18:58:23Z)
• The Landscape of Agentic Reinforcement Learning for LLMs: A Survey [103.32591749156416]
  エージェント強化学習(Agentic RL)の出現は、大規模言語モデル(LLM RL)に適用された従来の強化学習からパラダイムシフトを示している。 本研究では, LLM-RLの縮退した単段階マルコフ決定過程(MDPs)と, エージェントRLを定義する部分可観測マルコフ決定過程(POMDPs)とを対比することにより, この概念シフトを定式化する。
  論文  参考訳（メタデータ） (2025-09-02T17:46:26Z)
• Playpen: An Environment for Exploring Learning Through Conversational Interaction [81.67330926729015]
  本研究は,対話ゲームが学習のフィードバック信号の源として機能するかどうかを考察する。 本稿では,対話ゲームによるオフラインおよびオンライン学習環境であるPlaypenを紹介する。 SFTによる模倣学習は、目に見えないインスタンスのパフォーマンスを向上させるが、他のスキルに悪影響を及ぼす。
  論文  参考訳（メタデータ） (2025-04-11T14:49:33Z)
• How do Large Language Models Understand Relevance? A Mechanistic Interpretability Perspective [64.00022624183781]
  大規模言語モデル(LLM)は、関連性を評価し、情報検索(IR)タスクをサポートする。 メカニスティック・インタプリタビリティのレンズを用いて,異なるLLMモジュールが関係判断にどのように寄与するかを検討する。
  論文  参考訳（メタデータ） (2025-04-10T16:14:55Z)
• Beyond Single-Turn: A Survey on Multi-Turn Interactions with Large Language Models [8.08979200534563]
  現実世界のアプリケーションは洗練されたマルチターンインタラクションを必要とする。 大規模言語モデル(LLM)の最近の進歩は、シングルターンタスクを扱う能力に革命をもたらした。
  論文  参考訳（メタデータ） (2025-04-07T04:00:08Z)
• Large Language Model Agent: A Survey on Methodology, Applications and Challenges [88.3032929492409]
  大きな言語モデル(LLM)エージェントは、目標駆動の振る舞いと動的適応能力を持ち、人工知能への重要な経路を示す可能性がある。 本調査は, LLMエージェントシステムを方法論中心の分類法により体系的に分解する。 私たちの作業は、エージェントの構築方法、コラボレーション方法、時間の経過とともにどのように進化するか、という、統一されたアーキテクチャの視点を提供します。
  論文  参考訳（メタデータ） (2025-03-27T12:50:17Z)
• Multi-agent cooperation through learning-aware policy gradients [53.63948041506278]
  利己的な個人はしばしば協力に失敗し、マルチエージェント学習の根本的な課題を提起する。 本稿では,学習型強化学習のための,偏見のない高導出性ポリシー勾配アルゴリズムを提案する。 我々は, 受刑者のジレンマから, 自己関心のある学習エージェントの間でどのように, いつ, 協力関係が生じるかの新たな説明を得た。
  論文  参考訳（メタデータ） (2024-10-24T10:48:42Z)
• Decorrelation-based Self-Supervised Visual Representation Learning for Writer Identification [10.55096104577668]
  本稿では,自己教師型学習のデコリレーションに基づくパラダイムを探求し,著者識別のための不整合脳卒中の特徴の学習に適用する。 提案手法は,著者識別ベンチマークにおいて,現代の自己教師型学習フレームワークよりも優れていることを示す。 我々の知る限り、本研究は、著者検証タスクの学習表現に自己教師付き学習を適用した最初のものである。
  論文  参考訳（メタデータ） (2024-10-02T11:43:58Z)
• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Semi-supervised learning made simple with self-supervised clustering [65.98152950607707]
  自己教師付き学習モデルは、人間のアノテーションを必要とせずにリッチな視覚表現を学習することが示されている。 本稿では,クラスタリングに基づく自己教師付き手法を半教師付き学習者へと変換する,概念的に単純だが経験的に強力な手法を提案する。
  論文  参考訳（メタデータ） (2023-06-13T01:09:18Z)
• DinoSR: Self-Distillation and Online Clustering for Self-supervised Speech Representation Learning [140.96990096377127]
  自己教師型音声表現学習(DinoSR)のための自己蒸留とオンラインクラスタリングを導入する。 DinoSRはまず、入力されたオーディオから教師ネットワークにコンテキスト化された埋め込みを抽出し、埋め込み上にオンラインクラスタリングシステムを実行して、マシンが発見した携帯電話の在庫を出力し、最後に、識別トークンを使用して学生ネットワークを誘導する。 本稿では,DinoSRが複数の下流タスクにおいて過去の最先端性能を上回ることを示し,モデルと学習した離散単位の詳細な解析を行う。
  論文  参考訳（メタデータ） (2023-05-17T07:23:46Z)
• Self-Supervised Multi-Object Tracking For Autonomous Driving From Consistency Across Timescales [53.55369862746357]
  自己管理型マルチオブジェクトトラッカーは、生のドメイン固有データから学習できるという大きな可能性を秘めている。 しかし、その再識別精度は、監督対象よりも低い。 本稿では,複数の連続フレームから再同定特徴を自己教師付きで学習できる学習目標を提案する。
  論文  参考訳（メタデータ） (2023-04-25T20:47:29Z)
• SS-VAERR: Self-Supervised Apparent Emotional Reaction Recognition from Video [61.21388780334379]
  この研究は、自己監督的な方法で行われるビデオのみの入力からの明らかな感情的反応の認識に焦点を当てる。 ネットワークは、まず異なる自己教師付きプレテキストタスクで事前訓練され、その後、下流のターゲットタスクで微調整される。
  論文  参考訳（メタデータ） (2022-10-20T15:21:51Z)
• Deep Reinforcement Learning for Multi-Agent Interaction [14.532965827043254]
  自律エージェント研究グループは、自律システム制御のための新しい機械学習アルゴリズムを開発した。 本稿では,現在進行中の研究ポートフォリオの概要を概説するとともに,今後の課題について論じる。
  論文  参考訳（メタデータ） (2022-08-02T21:55:56Z)
• Leveraging Explanations in Interactive Machine Learning: An Overview [10.284830265068793]
  説明はAIと機械学習(ML)コミュニティへの関心が高まっている。 本稿では,対話的能力と説明が組み合わさった研究の概要について述べる。
  論文  参考訳（メタデータ） (2022-07-29T07:46:11Z)
• Autonomous Open-Ended Learning of Tasks with Non-Stationary Interdependencies [64.0476282000118]
  固有のモチベーションは、目標間のトレーニング時間を適切に割り当てるタスクに依存しないシグナルを生成することが証明されている。 内在的に動機付けられたオープンエンドラーニングの分野におけるほとんどの研究は、目標が互いに独立しているシナリオに焦点を当てているが、相互依存タスクの自律的な獲得を研究するのはごくわずかである。 特に,タスク間の関係に関する情報をアーキテクチャのより高レベルなレベルで組み込むことの重要性を示す。 そして、自律的に取得したシーケンスを格納する新しい学習層を追加することで、前者を拡張する新しいシステムであるH-GRAILを紹介する。
  論文  参考訳（メタデータ） (2022-05-16T10:43:01Z)
• An Introduction to Multi-Agent Reinforcement Learning and Review of its Application to Autonomous Mobility [1.496194593196997]
  マルチエージェント強化学習(MARL、Multi-Agent Reinforcement Learning)は、複数のエージェントが相互に相互作用する最適な解を見つけることを目的とした研究分野である。 この研究は、自律移動の研究者にこの分野の概要を提供することを目的としている。
  論文  参考訳（メタデータ） (2022-03-15T06:40:28Z)
• Self-Regulated Learning for Egocentric Video Activity Anticipation [147.9783215348252]
  自己制御学習(SRL)は、中間表現を連続的に制御し、現在のタイムスタンプのフレームにおける新しい情報を強調する表現を作り出すことを目的としている。 SRLは2つのエゴセントリックなビデオデータセットと2つの第三者のビデオデータセットにおいて、既存の最先端技術よりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-11-23T03:29:18Z)
• A Survey on Contrastive Self-supervised Learning [0.0]
  自己教師付き学習は、大規模なデータセットのアノテートコストを回避する能力によって人気を集めている。 コントラスト学習は近年,コンピュータビジョン,自然言語処理(NLP)などの分野において,自己指導型学習手法の主流となっている。 本稿では, コントラスト的アプローチに従う自己教師型手法について, 広範囲にわたるレビューを行う。
  論文  参考訳（メタデータ） (2020-10-31T21:05:04Z)
• Deep Reinforcement Learning with Stacked Hierarchical Attention for Text-based Games [64.11746320061965]
  自然言語の文脈におけるインタラクティブなシミュレーションであるテキストベースゲームの強化学習について検討する。 エージェントの動作が解釈可能な推論手順によって生成され、支援されるように、意思決定のための知識グラフを用いた明示的な推論を行うことを目指している。 提案手法を多数の人為的ベンチマークゲームで広範囲に評価し,本手法が既存のテキストベースエージェントよりも優れていることを示す実験結果を得た。
  論文  参考訳（メタデータ） (2020-10-22T12:40:22Z)
• Self-supervised Learning from a Multi-view Perspective [121.63655399591681]
  自己教師型表現はタスク関連情報を抽出し,タスク関連情報を破棄することができることを示す。 我々の理論的枠組みは、自己教師型学習目標設計のより広い空間への道を開くものである。
  論文  参考訳（メタデータ） (2020-06-10T00:21:35Z)
• A Comparison of Self-Play Algorithms Under a Generalized Framework [4.339542790745868]
  マルチエージェント強化学習(英語版)でしばしば言及されるセルフプレイの概念は、形式的なモデルでは基礎付けられていない。 我々は,自己表現の意味をカプセル化した,明確に定義された仮定を持つ形式化された枠組みを提案する。 得られた自己再生手法のサブセットが、有名なPPOアルゴリズムと組み合わせることで、この解をいかにうまく近似するかを測定する。
  論文  参考訳（メタデータ） (2020-06-08T11:02:37Z)
• Modeling Document Interactions for Learning to Rank with Regularized Self-Attention [22.140197412459393]
  自己注意に基づくニューラルネットワークと相互作用する文書のモデリングについて検討する。 文書間の相互作用をモデル化するために設計された,単純かつ効果的な正規化用語を提案する。 提案した正規化項による自己注意ネットワークのトレーニングは,既存の学習方法よりも格付けに優れることを示す。
  論文  参考訳（メタデータ） (2020-05-08T09:53:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。