論文の概要: Playpen: An Environment for Exploring Learning Through Conversational Interaction

• arxiv url: http://arxiv.org/abs/2504.08590v2
• Date: Fri, 23 May 2025 15:39:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 15:51:02.934221
• Title: Playpen: An Environment for Exploring Learning Through Conversational Interaction
• Title（参考訳）: Playpen:会話による学習を探求する環境
• Authors: Nicola Horst, Davide Mazzaccara, Antonia Schmidt, Michael Sullivan, Filippo Momentè, Luca Franceschetti, Philipp Sadler, Sherzod Hakimov, Alberto Testoni, Raffaella Bernardi, Raquel Fernández, Alexander Koller, Oliver Lemon, David Schlangen, Mario Giulianelli, Alessandro Suglia,
• Abstract要約: 本研究は,対話ゲームが学習のフィードバック信号の源として機能するかどうかを考察する。 本稿では,対話ゲームによるオフラインおよびオンライン学習環境であるPlaypenを紹介する。 SFTによる模倣学習は、目に見えないインスタンスのパフォーマンスを向上させるが、他のスキルに悪影響を及ぼす。
• 参考スコア（独自算出の注目度）: 81.67330926729015
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Interaction between learner and feedback-giver has come into focus recently for post-training of Large Language Models (LLMs), through the use of reward models that judge the appropriateness of a model's response. In this paper, we investigate whether Dialogue Games -- goal-directed and rule-governed activities driven predominantly by verbal actions -- can also serve as a source of feedback signals for learning. We introduce Playpen, an environment for off- and online learning through Dialogue Game self-play, and investigate a representative set of post-training methods: supervised fine-tuning; direct alignment (DPO); and reinforcement learning with GRPO. We experiment with post-training a small LLM (Llama-3.1-8B-Instruct), evaluating performance on unseen instances of training games as well as unseen games, and on standard benchmarks. We find that imitation learning through SFT improves performance on unseen instances, but negatively impacts other skills, while interactive learning with GRPO shows balanced improvements without loss of skills. We release the framework and the baseline training setups to foster research in the promising new direction of learning in (synthetic) interaction.
• Abstract（参考訳）: 近年,Large Language Models (LLMs) のポストトレーニングにおいて,モデルの有効性を判断する報酬モデルを用いることによって,学習者とフィードバック-ギバー間のインタラクションが注目されている。 本稿では,対話ゲーム(目標指向型,ルール支配型)が学習のフィードバック信号の源泉として機能するかどうかを考察する。 本稿では,対話ゲームによるオフ・オンライン学習環境であるPlaypenを紹介し,教師付き微調整,ダイレクトアライメント(DPO),GRPOによる強化学習など,ポストトレーニング手法の代表的セットについて検討する。 LLM(Llama-3.1-8B-Instruct)のポストトレーニング、未確認ゲームや標準ベンチマークの未確認インスタンスの性能評価実験を行った。 SFTによる模倣学習は、未確認のインスタンスのパフォーマンスを改善するが、他のスキルに悪影響を及ぼすのに対し、GRPOとの対話学習はスキルを失うことなく改善のバランスがとれたことを示す。 我々は、(合成)相互作用における将来性のある新しい学習方向の研究を促進するために、フレームワークとベースライントレーニングのセットアップをリリースする。

関連論文リスト

• Learning Manipulation by Predicting Interaction [85.57297574510507]
  本稿では,インタラクションを予測して操作を学習する一般的な事前学習パイプラインを提案する。 実験の結果,MPIは従来のロボットプラットフォームと比較して10%から64%向上していることがわかった。
  論文  参考訳（メタデータ） (2024-06-01T13:28:31Z)
• clembench-2024: A Challenging, Dynamic, Complementary, Multilingual Benchmark and Underlying Flexible Framework for LLMs as Multi-Action Agents [19.989503513817095]
  大きな言語モデルは、特定の能力を探索する会話ゲームに"セルフプレイ"するよう促すことができる。 本稿では,このようなゲームプレイ環境を構築するためのフレームワークの1つを取り上げ,その有効性を評価機器として検証する。
  論文  参考訳（メタデータ） (2024-05-31T14:43:31Z)
• Yes, this Way! Learning to Ground Referring Expressions into Actions with Intra-episodic Feedback from Supportive Teachers [15.211628096103475]
  本研究は,協調的な環境下でのエポゾディック内フィードバックを評価するための最初の研究である。 以上の結果から,エポゾディック内フィードバックにより,参加者はシーンの複雑さの側面を一般化できることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T10:01:15Z)
• RLIP: Relational Language-Image Pre-training for Human-Object Interaction Detection [32.20132357830726]
  言語画像事前学習(Language- Image Pre-Training、LIPR)は、エンティティと関係記述の両方を活用するコントラスト事前学習の戦略である。 RLIP-ParSeと呼ばれるこれらのコントリビューションの利点は、ゼロショット、少数ショット、微調整のHOI検出の改善、およびノイズアノテーションからの堅牢性の向上である。
  論文  参考訳（メタデータ） (2022-09-05T07:50:54Z)
• End-to-End Active Speaker Detection [58.7097258722291]
  本稿では,特徴学習と文脈予測を共同で学習するエンド・ツー・エンドのトレーニングネットワークを提案する。 また、時間間グラフニューラルネットワーク(iGNN)ブロックを導入し、ASD問題における主要なコンテキストのソースに応じてメッセージパッシングを分割する。 実験により、iGNNブロックからの集約された特徴はASDにより適しており、その結果、最先端のアートパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2022-03-27T08:55:28Z)
• PsiPhi-Learning: Reinforcement Learning with Demonstrations using Successor Features and Inverse Temporal Difference Learning [102.36450942613091]
  時間差学習(ITD)と呼ばれる逆強化学習アルゴリズムを提案する。 Psi Phi$-learningと呼ばれるデモで強化学習のための新しいアルゴリズムに到達し、オンライン環境の相互作用から学習とITDをシームレスに統合する方法を示します。
  論文  参考訳（メタデータ） (2021-02-24T21:12:09Z)
• A Graph-based Interactive Reasoning for Human-Object Interaction Detection [71.50535113279551]
  本稿では,HOIを推論するインタラクティブグラフ(Interactive Graph, in-Graph)という,グラフに基づくインタラクティブ推論モデルを提案する。 In-GraphNet と呼ばれる HOI を検出するための新しいフレームワークを構築した。 私たちのフレームワークはエンドツーエンドのトレーニングが可能で、人間のポーズのような高価なアノテーションはありません。
  論文  参考訳（メタデータ） (2020-07-14T09:29:03Z)
• On the interaction between supervision and self-play in emergent communication [82.290338507106]
  本研究は,2つのカテゴリの学習信号と,サンプル効率の向上を目標とする学習信号の関係について検討する。 人間のデータに基づく教師付き学習による初等訓練エージェントが,自己演奏が会話に優れていることが判明した。
  論文  参考訳（メタデータ） (2020-02-04T02:35:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。