論文の概要: Playpen: An Environment for Exploring Learning Through Conversational Interaction

• arxiv url: http://arxiv.org/abs/2504.08590v1
• Date: Fri, 11 Apr 2025 14:49:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-21 17:00:19.522796
• Title: Playpen: An Environment for Exploring Learning Through Conversational Interaction
• Title（参考訳）: Playpen:会話による学習を探求する環境
• Abstract要約: ダイアログゲーム(Dialogue Games)と呼ばれる、人工的なインタラクションが、学習シグナルを提供することができるかを考察する。 このデータに対する教師付き微調整の効果について検討する。 我々は、この有望な新しい方向性の研究を促進することを期待して、フレームワークとベースライントレーニングのセットアップをリリースします。
• 参考スコア（独自算出の注目度）: 81.67330926729015
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Are we running out of learning signal? Predicting the next word in an existing text has turned out to be a powerful signal, at least at scale. But there are signs that we are running out of this resource. In recent months, interaction between learner and feedback-giver has come into focus, both for "alignment" (with a reward model judging the quality of instruction following attempts) and for improving "reasoning" (process- and outcome-based verifiers judging reasoning steps). In this paper, we explore to what extent synthetic interaction in what we call Dialogue Games -- goal-directed and rule-governed activities driven predominantly by verbal actions -- can provide a learning signal, and how this signal can be used. We introduce an environment for producing such interaction data (with the help of a Large Language Model as counterpart to the learner model), both offline and online. We investigate the effects of supervised fine-tuning on this data, as well as reinforcement learning setups such as DPO, and GRPO; showing that all of these approaches achieve some improvements in in-domain games, but only GRPO demonstrates the ability to generalise to out-of-domain games as well as retain competitive performance in reference-based tasks. We release the framework and the baseline training setups in the hope that this can foster research in this promising new direction.
• Abstract（参考訳）: 学習信号が切れていますか? 既存のテキストで次の単語を予測することは、少なくとも規模では、強力な信号であることが判明した。 しかし、このリソースを使い果たしている兆候があります。 近年,学習者とフィードバックギバーの相互作用が注目され,「調整」と「推論」と「推論」の改善(推論ステップを判断するプロセスと結果に基づく検証)の両方が注目されている。 本稿では,ダイアログゲーム (目標指向とルール支配のアクティビティ) が,主に言語行動によって駆動される) において,どの程度の合成相互作用が学習信号を提供するのか,また,どのようにしてこの信号を使用することができるのかを考察する。 我々は,このようなインタラクションデータを生成する環境(学習者モデルに対抗して,大規模言語モデルの助けを借りて)をオフラインとオンラインの両方で導入する。 DPO や GRPO などの強化学習機構と同様に,教師付き微調整がデータに与える影響について検討し,これらの手法がドメイン内ゲームにおいていくつかの改善を達成していることを示すが,参照ベースタスクにおける競争性能を維持しつつ,ドメイン外ゲームに一般化できる能力を示したのはGRPO のみである。 この将来有望な新しい方向性の研究を促進することを願って、フレームワークとベースライントレーニングのセットアップをリリースします。

関連論文リスト

• Training Language Agents to Learn from Experience [25.31745060337765]
  In-context Training taskは、言語エージェントにおけるクロスタスク自己改善を評価するためのフレームワークである。 次に、経験から直接、そのような反射を学習するためのRLベースのトレーニングパイプラインを提案する。 ALFWorldとMiniHack全体で、トレーニングされたリフレクタは、ほとんどの保留タスクファミリでトレーニングされていないベースラインを上回ります。
  論文  参考訳（メタデータ） (2026-05-19T20:41:12Z)
• Scaling In-Context Online Learning Capability of LLMs via Cross-Episode Meta-RL [28.82521610729606]
  大規模言語モデル(LLM)は、すべてのタスク関連情報が事前に利用できる場合、高いパフォーマンスを達成する。 ORBITはマルチタスク・マルチタスク・メタ強化学習フレームワークで,文脈におけるインタラクションから学習するためにLDMを訓練する。 メタトレーニングの後、比較的小さなオープンソースモデル(Qwen3-14B)は、完全に見えない環境でコンテキスト内オンライン学習を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2026-02-03T23:53:05Z)
• GameTalk: Training LLMs for Strategic Conversation [51.29670609281524]
  マルチターンインタラクションによる戦略的意思決定のために,LLMをトレーニングするフレームワークであるtextbfGameTalkを紹介した。 シングルターンの目的や静的アクション予測に焦点を当てた以前の作業とは異なり、私たちはLLMをトレーニングして、全会話にわたってグローバルな目的を最適化します。 本手法は, 推論, コーディネート, 対戦型モデリングの異なる側面を強調するために設計された, ますます複雑なゲーム群に対して評価する。
  論文  参考訳（メタデータ） (2026-01-22T19:18:39Z)
• Dynamic Scoring with Enhanced Semantics for Training-Free Human-Object Interaction Detection [51.52749744031413]
  人間オブジェクトインタラクション(HOI)検出は、画像内の人間と物体を識別し、その相互作用を解釈することを目的としている。 既存のHOIメソッドは、視覚的手がかりからインタラクションを学ぶために手動アノテーションを備えた大規模なデータセットに大きく依存している。 本稿では,強化意味論を用いた動的スコーリングのための新しいトレーニング不要なHOI検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-07-23T12:30:19Z)
• KORGym: A Dynamic Game Platform for LLM Reasoning Evaluation [78.96590724864606]
  我々はKOR-BenchとGymnasiumに触発された動的評価プラットフォームであるKORGym(Knowledge Orthogonal Reasoning Gymnasium)を紹介する。 KORGymはテキストまたはビジュアル形式で50以上のゲームを提供し、強化学習シナリオによるインタラクティブでマルチターンアセスメントをサポートする。
  論文  参考訳（メタデータ） (2025-05-20T16:06:32Z)
• Towards Developmentally Plausible Rewards: Communicative Success as a Learning Signal for Interactive Language Models [49.22720751953838]
  本研究では,子どもの言語習得に触発された対話型環境で言語モデルを訓練する手法を提案する。 この設定では、話者は1ターンの対話でリスナーに何らかの情報を伝達しようと試み、コミュニケーションの成功が達成されれば報酬を受け取る。
  論文  参考訳（メタデータ） (2025-05-09T11:48:36Z)
• Learning Manipulation by Predicting Interaction [85.57297574510507]
  本稿では,インタラクションを予測して操作を学習する一般的な事前学習パイプラインを提案する。 実験の結果,MPIは従来のロボットプラットフォームと比較して10%から64%向上していることがわかった。
  論文  参考訳（メタデータ） (2024-06-01T13:28:31Z)
• clembench-2024: A Challenging, Dynamic, Complementary, Multilingual Benchmark and Underlying Flexible Framework for LLMs as Multi-Action Agents [19.989503513817095]
  大きな言語モデルは、特定の能力を探索する会話ゲームに"セルフプレイ"するよう促すことができる。 本稿では,このようなゲームプレイ環境を構築するためのフレームワークの1つを取り上げ,その有効性を評価機器として検証する。
  論文  参考訳（メタデータ） (2024-05-31T14:43:31Z)
• SAIE Framework: Support Alone Isn't Enough -- Advancing LLM Training with Adversarial Remarks [47.609417223514605]
  この研究は、学習者とパートナーモデルの間の支援的および敵対的な議論を促進するSAIEフレームワークを紹介している。 実験により,SAIEフレームワークで微調整したモデルでは,従来の微調整手法で訓練したモデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2023-11-14T12:12:25Z)
• Yes, this Way! Learning to Ground Referring Expressions into Actions with Intra-episodic Feedback from Supportive Teachers [15.211628096103475]
  本研究は,協調的な環境下でのエポゾディック内フィードバックを評価するための最初の研究である。 以上の結果から,エポゾディック内フィードバックにより,参加者はシーンの複雑さの側面を一般化できることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T10:01:15Z)
• Semantic Interactive Learning for Text Classification: A Constructive Approach for Contextual Interactions [0.0]
  本稿では,テキスト領域に対するセマンティック対話学習という新しいインタラクションフレームワークを提案する。 構築的および文脈的フィードバックを学習者に取り入れることで、人間と機械間のよりセマンティックなアライメントを実現するアーキテクチャを見つけることができる。 本研究では,人間の概念的修正を非外挿訓練例に翻訳するのに有効なSemanticPushという手法を提案する。
  論文  参考訳（メタデータ） (2022-09-07T08:13:45Z)
• RLIP: Relational Language-Image Pre-training for Human-Object Interaction Detection [32.20132357830726]
  言語画像事前学習(Language- Image Pre-Training、LIPR)は、エンティティと関係記述の両方を活用するコントラスト事前学習の戦略である。 RLIP-ParSeと呼ばれるこれらのコントリビューションの利点は、ゼロショット、少数ショット、微調整のHOI検出の改善、およびノイズアノテーションからの堅牢性の向上である。
  論文  参考訳（メタデータ） (2022-09-05T07:50:54Z)
• End-to-End Active Speaker Detection [58.7097258722291]
  本稿では,特徴学習と文脈予測を共同で学習するエンド・ツー・エンドのトレーニングネットワークを提案する。 また、時間間グラフニューラルネットワーク(iGNN)ブロックを導入し、ASD問題における主要なコンテキストのソースに応じてメッセージパッシングを分割する。 実験により、iGNNブロックからの集約された特徴はASDにより適しており、その結果、最先端のアートパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2022-03-27T08:55:28Z)
• PsiPhi-Learning: Reinforcement Learning with Demonstrations using Successor Features and Inverse Temporal Difference Learning [102.36450942613091]
  時間差学習(ITD)と呼ばれる逆強化学習アルゴリズムを提案する。 Psi Phi$-learningと呼ばれるデモで強化学習のための新しいアルゴリズムに到達し、オンライン環境の相互作用から学習とITDをシームレスに統合する方法を示します。
  論文  参考訳（メタデータ） (2021-02-24T21:12:09Z)
• Rethinking Supervised Learning and Reinforcement Learning in Task-Oriented Dialogue Systems [58.724629408229205]
  本稿では、従来の教師あり学習とシミュレータなしの逆学習法を用いて、最先端のRL法に匹敵する性能を実現する方法を示す。 我々の主な目的は、教師あり学習で強化学習に勝ることではなく、タスク指向対話システムの最適化における強化学習と教師あり学習の役割を再考する価値を示すことである。
  論文  参考訳（メタデータ） (2020-09-21T12:04:18Z)
• A Graph-based Interactive Reasoning for Human-Object Interaction Detection [71.50535113279551]
  本稿では,HOIを推論するインタラクティブグラフ(Interactive Graph, in-Graph)という,グラフに基づくインタラクティブ推論モデルを提案する。 In-GraphNet と呼ばれる HOI を検出するための新しいフレームワークを構築した。 私たちのフレームワークはエンドツーエンドのトレーニングが可能で、人間のポーズのような高価なアノテーションはありません。
  論文  参考訳（メタデータ） (2020-07-14T09:29:03Z)
• On the interaction between supervision and self-play in emergent communication [82.290338507106]
  本研究は,2つのカテゴリの学習信号と,サンプル効率の向上を目標とする学習信号の関係について検討する。 人間のデータに基づく教師付き学習による初等訓練エージェントが,自己演奏が会話に優れていることが判明した。
  論文  参考訳（メタデータ） (2020-02-04T02:35:19Z)
• Facial Feedback for Reinforcement Learning: A Case Study and Offline Analysis Using the TAMER Framework [51.237191651923666]
  訓練者の表情からエージェント学習の可能性について,評価フィードバックとして解釈することで検討した。 設計したCNN-RNNモデルを用いて,学習者に対して表情とコンペティションの使用を指示することで,肯定的および否定的なフィードバックを推定する精度を向上させることができることを示す。 シミュレーション実験の結果,表情に基づく予測フィードバックのみから学習できることが示唆された。
  論文  参考訳（メタデータ） (2020-01-23T17:50:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。