論文の概要: First Make It Playable, Then Make It Good: Staged Interaction Learning for Small Dialogue-Game Agents

• arxiv url: http://arxiv.org/abs/2608.27672v1
• Date: Thu, 27 Aug 2026 19:58:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.140006
• Title: First Make It Playable, Then Make It Good: Staged Interaction Learning for Small Dialogue-Game Agents
• Title（参考訳）: 対話型エージェントのための段階的対話学習
• Abstract要約: 対話ゲームインタラクションのための言語モデルQwen-GuidePlay-2Bを提案する。 我々は, A) Playpenのゲームトラジェクトリのみで成功したSFT, b) ターンレベルSFT, c) 教師誘導SFTの3ステップを用いてQwen3.5-2Bを微調整する。 その結果,全軌道の模倣は遊びやすさに寄与し,ターンレベルおよび教師指導の訓練は意思決定を改善し,総合的な得点を高めることが示唆された。
• 参考スコア（独自算出の注目度）: 5.066450251002448
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Qwen-GuidePlay-2B, a 2B-parameter language model for dialogue-game interaction. We fine-tune Qwen3.5-2B using three steps: a) SFT on only successful game trajectories from Playpen, b) weighted turn-level SFT, and c) teacher-guided SFT. The teacher model (which is a larger model) is only used to fix formatting and evaluate examples, but does not create new gold actions. Our final model scores 57.12 clemscore and 42.68 statscore on the public Playpen validation. In the officially released challenge results, our model obtains the second-highest Playpen clemscore delta among submitted systems (which is approximately +36 over its base model). Our findings suggest that imitating full trajectories helps with playability, while turn-level and teacher-guided training usually improve decision-making and increase the overall score. Alternative procedurally heavy approaches like replay-repair and hard-example mining did not help, which suggests that small models are performant simply by using careful curation strategies rather than aggressive changes. We make available both the model and the code for reproducibility.
• Abstract（参考訳）: 対話ゲームインタラクションのための2Bパラメータ言語モデルQwen-GuidePlay-2Bを提案する。 3つのステップを使ってQwen3.5-2Bを微調整します。 a) Playpenからのゲームトラジェクトリのみを成功させるSFT ロ 重み付きターンレベルSFT及び c)教師誘導型SFT。 教師モデル(より大きなモデル)は、フォーマッティングの修正や例の評価にのみ使用されるが、新しい金のアクションは生成しない。 私たちの最終モデルは、パブリックPlaypen検証で57.12クレムスコアと42.68統計スコアを記録します。 公式に発表された課題では,提案したシステムのうち,第2位であるプレイペン・クレムスコア・デルタ(ベースモデルよりも約+36)が得られた。 その結果,全軌道の模倣は遊びやすさに寄与し,ターンレベルおよび教師指導の訓練は意思決定を改善し,総合的な得点を高めることが示唆された。 リプレイ・リペア(replay-repair)やハード・サンプル・マイニング(hard-example mining)のような、手続き的に重いアプローチは役に立たず、小さなモデルは攻撃的な変化ではなく、注意深いキュレーション戦略を使用することによってのみ実行可能であることを示唆している。 再現性のためのモデルとコードの両方を利用可能にしています。

関連論文リスト

• Tycho: Active Abstraction with Programmatic World Models for ARC-AGI-3 [6.41363581085404]
  ARC-AGI-3は抽象化をスキル獲得の対話的な問題に変える。 我々はこれらの環境をパラメータ化レンダリング決定論的ムーアマシンとして定式化する。 我々は,インタラクション中にゲーム固有のモデルを構築し,使用するコーディングエージェントシステムであるTychoを紹介する。
  論文  参考訳（メタデータ） (2026-07-30T14:34:41Z)
• Off-the-Shelf LLMs as Process Scorers: Training-Free Alternative to PRMs for Mathematical Reasoning [51.88950852117154]
  Chunk-Level Guided Generationは、既製の大規模言語モデルをプロセススコアラとして使用する、トレーニング不要の代替手段である。 本研究では,系統的な長さバイアスのため,大モデル確率の可変長推論ステップが信頼できないことを示す。 Chunk-Level Guided Generation は PRM guided search よりもかなり短い推論トレースを生成する。
  論文  参考訳（メタデータ） (2026-06-01T04:43:36Z)
• Scaling Self-Play with Self-Guidance [62.13619253976748]
  Self-Guided Self-Play (SGS)は、Conjecturerをジェネラシーから遠ざけるセルフプレイアルゴリズムである。 SGSは80ラウンド未満のセルフプレイで、最強のベースラインの解決率を上回っています。
  論文  参考訳（メタデータ） (2026-04-22T05:50:23Z)
• MERGETUNE: Continued fine-tuning of vision-language models [77.8627788911249]
  微調整視覚言語モデル(VLM)は、しばしば事前訓練された知識を破滅的に忘れてしまう。 ゼロショットモデルに適応した後に事前学習した知識を回復するための新しいパラダイムである連続微調整(CFT)を導入する。
  論文  参考訳（メタデータ） (2026-01-15T15:15:53Z)
• Scaling Behavior Cloning Improves Causal Reasoning: An Open Model for Real-Time Video Game Playing [2.5663091969883993]
  私たちは、すべてのデータ(高品質な人間のゲームプレイ8300時間以上)、トレーニングと推論コード、オープンライセンス下で事前訓練されたチェックポイントをリリースします。 我々の最良のモデルは、人間のプレイと競合するレベルにおいて、様々な3Dビデオゲームをプレイできることを示します。 まず,ある種の因果推論において,トレーニングデータの量とネットワーク深度の両方を増大させることで,より因果ポリシーを学習できる,単純な玩具問題を示す。
  論文  参考訳（メタデータ） (2026-01-08T04:06:17Z)
• SuperCorrect: Advancing Small LLM Reasoning with Thought Template Distillation and Self-Correction [89.56181323849512]
  SuperCorrectは、大きな教師モデルを使用して、より小さな学生モデルの推論と反映の両方を監督し、修正する新しい2段階のフレームワークである。 第1段階では、教師モデルから階層的な高レベルかつ詳細な思考テンプレートを抽出し、よりきめ細かい推論思考を導き出す学生モデルを指導する。 第2段階では、学生モデルの自己補正能力を高めるために、クロスモデル協調直接選好最適化(DPO)を導入する。
  論文  参考訳（メタデータ） (2024-10-11T17:25:52Z)
• Getting More Juice Out of the SFT Data: Reward Learning from Human Demonstration Improves SFT for LLM Alignment [65.15914284008973]
  我々は、報酬モデルと政策モデルを同時に構築するために、逆強化学習(IRL)技術を活用することを提案する。 提案アルゴリズムはIRL問題の定常解に収束することを示す。 その結果,アライメントプロセス全体を通じて報酬学習を活用することは有益であることが示唆された。
  論文  参考訳（メタデータ） (2024-05-28T07:11:05Z)
• Promptable Game Models: Text-Guided Game Simulation via Masked Diffusion Models [68.85478477006178]
  ニューラルビデオゲームシミュレータのためのPGM(Promptable Game Model)を提案する。 ユーザーは高レベルのアクションシーケンスと低レベルのアクションシーケンスでゲームを実行することができる。 私たちのPGMは、エージェントの目標をプロンプトの形で指定することで、ディレクターのモードをアンロックします。 提案手法は,既存のニューラルビデオゲームシミュレータのレンダリング品質を著しく上回り,現在の最先端の能力を超えたアプリケーションをアンロックする。
  論文  参考訳（メタデータ） (2023-03-23T17:43:17Z)
• A Ranking Game for Imitation Learning [22.028680861819215]
  模倣を、$textitpolicy$と$textitreward$関数の間の2プレイヤーランキングベースのStackelbergゲームとして扱う。 このゲームは、オフラインの好みから学習する逆強化学習(IRL)法と方法の両方の多くのサブセットを含んでいる。 本研究では,均衡条件下での準最適模倣学習を容易にするために,政策性能のランク付けに使用される損失関数の要件を理論的に分析する。
  論文  参考訳（メタデータ） (2022-02-07T19:38:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。