論文の概要: Feedback That Backfires in Games: Do LLM Players Repeat the Move They Just Watched Fail?

• arxiv url: http://arxiv.org/abs/2610.30205v1
• Date: Wed, 21 Oct 2026 12:29:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.083357
• Title: Feedback That Backfires in Games: Do LLM Players Repeat the Move They Just Watched Fail?
• Title（参考訳）: ゲームでバックファイアするフィードバック: LLMプレーヤーは失敗を見た瞬間の移動を繰り返すのか?
• Abstract要約: ツール呼び出しでは、このレコードは小さなモデルで失敗したアクションを繰り返す可能性が高くなる。 動きが違法になるゲームや、合法的だが負けるゲームでも同じことが成り立つかどうかを正確に検証する。 探索的な分析は、何を示すかを示している: 記録の後、失敗した動きのログ確率は、それが以前に発生した可能性にほとんど依存しない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When an LLM agent's move fails, the harness writes the move and the failure message into the transcript and asks again. In tool calling, this record makes small models more likely to repeat the failed action. We test whether the same holds in games (Sokoban, Connect Four, Othello), where a move can fail by being illegal or by being legal but losing, both verified exactly. On fixed probe items built by perturbing a correct move, the record backfires: pooled over 8 instruction-tuned models (135M-1.7B) it makes the failed move more likely (corrective gain G = -1.38 nats per token), through the move's surface form, for illegal moves but not for losing ones, and not for every model. An exploratory analysis shows what sets the sign: after the record, the failed move's log-probability barely depends on how likely it was before (slope 0.18). Moves the model would not have played become more likely, and greedy decoding starts to produce them; moves it was about to play become less likely, but greedy decoding still repeats 38% of them. A description of the failure that omits the move string keeps the model's preference instead. Along the OLMo 2 1B post-training ladder the inversion is present in the base model and largely removed at the DPO stage. RAGEN's default models invert in RAGEN's own Sokoban format before any RL. A "do not repeat" instruction does nothing, a clean retry is the worst harness, and a decoder ban stops exact repeats but not illegal play. All measurements ran in float32 on a free Colab GPU, which first reproduced the original paper's number.
• Abstract（参考訳）: LLMエージェントの動作が失敗すると、ハーネスが移動と失敗メッセージを書き起こし、再度要求する。 ツール呼び出しでは、このレコードは小さなモデルで失敗したアクションを繰り返す可能性が高くなる。 ゲーム(ソコバン、コネクテッド・フォー、オセロ)でも同じことが成り立つかどうかをテストする。 8つの命令で調整されたモデル (135M-1.7B) がプールされたことにより、故障した動きはより可能性が高くなり(補正利得G = -1.38ナット/トークン)、移動の表面の形状は違法な動きのためではなく、すべてのモデルに対してである。 探索的な分析は、何を示すかを示している: 記録の後、失敗した動きのログ確率は、それがどれだけの確率であったかにほとんど依存しない(斜面0.18)。 モデルの動きはより可能性が高くなり、グリーディの復号化が始まり、動きが遅くなるが、グリーディの復号化は38%を繰り返す。 移動文字列を省略する失敗の説明は、代わりにモデルの好みを保持する。 OLMo 2 1Bの後のラグに沿って、逆転はベースモデルに存在し、DPOステージでは大幅に除去された。 RAGEN のデフォルトモデルは、RAGEN 独自の Sokoban フォーマットを RL の前に反転させる。 繰り返すな」命令は何もせず、クリーンリトライは最悪のハーネスであり、デコーダは正確なリピートを止めるが違法なプレーではない。 すべての測定はフリーのColab GPU上でfloat32で実行され、最初の論文の数値を再現した。

関連論文リスト

• When the harness decides success: state that cannot be re-observed [0.0]
  コンテキストウィンドウの切り換えには、必要な事実を再度見直すことができれば、低コストの推論モデルが成功しないということが示される。 また,標準ハーネスのノートを取る招待状を維持しながら,古い曲がり角を落とさずに要約し,63点差の86%を復元し,モデルの推論を再現することを示した。
  論文  参考訳（メタデータ） (2026-10-19T15:59:13Z)
• Failure Is the Mother of Success: Recovering Supervision with Grounding Hindsight [51.276336727283]
  Replay-Selected Hindsight Distillation (RSHD)について述べる。 ポリシーは、参照された回答やソリューションを見ることなく、失敗した各試みについて修正ノートを書き、その後、そのノートで問題をコンテキストで再解決する。 ポリシーのみをトレーニングし、唯一の判断は結果検証であり、デプロイメントはノートや追加の推論を必要としない。
  論文  参考訳（メタデータ） (2026-10-14T23:33:22Z)
• Composition, Not Conversation: VLMs Lose the Scene, Not the Thread [52.53349894973919]
  視覚言語モデル(VLM)は、収穫、分割、回収、あるいは時間とともに明らかにされる視覚的証拠に対して、ますます理にかなっている。 93のシーンと300の質問があるLayered-VQAを紹介します。 各画像は順序付けされたRGBA層に分解され、元のシーンを正確に再構成する。
  論文  参考訳（メタデータ） (2026-09-29T18:29:43Z)
• Spotter: Let the Embodied Model Lead, and the VLM Reflect for It [90.10618759230066]
  現行の具体化モデルは、失敗に反応しないが、失敗に終わったことは、次の試みの微調整を知らせる可能性がある。 本稿では,その役割を逆転するSputterを提案する。 GPTにより、Sputterはコスモス政策を5.6ドル、RoboCasaの7.5ポイント改善し、47.2%から57.0%に$_0.5ドルを引き上げている。 VLMはエラーが確認された場合にのみステップするので、Qwenで成功したエピソードは13から13にしかならない。
  論文  参考訳（メタデータ） (2026-09-29T06:21:50Z)
• Shockingly Simple Self-retrospection Improves Agentic Models Without RL [56.88703385147974]
  本研究は,説明のみの訓練がその後の行動に与える影響を分離するために,レトロスペクティブ・オンリー・ファインチューニングについて検討する。 Qwen3.5-4B を用いたソフトウェア工学実験では、ROFT は成功と失敗の混合したベースモデルの試行に関する問題で訓練されている。 また、64のサンプルベースモデル試みが失敗する個々のタスクの解決も学べる。
  論文  参考訳（メタデータ） (2026-09-28T17:54:24Z)
• A Chosen Future Can Still Be Rewritten: Causal Writability in Video Models [18.044091031717993]
  モデル内には正しい動きが残っており、生成した映像を制御できる。 私たちは、赤い質量がゆっくりと振動し、青い質量が素早く振動するビデオをトレーニングします。 この矛盾するケースでモデルがスローモーションを生成しても、単純な物理変数から予測される低次元の編集は正しい高速モーションを復元する。
  論文  参考訳（メタデータ） (2026-09-14T17:58:11Z)
• First Make It Playable, Then Make It Good: Staged Interaction Learning for Small Dialogue-Game Agents [5.066450251002448]
  対話ゲームインタラクションのための言語モデルQwen-GuidePlay-2Bを提案する。 我々は, A) Playpenのゲームトラジェクトリのみで成功したSFT, b) ターンレベルSFT, c) 教師誘導SFTの3ステップを用いてQwen3.5-2Bを微調整する。 その結果,全軌道の模倣は遊びやすさに寄与し,ターンレベルおよび教師指導の訓練は意思決定を改善し,総合的な得点を高めることが示唆された。
  論文  参考訳（メタデータ） (2026-08-27T19:58:06Z)
• Feedback That Backfires: Why Small Language Model Agents Repeat the Call They Just Watched Fail [0.0]
  障害レコードの修正的なゲインを、失敗するアクションを再発光するログ確率の変化として定義すると、そのゲインは、命令チューニングされたモデル毎に負であることが分かります。 問題は、モデルのエラーメッセージの把握ではなく、ハーネスにある。
  論文  参考訳（メタデータ） (2026-08-24T10:19:17Z)
• Reflective Recovery: A Self-Supervised Method for Reasoning by Learning from Mistakes [70.64622557376505]
  リフレクティブリカバリは、推論中のミスを認識し、修正するようにモデルに教える。 AIME 2025では30.0%から37.5%、Minervaでは37.6%から47.8%に精度が向上している。
  論文  参考訳（メタデータ） (2026-07-24T02:51:42Z)
• Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
  放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。 ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。 3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI) 4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
  論文  参考訳（メタデータ） (2026-07-19T22:27:00Z)
• MafiaScope: Non-Invasive, Time-Resolved Belief Probing for LLM Agents in Social Deduction Games [0.0]
  MafiaScopeはオープンなテストベッドで、ソーシャルゲームMafiaをマシン理論のための測定器に変える。 エージェントがゲームを読み間違えたために負けたのか、あるいは正しいアセスメントに失敗したのかを区別する。 対話型ビジュアライザは、個々のエージェントの信念からのゲーム推論をリプレイし、タイムラインに沿った精度とキャリブレーションを表示する。
  論文  参考訳（メタデータ） (2026-07-12T08:20:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。