論文の概要: Coopshift: Post-Training Amplifies The Memory Curse In LLM Cooperation

• arxiv url: http://arxiv.org/abs/2610.24086v1
• Date: Fri, 16 Oct 2026 18:11:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-26 11:13:05.180076
• Title: Coopshift: Post-Training Amplifies The Memory Curse In LLM Cooperation
• Title（参考訳）: Coopshift:LLMの協力により、トレーニング後のメモリ曲線が増幅される
• Abstract要約: 7つの社会的ジレンマにまたがって、事前訓練、教師付き微調整、その後の選好、報酬最適化のチェックポイントを比較した。 6つのバイナリアクションゲームで平均される可視履歴の拡大は、SFTとAlignedチェックポイント毎に協調を減少させる。 長い歴史の中で、両方のポストトレーニングされたステージは、各バイナリアクションゲームにおける平均的なベースよりも協力的でない。
• 参考スコア（独自算出の注目度）: 28.88694585343688
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How does post-training change cooperation during repeated interaction? Within each of seven released model lineages, we compare pretrained (Base), supervised fine-tuned (SFT), and subsequent preference- or reward-optimized (Aligned) checkpoints across seven social dilemmas. Copies of each checkpoint play one another for 200 rounds, with visible history limited to the last two or forty rounds. The memory curse refers to lower cooperation when agents can see more past rounds. Our central finding is that post-training amplifies this decline. Averaged across the six binary-action games, expanding visible history reduces cooperation at every SFT and Aligned checkpoint. At each post-trained stage, these declines exceed Base's in six of seven lineages. Most of this average amplification is already present at SFT. With long history, both post-trained stages also cooperate less than Base on average in each binary-action game. In the symmetric binary games, their fitted cooperation rates fall more steeply on average than Base's as per-round cooperation costs rise, benefits fall, or noncooperation becomes more rewarding. The difference in cooperation rates between Aligned and SFT also changes from one-shot decisions to repeated play. When given the same past records, their choices depend on whether the instructions describe a final round or possible future interaction. Post-training evaluation should therefore go beyond isolated choices to assess whether cooperation is sustained in repeated interaction and how it depends on payoffs and visible history.
• Abstract（参考訳）: 反復的相互作用における学習後変化の協調性について 7つのモデル系統のそれぞれにおいて、事前訓練された(Base)、教師付き微調整された(SFT)、その後の7つの社会的ジレンマにまたがる選好最適化された(アライメントされた)チェックポイントを比較した。 各チェックポイントのコピーは200ラウンドで互いにプレーし、目に見える歴史は最後の2ラウンドまたは40ラウンドに限られる。 記憶の呪いは、エージェントがもっと過去のラウンドを見ることができるときの協力度が低いことを指す。 私たちの中心的な発見は、ポストトレーニングがこの減少を増幅していることです。 6つのバイナリアクションゲームで平均される可視履歴の拡大は、SFTとAlignedチェックポイント毎に協調を減少させる。 訓練後の各段階において、これらの減少は7系統のうち6系統のベースよりも多い。 この平均増幅のほとんどは既にSFTに存在している。 長い歴史の中で、両方のポストトレーニングされたステージは、各バイナリアクションゲームにおける平均的なベースよりも協力的でない。 対称二部作ゲームでは、各ラウンドの協力コストが上昇し、利益が低下し、非協力が報われるにつれて、彼らの適合する協力率がベースよりも平均的に急激に低下する。 AlignedとSFTの協力率の差も、ワンショット決定から繰り返しプレイに変化している。 同じ過去の記録が与えられた場合、それらの選択は最終ラウンドを記述しているか、将来的な相互作用の可能性に依存する。 したがって、トレーニング後の評価は、反復的なインタラクションにおいて協調が持続されているかどうか、そしてそれがペイオフと可視的履歴に依存するかを評価するために、孤立した選択を越えて行うべきである。

関連論文リスト

• The Conflict Between Logic and Memory: Training Conditions for Optimizer-Dependent Rule Acquisition [11.323131201168572]
  単層ReLUネットワークにおける差分を規定する訓練条件について検討する。 ニュアンス・コネクテッド・トレーナビリティは、共有障害と相対的優位性の両方に反する。
  論文  参考訳（メタデータ） (2026-09-30T13:08:59Z)
• CollabFlow: Recursive Self-Improvement of Agent Collaboration [19.566835759299508]
  再帰的自己改善(RSI)は、システムが自身の成果から改善することを可能にする。 既存のマルチエージェントコラボレーションは、このループを開いている。 学習エージェント協調システムであるCollabFlowを提案する。
  論文  参考訳（メタデータ） (2026-09-29T23:39:03Z)
• Reach or Solve? Attributing Agentic RL Gains with Checkpoint Handoffs [4.563659781189804]
  強化学習は、現在、言語モデルエージェントを訓練している。 SFTチェックポイントとRLチェックポイントは、同じタスクでも異なる状態からスコアされる。 ハンドオフは、あるチェックポイントの履歴を別のチェックポイントで再生できることだけを要求するので、長い水平評価はエンドポイントの成功の横で到着と完了を報告できる。
  論文  参考訳（メタデータ） (2026-09-17T03:27:53Z)
• What if LLMs Ate Their Words: Causal History Effects in Multi-Turn Interaction [21.294220918464525]
  モデル、タスク、ターン、およびモデル内における効果がどのように現れるかは、まだ不明である。 ターン手術は、一度に1つのアシスタントターンでさらに介入する。 全体として、アシスタント生成履歴は、多ターン性能にアクティブだが選択的に影響を及ぼす。
  論文  参考訳（メタデータ） (2026-09-05T05:06:01Z)
• Leading the Pack: N-player Opponent Shaping [52.682734939786464]
  我々は、複数のコプレーヤと複数のシェーピングエージェントを含む環境に、対向型シェーピング(OS)メソッドを拡張します。 多数のコプレーヤでプレイすると,OSメソッドの相対的な性能が低下し,OSメソッドが動作しない可能性が示唆された。
  論文  参考訳（メタデータ） (2023-12-19T20:01:42Z)
• Fictitious Cross-Play: Learning Global Nash Equilibrium in Mixed Cooperative-Competitive Games [14.979239870856535]
  セルフプレイ(SP)は、競争ゲームを解くための一般的な強化学習フレームワークである。 本研究では,両フレームワークの利点を継承する新しいアルゴリズムであるFctitious Cross-Play (FXP) を開発する。
  論文  参考訳（メタデータ） (2023-10-05T07:19:33Z)
• Provably Efficient Fictitious Play Policy Optimization for Zero-Sum Markov Games with Structured Transitions [145.54544979467872]
  本研究では,ゼロサムマルコフゲームに対して,構造的だが未知の遷移を伴う架空のプレイポリシー最適化アルゴリズムを提案し,解析する。 我々は、2年制の競争ゲームシナリオで、$K$のエピソードに続き、$widetildemathcalO(sqrtK)$ regret boundsを証明した。 提案アルゴリズムは,アッパー信頼境界(UCB)型最適化と,同時政策最適化の範囲内での架空のプレイの組み合わせを特徴とする。
  論文  参考訳（メタデータ） (2022-07-25T18:29:16Z)
• Improve Agents without Retraining: Parallel Tree Search with Off-Policy Correction [63.595545216327245]
  木探索(TS)における2つの大きな課題に取り組む。 我々はまず、TSと事前学習された値関数による行動選択が、元の事前学習されたエージェントと比較して性能を低下させるという、反直感的な現象を発見し、分析する。 Batch-BFS(Batch-BFS)は,木の各深さのすべてのノードを同時に前進させるGPUワイドファースト検索である。
  論文  参考訳（メタデータ） (2021-07-04T19:32:24Z)
• Multi-Agent Collaboration via Reward Attribution Decomposition [75.36911959491228]
  本稿では,StarCraftのマルチエージェントチャレンジにおいて,最先端のパフォーマンスを実現するコラボレーション型Q-ラーニング(CollaQ)を提案する。 CollaQは様々なStarCraft属性マップで評価され、既存の最先端技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-16T17:42:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。