論文の概要: When Reasoning Narrows the Move: Diversity Collapse in LLM Game Play

• arxiv url: http://arxiv.org/abs/2607.19523v1
• Date: Tue, 21 Jul 2026 19:10:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-23 18:51:37.909742
• Title: When Reasoning Narrows the Move: Diversity Collapse in LLM Game Play
• Title（参考訳）: LLMゲームプレイにおける多様性の崩壊
• Abstract要約: Supervised Fine-tuning (SFT) は、大規模な言語モデルを下流のタスクに適応するために広く用いられているが、シーケンシャルな意思決定における行動の多様性に対する影響は未解明のままである。 本稿では, 最適動作が正確に計算可能であり, 多様性を直接測定できる, tic-tac-toe変種に基づく決定論的ボードゲームの制御スイートにおいて, この問題を考察する。 状態レベルの評価,アリーナゲームプレイ,トレーニングトラジェクトリなどを通じて,推論モードの生成は動作精度を均一に向上させることなく,動作の多様性を抑えることが判明した。
• 参考スコア（独自算出の注目度）: 12.415714552949218
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Supervised fine-tuning (SFT) is widely used to adapt large language models to downstream tasks, but its effect on behavioral diversity in sequential decision-making remains under-explored. We study this question in a controlled suite of deterministic board games based on tic-tac-toe variants, where optimal actions are exactly computable and diversity can be measured directly. Across state-level evaluation, arena gameplay, and training trajectories, we find that reasoning-mode generation frequently suppresses action diversity without uniformly improving action accuracy. Furthermore, standard SFT improves accuracy but often induces premature diversity collapse, which exceeds what is minimally required by the accuracy-diversity tradeoff. We then show that action augmentation, which trains on all optimal actions per state rather than a single demonstrated action, would partially mitigates this effect. Our results identify narrow-support imitation as a source of policy collapse in LLM decision-making and suggest that preserving action support during SFT is important for maintaining exploratory behavior.
• Abstract（参考訳）: Supervised Fine-tuning (SFT) は、大規模な言語モデルを下流のタスクに適応するために広く用いられているが、シーケンシャルな意思決定における行動の多様性に対する影響は未解明のままである。 本稿では, 最適動作が正確に計算可能であり, 多様性を直接測定できる, tic-tac-toe変種に基づく決定論的ボードゲームの制御スイートにおいて, この問題を考察する。 状態レベルの評価,アリーナゲームプレイ,トレーニングトラジェクトリなどを通じて,推論モードの生成は動作精度を均一に向上させることなく,動作の多様性を抑えることが判明した。 さらに、標準SFTは精度を向上するが、しばしば早急な多様性の崩壊を引き起こす。 次に、一つの動作を示すのではなく、状態ごとの全ての最適なアクションを訓練するアクション増強が、この効果を部分的に緩和することを示した。 本研究は, LLM意思決定における政策崩壊の原因として狭義の模倣を同定し, 探索行動を維持するためには, SFTにおける行動支援の維持が重要であることを示唆した。

関連論文リスト

• Uncertainty-Guided Sparse Refinement for Action Chunking Transformer Policies [10.02061062596699]
  最近のアクションチャンキング手法は、時間的に拡張されたアクションシーケンスを予測することによって、有望な性能を示す。 本研究では,チャンクベースのビジュモータポリシのためのスパース改良フレームワークであるUncertainty-Guided Refinement (UGR)を提案する。
  論文  参考訳（メタデータ） (2026-09-14T16:37:35Z)
• MS-MEM: Multi-Skill Manipulation-Enhanced Mapping via Uncertainty- and Disturbance-Aware Action Selection [7.39545658052441]
  マルチスキルマニピュレーション強化マッピング(Multi-Skill Manipulation-Enhanced Mapping、MS-MEM)は、不確実性を考慮したマッピングのための明らかなフレームワークである。 MS-MEMは、アクティブな視点選択、オブジェクトのプッシュ、把握を統合している。 シーンの乱れを著しく低減しつつ、マッピング精度を向上する。
  論文  参考訳（メタデータ） (2026-09-02T12:01:25Z)
• Understanding Multimodal Failure in Action-Chunking Behavioral Cloning [15.076534262991537]
  異なるマルチモーダルパラメータ化は異なる方法で失敗することを示す。 潜時変更可能なポリシでは、後続のプライアライゼーションによって、デプロイメント時間のサンプリングがより信頼性が向上する。 アクション空間生成ポリシーでは、マルチモーダリティはベース・ツー・アクション輸送の滑らかさによって制約される。
  論文  参考訳（メタデータ） (2026-05-21T13:45:28Z)
• AnchorRefine: Synergy-Manipulation Based on Trajectory Anchor and Residual Refinement for Vision-Language-Action Models [60.04879435087352]
  視覚言語アクション(VLA)ポリシーは、単一の統一空間内でアクションを生成する。 本稿では,VLAの動作モデリングを軌跡アンカーと残留精細化に分解する階層的フレームワークであるAnchorRefineを提案する。 LIBERO、CALVIN、および実ロボットタスクの実験では、AnchorRefineは回帰ベースと拡散ベースの両方のVLAバックボーンを一貫して改善している。
  論文  参考訳（メタデータ） (2026-04-20T04:25:24Z)
• Primary-Fine Decoupling for Action Generation in Robotic Imitation [91.2899765310853]
  ロボット操作動作シーケンスにおけるマルチモーダル分布は、模倣学習にとって重要な課題である。 PF-DAG(プライマリ・フィン・デカップリング・フォー・アクション・ジェネレーション、プライマリ・フィン・デカップリング・フォー・アクション・ジェネレーション、プライマリ・フィン・デカップリング・フォー・アクション・ジェネレーション、プライマリ・フィン・デカップリング・フォー・アクション・ジェネレーション、プライマリ・フィン・デカップリング・フォー・アクション・ジェネレーション、プライマリ・フィン・デカップリング・フォー・アクション・ジェネレーション、PF-DAG)を提案する。 PF-DAGは、Adroit、DexArt、MetaWorldベンチマークの56タスクで最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-02-25T08:36:45Z)
• SED-SFT: Selectively Encouraging Diversity in Supervised Fine-Tuning [54.393763477932474]
  Supervised Fine-Tuning (SFT) と Reinforcement Learning (RL) は、大規模言語モデル(LLM)の標準訓練パラダイムとして登場した。 本稿では,トークン探索空間に基づく多様性を適応的に促進するSED-SFTを提案する。 このフレームワークは、選択的なマスキング機構を備えた選択エントロピー正規化項を最適化目的に導入する。
  論文  参考訳（メタデータ） (2026-02-07T09:39:21Z)
• Greedy Is Enough: Sparse Action Discovery in Agentic LLMs [11.62669179647184]
  経験的証拠は、少数のアクションだけが、所定のデプロイメントのパフォーマンスに有意義に影響を及ぼすことを示唆している。 この観察によって動機づけられた行動が構造化された空間性仮定によって制御される文脈線形報酬モデルについて検討する。 本研究は,スパース行動発見を大アクション意思決定の基礎となる基本原理とみなす。
  論文  参考訳（メタデータ） (2026-01-13T07:15:32Z)
• Drift No More? Context Equilibria in Multi-Turn LLM Interactions [58.69551510148673]
  コンテキストドリフト(Contexts drift)とは、ターン間のゴール一貫性のある振る舞いからモデルが出力する出力の段階的なばらつきである。 シングルターンエラーとは異なり、ドリフトは時間的に展開し、静的な評価指標では捉えにくい。 マルチターンドリフトは、避けられない崩壊というよりも、制御可能な平衡現象として理解できることを示す。
  論文  参考訳（メタデータ） (2025-10-09T04:48:49Z)
• Active Test-time Vision-Language Navigation [60.69722522420299]
  ATENAは、不確実なナビゲーション結果に対するエピソードフィードバックを通じて、実用的な人間とロボットのインタラクションを可能にする、テスト時のアクティブな学習フレームワークである。 特にATENAは、成功エピソードにおける確実性を高め、失敗エピソードにおいてそれを減らすことを学び、不確実性の校正を改善している。 さらに,自信ある予測に基づいて,エージェントがナビゲーション結果を評価することができる自己学習戦略を提案する。
  論文  参考訳（メタデータ） (2025-06-07T02:24:44Z)
• Singular Value Penalization and Semantic Data Augmentation for Fully Test-Time Adaptation [5.891527229524256]
  テスト時間適応(FTTA)は、テストフェーズ中にソースドメイン上でトレーニングされたモデルをターゲットドメインに適応させる。 本稿では,その分散を最小化しながら特異値の和を最大化することを提案する。 これにより、モデルがより小さな特異値に焦点を合わせ、より挑戦的なクラス間の差別性を高め、予測結果の多様性を効果的に増大させることができる。
  論文  参考訳（メタデータ） (2023-12-10T01:08:56Z)
• Semi-Supervised Learning with Variational Bayesian Inference and Maximum Uncertainty Regularization [62.21716612888669]
  半教師付き学習(SSL)を改善するための2つの一般的な方法を提案する。 第一に、重量摂動(WP)を既存のCR(Consistency regularization)ベースの手法に統合する。 第2の手法は「最大不確実性正規化(MUR)」と呼ばれる新しい整合性損失を提案する。
  論文  参考訳（メタデータ） (2020-12-03T09:49:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。