論文の概要: LeAct: Learning to Reason from Expert Actions

• arxiv url: http://arxiv.org/abs/2607.21856v1
• Date: Thu, 23 Jul 2026 22:50:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 20:58:57.011379
• Title: LeAct: Learning to Reason from Expert Actions
• Title（参考訳）: LeAct: 専門家の行動から推論を学ぶ
• Abstract要約: エキスパートシステムは、さまざまなドメインにまたがって、ほぼ最適なアクションを生成する。 実証された行動を超えて一般化する学生に専門家の知識を蒸留する方法を示す。 専門的なシステムは、基礎モデルのための教師の推論の分類学的に新しい情報源となる。
• 参考スコア（独自算出の注目度）: 55.48554303260889
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern reasoning models depend on reasoning data, today sourced from human annotations or distilled from stronger LLMs. However, a rich and largely untapped source of supervision lies in expert systems (e.g., game engines, classical planners, theorem provers), which routinely produce near-optimal actions across diverse domains. But these experts are silent: they commit to an action without writing down the chain of thought (CoT) behind it. Recovering that CoT as natural-language reasoning would distill expert knowledge into a student that generalizes beyond the demonstrated actions. We treat it as a latent variable and study how to recover it from the action alone. Our approach, LeAct (Learning to reason from Actions), optimizes this latent variable: the student samples candidate CoTs for each expert action, and we retain those that measurably improve its own probability of recovering the action. Across imperfect-information games at multiple scales and a simulated robotics benchmark, LeAct reaches the solver's numerical floor on small enumerable games. At larger scale, it is $5\times$ closer to the solver than the strongest expert-iteration baseline. At Flop Hold'em ($\sim 10^9$ infosets), LeAct wins head-to-head by $+60$ mbb/g, and on the robotics probe it is the only training recipe that improves on direct imitation. We present a principled framework and the result: expert systems become a categorically new source of reasoning teachers for foundation models.
• Abstract（参考訳）: 現代の推論モデルは推論データに依存しており、今日では人間のアノテーションや強いLCMから抽出される。 しかし、リッチでほとんど使われていない監督の源泉はエキスパートシステム(例えばゲームエンジン、古典的プランナー、定理証明者)にあり、様々な領域にまたがるほぼ最適動作を日常的に生成する。 しかし、これらの専門家は沈黙している。彼らは背後にある思考の連鎖(CoT)を書かなくても行動を起こす。 CoTを自然言語の推論として復活させることで、専門家の知識を、実証された行動を超えて一般化する学生に蒸留する。 潜伏変数として扱い、アクションのみから回復する方法を研究する。 我々のアプローチであるLeAct (Learning to reason from Actions)は、この潜伏変数を最適化します。 複数スケールでの不完全情報ゲームとシミュレーションロボットのベンチマークによって、LeActは小さなエンミュータブルゲームでソルバの数値フロアに到達する。 大規模では、最強のエキスパートイテレーションベースラインよりも、解法に近い$5\times$である。 Flop Hold'em ($\sim 10^9$ infosets)では、LeActが$60$ mbb/gで勝利し、ロボットプローブでは、直接模倣を改善する唯一のトレーニングレシピである。 専門的なシステムは、基礎モデルのための教師の推論の分類学的に新しい情報源となる。

関連論文リスト

• Expanding the Capabilities of Reinforcement Learning via Text Feedback [49.561885700139676]
  テキストフィードバックをトレーニング中に利用できるが、推論では利用できないマルチターンRLセットアップであるテキストフィードバック(RLTF)を形式化する。 そこで本研究では, 自己蒸留法(RLTF-SD)と, フィードバック条件付き第2ターン世代に適合するように単一ターンポリシーを訓練するフィードバックモデリング法(RLTF-FM)の2つの手法を提案する。 以上の結果から,両手法はベンチマークにおいて強いベースラインを一貫して上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2026-02-02T18:56:56Z)
• LLM CHESS: Benchmarking Reasoning and Instruction-Following in LLMs through Chess [30.797553771114746]
  LLM CHESSは,大規模言語モデル(LLM)における推論と命令追従能力の一般化を調査するための評価フレームワークである。 我々は,移動品質,移動法則,幻覚行動,ゲーム持続時間などの行動指標を用いて,ランダムな相手と対戦することで,50以上のオープンかつクローズドなソースモデルをランク付けする。 トップ推論モデルのサブセットとして,可変構成のスキルを持つチェスエンジンと対戦して,Elo推定を導出する。
  論文  参考訳（メタデータ） (2025-12-01T18:51:08Z)
• Multi-Agent Evolve: LLM Self-Improve through Co-evolution [53.00458074754831]
  強化学習(RL)は、大規模言語モデル(LLM)の推論能力を高める大きな可能性を証明している。 近年のSelf-Play RL法は,ゲームやGoのパラダイムの成功に触発されて,人間に注釈を付けることなくLSM推論能力を向上することを目指している。 数学,推論,一般知識Q&Aなど多種多様な課題の解決において,LLMが自己発展できるフレームワークであるMulti-Agent Evolve(MAE)を提案する。
  論文  参考訳（メタデータ） (2025-10-27T17:58:02Z)
• Off-Trajectory Reasoning: Can LLMs Collaborate on Reasoning Trajectory? [13.980638430366625]
  推論 LLM は推論プロセスの言語化のために訓練され、複雑なタスクに対して強い利益をもたらす。 重要な前提条件は、他のモデルの部分的思考に基づいて有用性を評価し、構築する能力である。 本稿では,標準の単調訓練パイプラインが望ましい軌道外行動を提供できるか,という課題を考察する。
  論文  参考訳（メタデータ） (2025-10-07T19:42:50Z)
• Can Large Models Teach Student Models to Solve Mathematical Problems Like Human Beings? A Reasoning Distillation Method via Multi-LoRA Interaction [6.695255921627406]
  大規模言語モデル(LLM)は強力な数学的推論能力を持つが、数十億のパラメータに依存している。 既存の手法は通常、LCMを利用して大量のデータを生成してクラミングトレーニングを行う。 数学的推論蒸留(LoRID)のためのマルチロラ相互作用に基づく新しい手法を提案する。 LoRIDは、特にGSM8Kデータセット上で、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-08-18T15:56:10Z)
• Generalist Reward Models: Found Inside Large Language Models [50.7432354447554]
  我々は,従来の次世代予測によって訓練されたLarge Language Models (LLM) の中に,強力な報酬モデルが存在することを示す。 この内因性報酬は、オフライン逆強化学習によって学習された報酬関数ではないことを実証する。 また、この内因性報酬を用いた後続の強化学習が、ベースモデルと比較して明らかに優れたエラー境界を持つポリシーにつながることを証明した。
  論文  参考訳（メタデータ） (2025-06-29T13:45:54Z)
• Distilling LLM Agent into Small Models with Retrieval and Code Tools [65.73762766854192]
  Agent Distillationは、推論能力とタスク解決の振る舞いを大きな言語モデルから小さな言語モデルに移行するためのフレームワークである。 その結果,SLMは0.5B,1.5B,3Bのパラメータで,次世代の1.5B,3B,7Bモデルと競合する性能が得られることがわかった。
  論文  参考訳（メタデータ） (2025-05-23T08:20:15Z)
• Self-Explore: Enhancing Mathematical Reasoning in Language Models with Fine-grained Rewards [42.065997425172974]
  大規模言語モデル(LLM)の推論能力向上には,大量の論理学(CoTファインチューニング)の訓練が有効である。 本稿では,LLMが論理学における最初の間違ったステップを探索し,より詳細な報奨などの信号を用いてさらなる改善を行うセルフエクスロアを提案する。 GSM8KとMATHテストセットでは、教師付き微調整(SFT)と比較して平均11.57%と2.89%の改善を達成した。
  論文  参考訳（メタデータ） (2024-04-16T07:30:11Z)
• Democratizing Reasoning Ability: Tailored Learning from Large Language Model [97.4921006089966]
  そこで我々は,そのような推論能力をより小さなLMに蒸留する,適切な学習手法を提案する。 対話型多ラウンド学習パラダイムを構築することにより,理科教員としてのLLMの可能性を活用する。 より小さなLMの推論可能性を活用するために,学生が自作ミスから学習する動機付けを目的とした自己回帰学習を提案する。
  論文  参考訳（メタデータ） (2023-10-20T07:50:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。