論文の概要: Learning Perception to Action Rules through Reinforcement Learning for Theory-of-Mind Reasoning

• arxiv url: http://arxiv.org/abs/2610.19796v1
• Date: Wed, 14 Oct 2026 08:40:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 12:10:45.451703
• Title: Learning Perception to Action Rules through Reinforcement Learning for Theory-of-Mind Reasoning
• Title（参考訳）: ミンド推論のための強化学習による行動規則の学習
• Abstract要約: 認識,信念,行動とルールを明示的に結びつけることで,ToM推論が改善するかどうかを検討する。 我々は、知覚と行動の関係を表現する簡潔なテクスティエフを生成する。 これらの結果は、モデルがToMの推論ギャップを橋渡しし、モデル間の知識伝達を支援するのに役立つことを示唆している。
• 参考スコア（独自算出の注目度）: 13.962549699216003
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In Theory-of-Mind (ToM) reasoning, large language models may correctly infer the agent's mental state but fail to use that inference when predicting or judging the agent's subsequent actions. In this work, we investigate whether explicitly connecting perception, belief, and action with rules improves ToM reasoning. We generate concise \textit{if--then} rules that express relations between perception to action and use Group Relative Policy Optimization (GRPO) to train Qwen2.5 and Llama3 models across four ToM benchmarks. GRPO with rule generation outperforms prompting, supervised fine-tuning, and think reasoning. Moreover, rules generated by larger models ($\geq$3B) provide transferable knowledge that improves downstream performance of GPT-4o-mini. These findings suggest that explicit rules help models bridge the reasoning gap in ToM and support knowledge transfer across models.
• Abstract（参考訳）: 理論・オブ・ミンド(ToM)推論では、大きな言語モデルはエージェントの精神状態を正しく推測するが、エージェントのその後の行動を予測または判断する際にその推論を使用できない。 本研究では, 意識, 信念, 行動とルールを明示的に結びつけることによって, ToM推論が向上するか否かを考察する。 ToMの4つのベンチマークでQwen2.5とLlama3モデルをトレーニングするために、行動に対する認識とグループ相対ポリシー最適化(GRPO)を用いた簡潔な「textit{if-then}ルール」を生成する。 GRPOはルール生成のパフォーマンスが向上し、微調整を監督し、思考推論を行う。 さらに、より大きなモデル($3B)によって生成されるルールは、GPT-4o-miniの下流性能を改善するトランスファー可能な知識を提供する。 これらの結果は、モデルがToMの推論ギャップを埋め、モデル間の知識伝達をサポートするのに役立つことを示唆している。

関連論文リスト

• Reason in the Words You Speak: Idiolectal Paraphrasing Off-Policy Traces for Reasoning Distillation in VideoLLMs [45.13932034141772]
  textbfEcho-GRPOを提案する。 我々はこのフレームワークを,ビデオ推論蒸留のためのtextbfVideoEcho-R1 としてインスタンス化する。 我々の慣用句言い換えは、蒸留の推論のためのRLと教師付き微調整フレームワークの両方を一貫して改善するプラグインモジュールである。
  論文  参考訳（メタデータ） (2026-08-27T06:41:08Z)
• Metacognition as Reward: Reinforcing LLM Reasoning via Knowledge and Regulation Signals [75.25256166997414]
  本稿ではメタ認知に触発されたRLフレームワークであるメタ認知・アズ・リワード(MaR)を紹介する。 MaRは2つの一般的なプロセス次元を推論する。 MaRはモデル性能を継続的に改善し、ベースモデルよりも最大7.7%向上した。
  論文  参考訳（メタデータ） (2026-05-22T08:54:37Z)
• Walk the Talk: Bridging the Reasoning-Action Gap for Thinking with Images via Multimodal Agentic Policy Optimization [89.68681087743876]
  MLLM(Multimodal Large Language Models)は,マルチターン推論において視覚ツールを積極的に呼び出すことによって,イメージで考えるモデルにインセンティブを与えている。 結果に基づく報酬を頼りにする一般的な強化学習の実践は、テキストの妥当性が経営幹部の失敗を隠蔽するという事実を無視します。 マルチモーダルエージェントポリシー最適化(MAPO)を導入し、テキスト推論とモデルが生成する視覚行動のギャップを埋める。
  論文  参考訳（メタデータ） (2026-04-08T07:48:07Z)
• To Think or Not To Think, That is The Question for Large Reasoning Models in Theory of Mind Tasks [56.11584171938381]
  心の理論 (ToM) は、モデルが信念、欲望、意図などの隠された精神状態を推測できるかどうかを評価する。 近年のLRM(Large Reasoning Models)の進歩により、数学やコーディングにおけるステップバイステップ推論が向上している。 本研究では,9つの大規模言語モデル(LLM)の体系的研究を行い,推論モデルと非推論モデルを比較した。
  論文  参考訳（メタデータ） (2026-02-11T08:16:13Z)
• Evaluating GRPO and DPO for Faithful Chain-of-Thought Reasoning in LLMs [0.7045900712659982]
  大型言語モデル(LLM)の問題解決能力向上のための強力な手法として、チェーン・オブ・シント推論(CoT)が登場している。
  論文  参考訳（メタデータ） (2025-12-27T16:07:00Z)
• Interleaved Reasoning for Large Language Models via Reinforcement Learning [22.403928213802036]
  ロングチェーン・オブ・シント(CoT)は、大規模言語モデル(LLM)推論能力を向上する。 本稿では、強化学習(RL)を用いてLLMを指導し、マルチホップ質問に対する思考と回答をインターリーブする新しい学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2025-05-26T07:58:17Z)
• Beyond Single-Task: Robust Multi-Task Length Generalization for LLMs [23.958458849973248]
  マルチタスク設定における長さの一般化について検討し、ロバストなクロスタスク長の一般化を可能にする最初のフレームワークとしてメタルール追従ファインチューニング(Meta-RFFT)を提案する。 多数のタスクやインスタンスをトレーニングした後、我々のモデルは、最小限の微調整やワンショットプロンプトで、目に見えないタスクに対して驚くほどの長さの一般化能力を達成する。
  論文  参考訳（メタデータ） (2025-02-17T07:54:50Z)
• Conceptual Metaphor Theory as a Prompting Paradigm for Large Language Models [0.0]
  大規模言語モデル(LLM)の拡張のためのフレームワークとしてメタファー概念理論(CMT)を紹介する。 CMTは比喩的マッピングを活用して抽象的推論を構造化し、複雑な概念を処理し説明するモデルの能力を向上させる。 我々は4つのネイティブモデル(Llama3.2、Phi3、Gemma2、Mistral)を、ドメイン固有の推論、創造的洞察、メタファ解釈にまたがるベンチマークタスクで、CMTが強化したモデルと比較する。
  論文  参考訳（メタデータ） (2025-02-04T00:26:39Z)
• Can LLMs Reason with Rules? Logic Scaffolding for Stress-Testing and Improving LLMs [87.34281749422756]
  大規模言語モデル(LLM)は、様々な推論タスクにおいて、印象的な人間的なパフォーマンスを実現している。 しかし、その根底にある推論規則の熟達性は、人間の能力に欠ける。 本稿では,推論ルールベースであるULogicを構築するための,推論ルール生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-18T03:38:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。