Fugu-MT 論文翻訳(概要): Learning to Reason via Mixture-of-Thought for Logical Reasoning

論文の概要: Learning to Reason via Mixture-of-Thought for Logical Reasoning

arxiv url: http://arxiv.org/abs/2505.15817v1
Date: Wed, 21 May 2025 17:59:54 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-22 15:42:59.83249
Title: Learning to Reason via Mixture-of-Thought for Logical Reasoning
Title（参考訳）: 論理的推論のためのMixture-of-Thoughtによる推論の学習
Authors: Tong Zheng, Lichang Chen, Simeng Han, R. Thomas McCoy, Heng Huang,
Abstract要約: Mixture-of-Thought (MoT) は、LLMが自然言語、コード、真理表の3つの相補的なモダリティにまたがる推論を可能にするフレームワークである。 MoT は,(1) 自己進化型 MoT トレーニング,(2) 3 つのモーダルの相乗効果を完全に活用してより良い予測を生成する MoT 推論,という2段階の設計を採用する。
参考スコア（独自算出の注目度）: 56.24256916896427
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Human beings naturally utilize multiple reasoning modalities to learn and solve logical problems, i.e., different representational formats such as natural language, code, and symbolic logic. In contrast, most existing LLM-based approaches operate with a single reasoning modality during training, typically natural language. Although some methods explored modality selection or augmentation at inference time, the training process remains modality-blind, limiting synergy among modalities. To fill in this gap, we propose Mixture-of-Thought (MoT), a framework that enables LLMs to reason across three complementary modalities: natural language, code, and a newly introduced symbolic modality, truth-table, which systematically enumerates logical cases and partially mitigates key failure modes in natural language reasoning. MoT adopts a two-phase design: (1) self-evolving MoT training, which jointly learns from filtered, self-generated rationales across modalities; and (2) MoT inference, which fully leverages the synergy of three modalities to produce better predictions. Experiments on logical reasoning benchmarks including FOLIO and ProofWriter demonstrate that our MoT framework consistently and significantly outperforms strong LLM baselines with single-modality chain-of-thought approaches, achieving up to +11.7pp average accuracy gain. Further analyses show that our MoT framework benefits both training and inference stages; that it is particularly effective on harder logical reasoning problems; and that different modalities contribute complementary strengths, with truth-table reasoning helping to overcome key bottlenecks in natural language inference.
Abstract（参考訳）: 人間は自然に複数の推論モダリティを利用して論理的問題、すなわち自然言語、コード、記号論理などの異なる表現形式を学習し解決する。対照的に、既存のLLMベースのアプローチのほとんどは、訓練中(典型的には自然言語)に単一の推論モダリティで機能する。いくつかの方法は、推論時にモダリティの選択や拡張を探索するが、トレーニングプロセスは、モダリティ間の相乗性を制限し、モダリティの盲点のままである。このギャップを埋めるために,LLMが自然言語,コード,新たに導入された記号的モダリティ,真理表という3つの相補的モダリティにまたがる推論を可能にするフレームワークであるMixture-of-Thought (MoT)を提案する。 MoT は,(1) 自己進化型 MoT トレーニング,(2) 3 つのモーダルの相乗効果を完全に活用してより良い予測を生成する MoT 推論,という2段階の設計を採用する。 FOLIOやProofWriterといった論理的推論ベンチマークの実験では、MoTフレームワークは単一のモダリティチェーン・オブ・プリートアプローチで強力なLCMベースラインを一貫して大幅に上回り、平均精度が+11.7ppに達することが示されている。さらに分析したところ、我々のMoTフレームワークは、トレーニングと推論の段階の両方に効果があること、特に難しい論理的推論問題に効果があること、そして、異なるモダリティが補完的な強みに寄与していること、そして、真理的な推論は、自然言語推論における重要なボトルネックを克服するのに役立つことを示している。

論文の概要: Learning to Reason via Mixture-of-Thought for Logical Reasoning

関連論文リスト