論文の概要: Learning to Reason via Mixture-of-Thought for Logical Reasoning

• arxiv url: http://arxiv.org/abs/2505.15817v2
• Date: Mon, 09 Jun 2025 21:22:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:40.058527
• Title: Learning to Reason via Mixture-of-Thought for Logical Reasoning
• Title（参考訳）: 論理的推論のためのMixture-of-Thoughtによる推論の学習
• Authors: Tong Zheng, Lichang Chen, Simeng Han, R. Thomas McCoy, Heng Huang,
• Abstract要約: Mixture-of-Thought (MoT) は、LLMが自然言語、コード、真理表の3つの相補的なモダリティにまたがる推論を可能にするフレームワークである。 MoT は,(1) 自己進化型 MoT トレーニング,(2) 3 つのモーダルの相乗効果を完全に活用してより良い予測を生成する MoT 推論,という2段階の設計を採用する。
• 参考スコア（独自算出の注目度）: 56.24256916896427
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human beings naturally utilize multiple reasoning modalities to learn and solve logical problems, i.e., different representational formats such as natural language, code, and symbolic logic. In contrast, most existing LLM-based approaches operate with a single reasoning modality during training, typically natural language. Although some methods explored modality selection or augmentation at inference time, the training process remains modality-blind, limiting synergy among modalities. To fill in this gap, we propose Mixture-of-Thought (MoT), a framework that enables LLMs to reason across three complementary modalities: natural language, code, and a newly introduced symbolic modality, truth-table, which systematically enumerates logical cases and partially mitigates key failure modes in natural language reasoning. MoT adopts a two-phase design: (1) self-evolving MoT training, which jointly learns from filtered, self-generated rationales across modalities; and (2) MoT inference, which fully leverages the synergy of three modalities to produce better predictions. Experiments on logical reasoning benchmarks including FOLIO and ProofWriter demonstrate that our MoT framework consistently and significantly outperforms strong LLM baselines with single-modality chain-of-thought approaches, achieving up to +11.7pp average accuracy gain. Further analyses show that our MoT framework benefits both training and inference stages; that it is particularly effective on harder logical reasoning problems; and that different modalities contribute complementary strengths, with truth-table reasoning helping to overcome key bottlenecks in natural language inference.
• Abstract（参考訳）: 人間は自然に複数の推論モダリティを利用して論理的問題、すなわち自然言語、コード、記号論理などの異なる表現形式を学習し解決する。 対照的に、既存のLLMベースのアプローチのほとんどは、訓練中(典型的には自然言語)に単一の推論モダリティで機能する。 いくつかの方法は、推論時にモダリティの選択や拡張を探索するが、トレーニングプロセスは、モダリティ間の相乗性を制限し、モダリティの盲点のままである。 このギャップを埋めるために,LLMが自然言語,コード,新たに導入された記号的モダリティ,真理表という3つの相補的モダリティにまたがる推論を可能にするフレームワークであるMixture-of-Thought (MoT)を提案する。 MoT は,(1) 自己進化型 MoT トレーニング,(2) 3 つのモーダルの相乗効果を完全に活用してより良い予測を生成する MoT 推論,という2段階の設計を採用する。 FOLIOやProofWriterといった論理的推論ベンチマークの実験では、MoTフレームワークは単一のモダリティチェーン・オブ・プリートアプローチで強力なLCMベースラインを一貫して大幅に上回り、平均精度が+11.7ppに達することが示されている。 さらに分析したところ、我々のMoTフレームワークは、トレーニングと推論の段階の両方に効果があること、特に難しい論理的推論問題に効果があること、そして、異なるモダリティが補完的な強みに寄与していること、そして、真理的な推論は、自然言語推論における重要なボトルネックを克服するのに役立つことを示している。

関連論文リスト

• Exploring Self-supervised Logic-enhanced Training for Large Language Models [59.227222647741094]
  本稿では,自己指導型ポストトレーニングによる論理的知識の活用の可能性について検討する。 我々はMERItの自己回帰的目的変数を考案し、パラメータサイズが30億から13億の2つのLLM系列、すなわちFLAN-T5とLLaMAと統合する。 2つの挑戦的な論理的推論ベンチマークの結果は、LogicLLMの有効性を示している。
  論文  参考訳（メタデータ） (2023-05-23T06:13:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。