論文の概要: Syzygy of Thoughts: Improving LLM CoT with the Minimal Free Resolution

• arxiv url: http://arxiv.org/abs/2504.09566v2
• Date: Wed, 16 Apr 2025 05:02:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 11:15:19.349984
• Title: Syzygy of Thoughts: Improving LLM CoT with the Minimal Free Resolution
• Title（参考訳）: 思考のシジー:最小自由分解能によるLCM CoTの改良
• Authors: Chenghao Li, Chaoning Zhang, Yi Lu, Jiaquan Zhang, Qigan Sun, Xudong Wang, Jiwei Wei, Guoqing Wang, Yang Yang, Heng Tao Shen,
• Abstract要約: CoT(Chain-of-Thought)は、問題を逐次ステップに分解することで、大きな言語モデル(LLM)の推論を促進する。 思考のシジー(Syzygy of Thoughts, SoT)は,CoTを補助的,相互関連的な推論経路を導入して拡張する新しいフレームワークである。 SoTはより深い論理的依存関係をキャプチャし、より堅牢で構造化された問題解決を可能にする。
• 参考スコア（独自算出の注目度）: 59.39066657300045
• License:
• Abstract: Chain-of-Thought (CoT) prompting enhances the reasoning of large language models (LLMs) by decomposing problems into sequential steps, mimicking human logic and reducing errors. However, complex tasks with vast solution spaces and vague constraints often exceed the capacity of a single reasoning chain. Inspired by Minimal Free Resolution (MFR) in commutative algebra and algebraic geometry, we propose Syzygy of Thoughts (SoT)-a novel framework that extends CoT by introducing auxiliary, interrelated reasoning paths. SoT captures deeper logical dependencies, enabling more robust and structured problem-solving. MFR decomposes a module into a sequence of free modules with minimal rank, providing a structured analytical approach to complex systems. This method introduces the concepts of "Module", "Betti numbers","Freeness", "Mapping", "Exactness" and "Minimality", enabling the systematic decomposition of the original complex problem into logically complete minimal subproblems while preserving key problem features and reducing reasoning length. We tested SoT across diverse datasets (e.g., GSM8K, MATH) and models (e.g., GPT-4o-mini, Qwen2.5), achieving inference accuracy that matches or surpasses mainstream CoTs standards. Additionally, by aligning the sampling process with algebraic constraints, our approach enhances the scalability of inference time in LLMs, ensuring both transparent reasoning and high performance. Our code will be publicly available at https://github.com/dlMARiA/Syzygy-of-thoughts.
• Abstract（参考訳）: CoT(Chain-of-Thought)は、問題を逐次ステップに分解し、人間の論理を模倣し、エラーを減らすことで、大きな言語モデル(LLM)の推論を促進する。 しかし、広大な解空間とあいまいな制約を持つ複素タスクは、しばしば単一の推論鎖の容量を超える。 可換代数および代数幾何学における最小自由分解(MFR)に着想を得て,CoTを補助的,相互関連的な推論経路を導入して拡張する新しいフレームワークSoT(Syzygy of Thoughts)を提案する。 SoTはより深い論理的依存関係をキャプチャし、より堅牢で構造化された問題解決を可能にする。 MFRは、加群を最小ランクの自由加群列に分解し、複雑なシステムに対する構造化解析的アプローチを提供する。 本手法では,「モジュール」,「ベティ数」,「フリーネス」,「マッピング」,「エクサクティネス」,「ミニマティリティ」の概念を導入する。 私たちは、さまざまなデータセット(例えば、GSM8K、MATH)とモデル(例えば、GPT-4o-mini、Qwen2.5)にまたがってSoTをテストし、主要なCoT標準に適合または超える推論精度を実現しました。 さらに, サンプリング過程を代数的制約に整合させることで, LLMにおける推論時間のスケーラビリティを向上し, 透過的推論と高い性能を実現する。 私たちのコードはhttps://github.com/dlMARiA/Syzygy-of- Thoughts.comで公開されます。

関連論文リスト

• ZebraLogic: On the Scaling Limits of LLMs for Logical Reasoning [92.76959707441954]
  我々はLLM推論性能を評価するための総合的な評価フレームワークであるZebraLogicを紹介した。 ZebraLogicは、制御可能で定量化可能な複雑さを持つパズルの生成を可能にする。 その結果,複雑性が増大するにつれて,精度が著しく低下することが明らかとなった。
  論文  参考訳（メタデータ） (2025-02-03T06:44:49Z)
• Gap-Filling Prompting Enhances Code-Assisted Mathematical Reasoning [0.0]
  パターン・オブ・シント(CoT)とプログラム・オブ・シント(PoT)ファインチューニング(PoT)は、LPMの知識を小さな言語モデル(SLM)に転送する一般的な方法である。 本稿では,SLMの問題解決プロセスを強化するために,新たな2段階のプロンプト戦略であるGap-Filling Prompting(GFP)を紹介する。
  論文  参考訳（メタデータ） (2024-11-08T08:52:59Z)
• Improving Complex Reasoning over Knowledge Graph with Logic-Aware Curriculum Tuning [89.89857766491475]
  カリキュラムベースの論理認識型チューニングフレームワークであるLACTを提案する。 具体的には、任意の一階論理クエリをバイナリツリー分解によって拡張する。 広く使われているデータセットに対する実験では、LATは高度な手法よりも大幅に改善(平均+5.5% MRRスコア)し、新しい最先端技術を実現している。
  論文  参考訳（メタデータ） (2024-05-02T18:12:08Z)
• Large Language Models as an Indirect Reasoner: Contrapositive and Contradiction for Automated Reasoning [74.90592233107712]
  本稿では,直接推論 (DR) と間接推論 (IR) を並列な複数の推論経路として考慮し,最終解を導出する直接間接推論 (DIR) 手法を提案する。 我々のDIR法は単純だが有効であり、既存のCoT法と簡単に統合できる。
  論文  参考訳（メタデータ） (2024-02-06T03:41:12Z)
• Training Chain-of-Thought via Latent-Variable Inference [30.21067593018967]
  大規模言語モデル(LLM)は、チェーン・オブ・シンクレットのプロンプトを使って解答ステップを実行するように指示されたときに、より正確かつ解釈可能な問題を解決する。 CoTと教師付きチューニングを組み合わせるには、正しい回答だけでなく、それらの答えにつながる詳細な根拠の監督が必要である。 そこで本研究では,CoTプロンプトを用いて正しい回答を生成することで,電子対数類似度を最大化するための微調整戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-28T17:47:32Z)
• Small Language Models Fine-tuned to Coordinate Larger Language Models improve Complex Reasoning [41.03267013352519]
  大きな言語モデル(LLM)は、印象的な推論能力を示すチェーン・オブ・シントを生成するように促された。 本稿では、分解生成器を用いて複雑な問題をより少ない推論ステップを必要とするサブプロブレムに分解するDaSLaMを紹介する。 本稿では,DaSLaMがスケール関数としての解の能力に制限されないことを示す。
  論文  参考訳（メタデータ） (2023-10-21T15:23:20Z)
• Recursion of Thought: A Divide-and-Conquer Approach to Multi-Context Reasoning with Language Models [58.41943058963672]
  我々はRecursion of Thought (RoT)と呼ばれる新しい推論フレームワークを提案する。 RoTはいくつかの特別なトークンを導入し、モデルが出力してコンテキスト関連の操作をトリガーする。 GPT-3を含む複数のアーキテクチャの実験により、RoTは問題を解くためにLMの推論能力を劇的に改善した。
  論文  参考訳（メタデータ） (2023-06-12T06:34:16Z)
• Large Language Model Guided Tree-of-Thought [0.0]
  自動回帰型大規模言語モデル(LLM)の問題解決能力向上を目的とした新しいアプローチであるTree-of-Thought(ToT)フレームワークを導入する。 ToTテクニックは、試行錯誤によって複雑な推論タスクを解決するための人間の心のアプローチにインスパイアされている。 実験結果から,ToTフレームワークはスドクパズル解法の成功率を大幅に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2023-05-15T01:18:23Z)
• An Integer Linear Programming Framework for Mining Constraints from Data [81.60135973848125]
  データから制約をマイニングするための一般的なフレームワークを提案する。 特に、構造化された出力予測の推論を整数線形プログラミング(ILP)問題とみなす。 提案手法は,9×9のスドクパズルの解法を学習し,基礎となるルールを提供することなく,例からツリー問題を最小限に分散させることが可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-18T20:09:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。