論文の概要: On the Diagram of Thought

• arxiv url: http://arxiv.org/abs/2409.10038v2
• Date: Thu, 13 Mar 2025 22:13:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:05:09.563423
• Title: On the Diagram of Thought
• Title（参考訳）: 思考のダイアグラムについて
• Authors: Yifan Zhang, Yang Yuan, Andrew Chi-Chih Yao,
• Abstract要約: 大規模言語モデル(LLM)における反復推論をモデル化するフレームワークであるDiagram of Thought(DoT)を紹介する。 DoTは命題、批評、洗練、検証を統一された有向非巡回グラフ(DAG)にまとめる 我々は、トポス理論を通じてDoTの厳密な数学的基礎を確立し、推論過程における健全性と一貫性を確保する。
• 参考スコア（独自算出の注目度）: 12.304069891580658
• License:
• Abstract: We introduce Diagram of Thought (DoT), a framework that models iterative reasoning in large language models (LLMs) as the construction of a directed acyclic graph (DAG) within a single model. Unlike conventional approaches that represent reasoning as linear chains or tree structures, DoT organizes propositions, critiques, refinements, and verifications into a unified DAG, enabling the exploration of complex reasoning pathways while preserving logical consistency. In this framework, each node encapsulates a proposition at various stages of evaluation, thereby facilitating iterative self-improvement through detailed natural language feedback. By leveraging auto-regressive next-token prediction augmented with role-specific tokens, DoT seamlessly transitions between generating ideas and engaging in critical evaluation, offering richer, context-aware feedback than binary signals. Moreover, we establish a rigorous mathematical foundation for DoT through Topos Theory, ensuring soundness and consistency in the reasoning process. This integrated approach not only simplifies both training and inference by eliminating the need for multiple models or external control mechanisms but also provides a principled framework for the design of next-generation reasoning-specialized models.
• Abstract（参考訳）: 本研究では,大規模言語モデル (LLM) において反復推論をモデル化するフレームワークであるDiagram of Thought (DoT) を,1つのモデル内での有向非巡回グラフ (DAG) の構成として導入する。 推論を線形鎖や木構造として表現する従来のアプローチとは異なり、DoTは命題、批評、洗練、検証を統一されたDAGに整理し、論理的整合性を維持しながら複雑な推論経路の探索を可能にする。 このフレームワークでは、各ノードが様々な評価段階の命題をカプセル化し、より詳細な自然言語フィードバックによる反復的自己改善を容易にする。 ロール固有のトークンを付加した自動回帰的な次世代予測を活用することで、DoTはアイデアの生成と批判的な評価への関与をシームレスに移行し、バイナリ信号よりもリッチでコンテキスト対応のフィードバックを提供する。 さらに、トポス理論によるDoTの厳密な数学的基礎を確立し、推論過程における健全性と一貫性を確保する。 この統合されたアプローチは、複数のモデルや外部制御機構を不要にすることで、トレーニングと推論の両方を単純化するだけでなく、次世代の推論特化モデルの設計のための原則化されたフレームワークも提供する。

関連論文リスト

• Adaptive Graph of Thoughts: Test-Time Adaptive Reasoning Unifying Chain, Tree, and Graph Structures [0.0]
  本稿では,動的グラフベースの推論フレームワークであるAdaptive Graph of Thoughts (AGoT)を紹介する。 AGoTはテスト時間のみでのLarge Language Models (LLM)推論を強化する。 マルチホップ検索,科学的推論,数学的問題解決にまたがる多様なベンチマークに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2025-02-07T16:54:19Z)
• BRiTE: Bootstrapping Reinforced Thinking Process to Enhance Language Model Reasoning [78.63421517563056]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて顕著な機能を示した。 本稿では,新しいグラフィカルモデルを用いてLLM推論を定式化する統一確率的フレームワークを提案する。 本稿では,Bootstrapping Reinforced Thinking Process (BRiTE)アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2025-01-31T02:39:07Z)
• RL-STaR: Theoretical Analysis of Reinforcement Learning Frameworks for Self-Taught Reasoner [2.779063752888881]
  自己学習推論(STaR)フレームワークは、強化学習を使用して推論ステップを自動的に生成する。 STaRとその変種は経験的成功を示しているが、これらの改善を説明する理論的基盤は欠如している。 この研究は、CoT推論とSTaRにおける強化学習の有効性を理解するための理論的枠組みを提供する。
  論文  参考訳（メタデータ） (2024-10-31T13:17:53Z)
• Reversal of Thought: Enhancing Large Language Models with Preference-Guided Reverse Reasoning Warm-up [9.42385235462794]
  大規模言語モデル(LLM)は、推論タスクにおいて顕著な性能を示すが、数学的および複雑な論理的推論において制限に直面している。 バッチ推論前のウォームアップフェーズにおいて,LLMの論理的推論能力を高めるために,Reversal of Thought (RoT)を提案する。 RoT は Preference-Guided Reverse Reasoning warm-up 戦略を利用している。
  論文  参考訳（メタデータ） (2024-10-16T07:44:28Z)
• The Buffer Mechanism for Multi-Step Information Reasoning in Language Models [52.77133661679439]
  大きな言語モデルの内部的推論メカニズムを調べることは、よりよいモデルアーキテクチャとトレーニング戦略を設計するのに役立ちます。 本研究では,トランスフォーマーモデルが垂直思考戦略を採用するメカニズムを解明するために,シンボリックデータセットを構築した。 我々は,GPT-2モデルに必要なトレーニング時間を75%削減し,モデルの推論能力を高めるために,ランダムな行列ベースアルゴリズムを提案した。
  論文  参考訳（メタデータ） (2024-05-24T07:41:26Z)
• Cantor: Inspiring Multimodal Chain-of-Thought of MLLM [83.6663322930814]
  視覚的コンテキスト獲得と論理的推論の集約は、視覚的推論タスクに取り組む上で重要であると我々は主張する。 我々はCantorと呼ばれる革新的なマルチモーダルCoTフレームワークを提案し、その特徴は知覚決定アーキテクチャである。 提案手法の有効性を実証し,マルチモーダルCoT性能の大幅な向上を示した。
  論文  参考訳（メタデータ） (2024-04-24T17:59:48Z)
• Modeling Hierarchical Reasoning Chains by Linking Discourse Units and Key Phrases for Reading Comprehension [80.99865844249106]
  本稿では,論理的推論の基盤として,対話レベルと単語レベルの両方の文脈を扱う総合グラフネットワーク(HGN)を提案する。 具体的には、ノードレベルの関係とタイプレベルの関係は、推論過程におけるブリッジと解釈できるが、階層的な相互作用機構によってモデル化される。
  論文  参考訳（メタデータ） (2023-06-21T07:34:27Z)
• Beyond Chain-of-Thought, Effective Graph-of-Thought Reasoning in Language Models [74.40196814292426]
  本稿では,人間の思考過程をチェーンとしてだけでなく,グラフとしてモデル化するグラフ・オブ・ソート(GoT)推論を提案する。 GoTは人間の思考の連続しない性質を捉え、思考プロセスのより現実的なモデリングを可能にします。 テキストのみの推論タスクとマルチモーダル推論タスクでGoTの性能を評価する。
  論文  参考訳（メタデータ） (2023-05-26T02:15:09Z)
• Visual Chain of Thought: Bridging Logical Gaps with Multimodal Infillings [61.04460792203266]
  本稿では, 逐次データ内の論理的ギャップを埋めるために, 視覚言語による接地を促進させる, チェーン・オブ・シントを利用する新しい手法であるVCoTを紹介する。 本手法は,下流タスクの論理的ギャップを低減するために,一貫した情報と新しい情報を加える合成マルチモーダル埋め込みを生成するために視覚誘導を用いる。
  論文  参考訳（メタデータ） (2023-05-03T17:58:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。