論文の概要: Beyond Chain-of-Thought, Effective Graph-of-Thought Reasoning in Large Language Models

• arxiv url: http://arxiv.org/abs/2305.16582v1
• Date: Fri, 26 May 2023 02:15:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-29 17:18:48.599416
• Title: Beyond Chain-of-Thought, Effective Graph-of-Thought Reasoning in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける連鎖的,効果的なグラフ的推論を超えて
• Authors: Yao Yao, Zuchao Li, Hai Zhao
• Abstract要約: 本稿では,人間の思考過程をチェーンとしてだけでなく,グラフとしてモデル化するグラフ・オブ・ソート(GoT)推論を提案する。 我々のアプローチは、人間の思考の連続的でない性質を捉え、思考プロセスのより現実的なモデリングを可能にします。 GoTは、2億5000万以上のバックボーンモデルパラメータを持つにもかかわらず、700万以上のパラメータを持つMultimodal-CoT(large)に匹敵する結果を得る。
• 参考スコア（独自算出の注目度）: 87.94820501979792
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the widespread use of large language models (LLMs) in NLP tasks, researchers have discovered the potential of Chain-of-thought (CoT) to assist LLMs in accomplishing complex reasoning tasks by generating intermediate steps. However, human thought processes are often non-linear, rather than simply sequential chains of thoughts. Therefore, we propose Graph-of-Thought (GoT) reasoning, which models human thought processes not only as a chain but also as a graph. By representing thought units as nodes and connections between them as edges, our approach captures the non-sequential nature of human thinking and allows for a more realistic modeling of thought processes. Similar to Multimodal-CoT, we modeled GoT reasoning as a two-stage framework, generating rationales first and then producing the final answer. Specifically, we employ an additional graph-of-thoughts encoder for GoT representation learning and fuse the GoT representation with the original input representation through a gated fusion mechanism. We implement a GoT reasoning model on the T5 pre-trained model and evaluate its performance on a text-only reasoning task (GSM8K) and a multimodal reasoning task (ScienceQA). Our model achieves significant improvement over the strong CoT baseline with 3.41% and 5.08% on the GSM8K test set with T5-base and T5-large architectures, respectively. Additionally, our model boosts accuracy from 84.91% to 91.54% using the T5-base model and from 91.68% to 92.77% using the T5-large model over the state-of-the-art Multimodal-CoT on the ScienceQA test set. Experiments have shown that GoT achieves comparable results to Multimodal-CoT(large) with over 700M parameters, despite having fewer than 250M backbone model parameters, demonstrating the effectiveness of GoT.
• Abstract（参考訳）: NLPタスクに大規模言語モデル(LLM)が広く使われるようになると、研究者は中間ステップを生成することで複雑な推論タスクを達成するのにLLMを支援するために、Chain-of-Thought(CoT)の可能性を発見した。 しかし、人間の思考過程は単に思考の逐次連鎖ではなく、しばしば非線形である。 そこで我々は,人間の思考過程をチェーンとしてだけでなく,グラフとしてモデル化するグラフ・オブ・ソート(GoT)推論を提案する。 思考単位をノードとして表現し、それら間の接続をエッジとして表現することで、我々のアプローチは人間の思考の連続しない性質を捉え、思考プロセスのより現実的なモデリングを可能にします。 Multimodal-CoTと同様に、私たちはGoT推論を2段階のフレームワークとしてモデル化し、まず理性を生成し、最後に答えを生成しました。 具体的には、GoT表現学習のための追加のグラフ・オブ・シンクエンコーダを使用し、ゲート融合機構を通じてGoT表現を元の入力表現と融合する。 我々は、T5事前学習モデルにGoT推論モデルを実装し、テキストのみ推論タスク(GSM8K)とマルチモーダル推論タスク(ScienceQA)の性能を評価する。 我々のモデルは,T5ベースとT5大規模アーキテクチャを用いたGSM8Kテストセットにおいて,それぞれ3.41%,5.08%のCoTベースラインに対する大幅な改善を実現している。 さらに,T5ベースモデルでは84.91%から91.54%,ScienceQAテストセットでは最先端のマルチモーダルCoTでは91.68%から92.77%に精度が向上した。 実験の結果、GoTは2億5000万以上のバックボーンモデルパラメータを持つにもかかわらず、700万以上のパラメータを持つMultimodal-CoT(large)に匹敵する結果が得られた。

関連論文リスト

• On the Diagram of Thought [12.304069891580658]
  大規模言語モデル(LLM)における反復推論をモデル化するフレームワークであるDiagram of Thought(DoT)を紹介する。 DoTは提案、批評、洗練、検証を結合的なDAG構造に整理し、モデルが複雑な推論経路を探索できるようにする。 我々は、トポス理論を用いてDoTフレームワークを形式化し、論理的一貫性と推論過程の健全性を保証する数学的基盤を提供する。
  論文  参考訳（メタデータ） (2024-09-16T07:01:41Z)
• Fine-Tuning with Divergent Chains of Thought Boosts Reasoning Through Self-Correction in Language Models [63.36637269634553]
  本稿では,複数の推論連鎖を比較するためにモデルを必要とすることによって,性能を向上する新しい手法を提案する。 DCoTデータセットの命令チューニングにより、より小さく、よりアクセスしやすい言語モデルの性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-07-03T15:01:18Z)
• Soft-Prompting with Graph-of-Thought for Multi-modal Representation Learning [45.517215214938844]
  チェーン・オブ・シークレット技術は、マルチモーダルタスクにおいてよく受け入れられている。 マルチモーダル表現学習におけるソフトプロンプトチューニングのためのAgoT(Aggregation-Graph-of-Thought)機構を提案する。
  論文  参考訳（メタデータ） (2024-04-06T07:39:44Z)
• ChainLM: Empowering Large Language Models with Improved Chain-of-Thought Prompting [124.69672273754144]
  CoT(Chain-of-Thought)のプロンプトにより,大規模言語モデル(LLM)の推論能力が向上する 既存のCoTアプローチは通常、単純な推論タスクに重点を置いており、結果として低品質で一貫性のないCoTプロンプトをもたらす。 優れたCoTプロンプトの自動生成のための新しいフレームワークであるCoTGeniusを紹介する。
  論文  参考訳（メタデータ） (2024-03-21T11:34:26Z)
• Graph of Thoughts: Solving Elaborate Problems with Large Language Models [15.711472857775085]
  Graph of Thoughts (GoT)は、大規模言語モデル(LLM)のプロンプト機能を向上させるフレームワークである。 GoTの主な利点は、LLMによって生成された情報を任意のグラフとしてモデル化できることである。 この研究は、推論を人間の思考や再発のような脳のメカニズムに近づける。
  論文  参考訳（メタデータ） (2023-08-18T17:29:23Z)
• Thinking Like an Expert:Multimodal Hypergraph-of-Thought (HoT) Reasoning to boost Foundation Modals [15.372421458422489]
  CoT(Chain-of-Thought)技術は,基礎モデルの推論能力を高めるための有効な手法の1つである。 本稿では,高次マルチホップ推論のエキスパートレベル能力を有する基礎モデルを実現するために,マルチモーダルなハイパーグラフ・オブ・ソート推論パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-08-11T16:13:04Z)
• Minding Language Models' (Lack of) Theory of Mind: A Plug-and-Play Multi-Character Belief Tracker [72.09076317574238]
  ToMは,読解における文字の信念状態を調べるためのプラグアンドプレイ方式である。 ToMは、教師付きベースラインと比較して、配電性能が堅牢でありながら、ゼロオーダー設定でのオフ・ザ・シェルフニューラルネットワーク理論の考え方を強化する。
  論文  参考訳（メタデータ） (2023-06-01T17:24:35Z)
• Visual Chain of Thought: Bridging Logical Gaps with Multimodal Infillings [61.04460792203266]
  本稿では, 逐次データ内の論理的ギャップを埋めるために, 視覚言語による接地を促進させる, チェーン・オブ・シントを利用する新しい手法であるVCoTを紹介する。 本手法は,下流タスクの論理的ギャップを低減するために,一貫した情報と新しい情報を加える合成マルチモーダル埋め込みを生成するために視覚誘導を用いる。
  論文  参考訳（メタデータ） (2023-05-03T17:58:29Z)
• Multimodal Chain-of-Thought Reasoning in Language Models [94.70184390935661]
  言語(テキスト)と視覚(画像)のモダリティを2段階のフレームワークに組み込んだマルチモーダルCoTを提案する。 その結果,ScienceQA と A-OKVQA のベンチマークは,提案手法の有効性を示した。
  論文  参考訳（メタデータ） (2023-02-02T07:51:19Z)
• Text and Patterns: For Effective Chain of Thought, It Takes Two to Tango [11.344587937052697]
  この研究は、大規模言語モデルにおける推論機構のより深い理解に向けた予備的なステップを開始する。 私たちの作業は、シンボル、パターン、テキストというプロンプト内のコンポーネントの1つを除いて、モデルをクエリすることに集中しています。 我々は、テキストがパターンに常識的な知識と意味を与えると仮定する。
  論文  参考訳（メタデータ） (2022-09-16T02:54:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。