論文の概要: Beyond Chain-of-Thought, Effective Graph-of-Thought Reasoning in Language Models

• arxiv url: http://arxiv.org/abs/2305.16582v2
• Date: Sat, 23 Mar 2024 03:06:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 03:48:07.929045
• Title: Beyond Chain-of-Thought, Effective Graph-of-Thought Reasoning in Language Models
• Title（参考訳）: 言語モデルにおけるチェーン・オブ・ソートを超えて、効果的なグラフ・オブ・ソート推論
• Authors: Yao Yao, Zuchao Li, Hai Zhao,
• Abstract要約: 本稿では,人間の思考過程をチェーンとしてだけでなく,グラフとしてモデル化するグラフ・オブ・ソート(GoT)推論を提案する。 GoTは人間の思考の連続しない性質を捉え、思考プロセスのより現実的なモデリングを可能にします。 テキストのみの推論タスクとマルチモーダル推論タスクでGoTの性能を評価する。
• 参考スコア（独自算出の注目度）: 74.40196814292426
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the widespread use of language models (LMs) in NLP tasks, researchers have discovered the potential of Chain-of-thought (CoT) to assist LMs in accomplishing complex reasoning tasks by generating intermediate steps. However, human thought processes are often non-linear, rather than simply sequential chains of thoughts. Therefore, we propose Graph-of-Thought (GoT) reasoning, which models human thought processes not only as a chain but also as a graph. By representing thought units as nodes and connections between them as edges, our approach captures the non-sequential nature of human thinking and allows for a more realistic modeling of thought processes. GoT adopts a two-stage framework with an additional GoT encoder for thought graph representation and fuses the graph representation with the original input representation through a gated fusion mechanism. We evaluate GoT's performance on a text-only reasoning task (AQUA-RAT) and a multimodal reasoning task (ScienceQA). Our model achieves significant improvement over the strong CoT baseline on the AQUA-RAT test set and boosts accuracy from 85.19% to 87.59% using the T5-base model over the state-of-the-art Multimodal-CoT on the ScienceQA test set.
• Abstract（参考訳）: NLPタスクに言語モデル(LM)が広く使われるようになると、研究者は中間ステップを生成することで複雑な推論タスクを達成する上で、LMを支援するためのCoT(Chain-of-Thought)の可能性を発見した。 しかしながら、人間の思考過程は、単に連続した思考の連鎖ではなく、しばしば非線形である。 そこで我々は,人間の思考過程をチェーンとしてだけでなく,グラフとしてモデル化するグラフ・オブ・ソート(GoT)推論を提案する。 思考単位をノードとして表現し、それら間の接続をエッジとして表現することで、我々のアプローチは人間の思考の連続しない性質を捉え、思考プロセスのより現実的なモデリングを可能にします。 GoTは、思考グラフ表現のための追加のGoTエンコーダを備えた2段階フレームワークを採用し、ゲート融合機構を通じて元の入力表現とグラフ表現を融合する。 テキストのみの推論タスク(Aqua-RAT)とマルチモーダル推論タスク(ScienceQA)でGoTの性能を評価する。 本研究では,Aqua-RATテストセット上でのCoTベースラインの精度を85.19%から87.59%に向上させるとともに,ScienceQAテストセット上での最先端のMultimodal-CoTよりもT5ベースモデルを用いて精度を向上する。

関連論文リスト

• On the Diagram of Thought [12.304069891580658]
  大規模言語モデル(LLM)における反復推論をモデル化するフレームワークであるDiagram of Thought(DoT)を紹介する。 DoTは提案、批評、洗練、検証を結合的なDAG構造に整理し、モデルが複雑な推論経路を探索できるようにする。 我々は、トポス理論を用いてDoTフレームワークを形式化し、論理的一貫性と推論過程の健全性を保証する数学的基盤を提供する。
  論文  参考訳（メタデータ） (2024-09-16T07:01:41Z)
• Fine-Tuning with Divergent Chains of Thought Boosts Reasoning Through Self-Correction in Language Models [63.36637269634553]
  本稿では,複数の推論連鎖を比較するためにモデルを必要とすることによって,性能を向上する新しい手法を提案する。 DCoTデータセットの命令チューニングにより、より小さく、よりアクセスしやすい言語モデルの性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-07-03T15:01:18Z)
• Soft-Prompting with Graph-of-Thought for Multi-modal Representation Learning [45.517215214938844]
  チェーン・オブ・シークレット技術は、マルチモーダルタスクにおいてよく受け入れられている。 マルチモーダル表現学習におけるソフトプロンプトチューニングのためのAgoT(Aggregation-Graph-of-Thought)機構を提案する。
  論文  参考訳（メタデータ） (2024-04-06T07:39:44Z)
• ChainLM: Empowering Large Language Models with Improved Chain-of-Thought Prompting [124.69672273754144]
  CoT(Chain-of-Thought)のプロンプトにより,大規模言語モデル(LLM)の推論能力が向上する 既存のCoTアプローチは通常、単純な推論タスクに重点を置いており、結果として低品質で一貫性のないCoTプロンプトをもたらす。 優れたCoTプロンプトの自動生成のための新しいフレームワークであるCoTGeniusを紹介する。
  論文  参考訳（メタデータ） (2024-03-21T11:34:26Z)
• Graph of Thoughts: Solving Elaborate Problems with Large Language Models [15.711472857775085]
  Graph of Thoughts (GoT)は、大規模言語モデル(LLM)のプロンプト機能を向上させるフレームワークである。 GoTの主な利点は、LLMによって生成された情報を任意のグラフとしてモデル化できることである。 この研究は、推論を人間の思考や再発のような脳のメカニズムに近づける。
  論文  参考訳（メタデータ） (2023-08-18T17:29:23Z)
• Thinking Like an Expert:Multimodal Hypergraph-of-Thought (HoT) Reasoning to boost Foundation Modals [15.372421458422489]
  CoT(Chain-of-Thought)技術は,基礎モデルの推論能力を高めるための有効な手法の1つである。 本稿では,高次マルチホップ推論のエキスパートレベル能力を有する基礎モデルを実現するために,マルチモーダルなハイパーグラフ・オブ・ソート推論パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-08-11T16:13:04Z)
• Minding Language Models' (Lack of) Theory of Mind: A Plug-and-Play Multi-Character Belief Tracker [72.09076317574238]
  ToMは,読解における文字の信念状態を調べるためのプラグアンドプレイ方式である。 ToMは、教師付きベースラインと比較して、配電性能が堅牢でありながら、ゼロオーダー設定でのオフ・ザ・シェルフニューラルネットワーク理論の考え方を強化する。
  論文  参考訳（メタデータ） (2023-06-01T17:24:35Z)
• Visual Chain of Thought: Bridging Logical Gaps with Multimodal Infillings [61.04460792203266]
  本稿では, 逐次データ内の論理的ギャップを埋めるために, 視覚言語による接地を促進させる, チェーン・オブ・シントを利用する新しい手法であるVCoTを紹介する。 本手法は,下流タスクの論理的ギャップを低減するために,一貫した情報と新しい情報を加える合成マルチモーダル埋め込みを生成するために視覚誘導を用いる。
  論文  参考訳（メタデータ） (2023-05-03T17:58:29Z)
• Multimodal Chain-of-Thought Reasoning in Language Models [94.70184390935661]
  言語(テキスト)と視覚(画像)のモダリティを2段階のフレームワークに組み込んだマルチモーダルCoTを提案する。 その結果,ScienceQA と A-OKVQA のベンチマークは,提案手法の有効性を示した。
  論文  参考訳（メタデータ） (2023-02-02T07:51:19Z)
• Text and Patterns: For Effective Chain of Thought, It Takes Two to Tango [11.344587937052697]
  この研究は、大規模言語モデルにおける推論機構のより深い理解に向けた予備的なステップを開始する。 私たちの作業は、シンボル、パターン、テキストというプロンプト内のコンポーネントの1つを除いて、モデルをクエリすることに集中しています。 我々は、テキストがパターンに常識的な知識と意味を与えると仮定する。
  論文  参考訳（メタデータ） (2022-09-16T02:54:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。