論文の概要: Tree of Problems: Improving structured problem solving with compositionality

• arxiv url: http://arxiv.org/abs/2410.06634v1
• Date: Wed, 9 Oct 2024 07:35:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 04:39:35.493404
• Title: Tree of Problems: Improving structured problem solving with compositionality
• Title（参考訳）: 問題の木:構成性による構造的問題解決の改善
• Authors: Armel Zebaze, Benoît Sagot, Rachel Bawden,
• Abstract要約: 大規模言語モデル(LLM)は、コンテキスト内学習を通じて、複数のタスクにまたがる顕著なパフォーマンスを示す。 Tree of Problems (ToP)は、ToTのよりシンプルなバージョンであり、我々は、同一のサブタスクに分割できる複雑なタスクに対して、よりうまく機能すると仮定する。 実験の結果,提案手法はToTやGoTよりも優れており,複雑な推論タスクではCoTよりも優れていることがわかった。
• 参考スコア（独自算出の注目度）: 20.704153242284114
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated remarkable performance across multiple tasks through in-context learning. For complex reasoning tasks that require step-by-step thinking, Chain-of-Thought (CoT) prompting has given impressive results, especially when combined with self-consistency. Nonetheless, some tasks remain particularly difficult for LLMs to solve. Tree of Thoughts (ToT) and Graph of Thoughts (GoT) emerged as alternatives, dividing the complex problem into paths of subproblems. In this paper, we propose Tree of Problems (ToP), a simpler version of ToT, which we hypothesise can work better for complex tasks that can be divided into identical subtasks. Our empirical results show that our approach outperforms ToT and GoT, and in addition performs better than CoT on complex reasoning tasks. All code for this paper is publicly available here: https://github.com/ArmelRandy/tree-of-problems.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、コンテキスト内学習を通じて、複数のタスクにまたがる顕著なパフォーマンスを示す。 ステップバイステップの思考を必要とする複雑な推論タスクに対して、CoT(Chain-of-Thought)は、特に自己整合性(self-consistency)と組み合わせることで、印象的な結果をもたらした。 それでも、LLMが解くのが特に難しいタスクがいくつかある。 Tree of Thoughts (ToT) と Graph of Thoughts (GoT) が代替として登場し、複雑な問題をサブプロブレムの経路に分割した。 本稿では,ToTの簡易版であるTree of Problems (ToP)を提案する。 実験の結果,提案手法はToTやGoTよりも優れており,複雑な推論タスクではCoTよりも優れていることがわかった。 この論文の全コードは、https://github.com/ArmelRandy/tree-of-problems.comで公開されている。

関連論文リスト

• To CoT or not to CoT? Chain-of-thought helps mainly on math and symbolic reasoning [55.52872152909785]
  Chain-of-Thought (CoT) は,大規模言語モデル (LLM) から推論能力を引き出すデファクト手法である。 私たちは、CoTが主に数学や論理学を含むタスクに強いパフォーマンス上の利点をもたらし、他のタスクよりもはるかに少ない利益をもたらすことを示しています。
  論文  参考訳（メタデータ） (2024-09-18T17:55:00Z)
• Seek and Solve Reasoning for Table Question Answering [49.006950918895306]
  本稿では,大規模言語モデルの推論機能を活用して,表に基づく質問応答(TQA)の性能を向上させる。 人間がTQAタスクを解く方法に触発されて、私たちはLLMにまず関連する情報を求め、質問に答えるように指示するSeek-and-seekパイプラインを提案します。 本稿では,パイプラインから抽出した単一段TQA分解プロンプトについて述べる。
  論文  参考訳（メタデータ） (2024-09-09T02:41:00Z)
• Chain of Preference Optimization: Improving Chain-of-Thought Reasoning in LLMs [37.147529569445396]
  Tree-of- Thought (ToT) 法では、ツリー探索を用いて推論空間を広範囲に探索し、CoTデコーディングが見落としてしまうかもしれない推論経路をよりよく見つける。 ToTで構築された検索ツリーを利用した細調整言語モデル(LLMs)により、CoTは同様のあるいはより良いパフォーマンスを実現することができる。 これはCPO(Chain of Preference Optimization)によって実現され、LLMはCoT推論パスの各ステップをToTのステップと整列するように微調整される。
  論文  参考訳（メタデータ） (2024-06-13T14:07:02Z)
• On the Empirical Complexity of Reasoning and Planning in LLMs [29.588100727466976]
  Chain-of-Thought(CoT)、tree-of-Thought(ToT)、および関連するテクニックは、大規模言語モデル(LLM)を用いた複雑な推論タスクにおいて、実際に驚くほどうまく機能する。 この研究は、実験ケーススタディを実行し、パフォーマンスの利点を機械学習における十分に確立されたサンプルと計算の複雑さの原則に結びつけることによって、根本的な理由を追求する。
  論文  参考訳（メタデータ） (2024-04-17T03:34:27Z)
• Recursion of Thought: A Divide-and-Conquer Approach to Multi-Context Reasoning with Language Models [58.41943058963672]
  我々はRecursion of Thought (RoT)と呼ばれる新しい推論フレームワークを提案する。 RoTはいくつかの特別なトークンを導入し、モデルが出力してコンテキスト関連の操作をトリガーする。 GPT-3を含む複数のアーキテクチャの実験により、RoTは問題を解くためにLMの推論能力を劇的に改善した。
  論文  参考訳（メタデータ） (2023-06-12T06:34:16Z)
• Faith and Fate: Limits of Transformers on Compositionality [109.79516190693415]
  3つの代表的構成課題にまたがる変圧器大言語モデルの限界について検討する。 これらのタスクは、問題をサブステップに分割し、これらのステップを正確な答えに合成する必要があります。 実験結果から,多段階合成推論を線形化部分グラフマッチングに還元することにより,トランスフォーマーLLMが構成課題を解くことが示唆された。
  論文  参考訳（メタデータ） (2023-05-29T23:24:14Z)
• Successive Prompting for Decomposing Complex Questions [50.00659445976735]
  最近の研究は、大規模言語モデル(LM)の機能を活用して、数ショットで複雑な質問応答を行う。 そこでは、複雑なタスクを単純なタスクに繰り返し分解し、それを解決し、最終解を得るまでプロセスを繰り返します。 我々の最良のモデル(逐次プロンプト付き)は、DROPデータセットの数ショットバージョンにおいて、5%の絶対F1の改善を実現します。
  論文  参考訳（メタデータ） (2022-12-08T06:03:38Z)
• Decomposed Prompting: A Modular Approach for Solving Complex Tasks [55.42850359286304]
  本稿では,より単純なサブタスクに分解することで,複雑なタスクを解くための分解プロンプトを提案する。 このモジュール構造は、各プロンプトを特定のサブタスクに最適化することを可能にする。 Decomposed Promptingの柔軟性とモジュラリティは、数発のプロンプトで先行作業より優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-05T17:28:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。