論文の概要: ThoughtSource: A central hub for large language model reasoning data

• arxiv url: http://arxiv.org/abs/2301.11596v3
• Date: Wed, 19 Jul 2023 15:25:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-20 17:42:49.831927
• Title: ThoughtSource: A central hub for large language model reasoning data
• Title（参考訳）: ThoughtSource: 大規模言語モデル推論のための中心的なハブ
• Authors: Simon Ott, Konstantin Hebenstreit, Valentin Li\'evin, Christoffer Egeberg Hother, Milad Moradi, Maximilian Mayrhauser, Robert Praas, Ole Winther, Matthias Samwald
• Abstract要約: ThoughtSource(リンク)は、CoT(リンク)推論のためのメタデータおよびソフトウェアライブラリである。 ThoughtSourceの目標は、CoTの質的理解を促進することによって、将来の人工知能システムを改善することである。
• 参考スコア（独自算出の注目度）: 13.185186859548326
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) such as GPT-4 have recently demonstrated impressive results across a wide range of tasks. LLMs are still limited, however, in that they frequently fail at complex reasoning, their reasoning processes are opaque, they are prone to 'hallucinate' facts, and there are concerns about their underlying biases. Letting models verbalize reasoning steps as natural language, a technique known as chain-of-thought prompting, has recently been proposed as a way to address some of these issues. Here we present ThoughtSource, a meta-dataset and software library for chain-of-thought (CoT) reasoning. The goal of ThoughtSource is to improve future artificial intelligence systems by facilitating qualitative understanding of CoTs, enabling empirical evaluations, and providing training data. This first release of ThoughtSource integrates six scientific/medical, three general-domain and five math word question answering datasets.
• Abstract（参考訳）: GPT-4のような大規模言語モデル(LLM)は、最近、幅広いタスクで印象的な結果を示した。 LLMは依然として制限されているが、複雑な推論でしばしば失敗し、推論プロセスは不透明であり、事実を「幻覚させる」傾向があるため、その根底にあるバイアスには懸念がある。 モデルが推論ステップを自然言語として言語化する手法は、近年、これらの問題に対処する方法として提案されている。 ここでは、思考の連鎖(CoT)推論のためのメタデータおよびソフトウェアライブラリであるThoughtSourceを紹介します。 ThoughtSourceの目標は、CoTの質的理解を促進し、経験的評価を可能にし、トレーニングデータを提供することによって、将来の人工知能システムを改善することである。 ThoughtSourceの最初のリリースでは、6つの科学的/医学的、3つの一般ドメイン、5つの数学語質問応答データセットを統合している。

関連論文リスト

• MindStar: Enhancing Math Reasoning in Pre-trained LLMs at Inference Time [51.5039731721706]
  MindStarは、大言語モデルの純粋に推論に基づく探索手法である。 推論タスクを探索問題として定式化し、最適な推論経路を特定するための2つの探索アイデアを提案する。 Llama-2-13BやMistral-7Bのようなオープンソースモデルの推論能力を大幅に向上させ、GPT-3.5やGrok-1に匹敵する性能を実現している。
  論文  参考訳（メタデータ） (2024-05-25T15:07:33Z)
• LogicBench: Towards Systematic Evaluation of Logical Reasoning Ability of Large Language Models [52.03659714625452]
  最近開発された大規模言語モデル (LLM) は、幅広い言語理解タスクにおいて非常によく機能することが示されている。 しかし、それらは自然言語に対して本当に「理性」があるのだろうか? この疑問は研究の注目を集めており、コモンセンス、数値、定性的など多くの推論技術が研究されている。
  論文  参考訳（メタデータ） (2024-04-23T21:08:49Z)
• Information Re-Organization Improves Reasoning in Large Language Models [22.2946033364035]
  大規模言語モデル(LLM)の推論能力を高める情報再構成(InfoRE)手法を提案する。 本手法では,文書や段落などの文脈的内容から論理的関係を抽出し,ノイズを最小限に抑えるために冗長な内容を抽出する。 Llama2-70B, GPT-3.5, GPT-4 を用いて, 各種マルチホップ推論タスクにおいて, 提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-04-22T08:47:27Z)
• How Do Humans Write Code? Large Models Do It the Same Way Too [14.954886191356342]
  Program-of-Thought(PoT)は、自然言語ベースのChain-of-Thought(CoT)を、大規模言語モデルにおいて最も一般的な方法として置き換える。 PoTを使用すると、CoTと比較して、不正な公式や欠陥論理などの推論エラーがより多く導入される。 本稿では,PoTとCoTの統合を支援する一連の戦略を活用するHTL(Human-Think Language)を提案する。
  論文  参考訳（メタデータ） (2024-02-24T05:40:01Z)
• Implicit Chain of Thought Reasoning via Knowledge Distillation [58.80851216530288]
  思考推論ステップの連鎖を明示的に生成する代わりに、言語モデルの内部の隠れ状態を使用して暗黙の推論を行います。 このアプローチにより、明示的にチェーン・オブ・シントなしでは解決不可能なタスクを、非チェーン・オブ・シントに匹敵する速度で解決できることが分かりました。
  論文  参考訳（メタデータ） (2023-11-02T17:59:49Z)
• MuSR: Testing the Limits of Chain-of-thought with Multistep Soft Reasoning [63.80739044622555]
  自然言語ナラティブで指定されたソフト推論タスクの言語モデルを評価するデータセットである MuSR を紹介する。 このデータセットには2つの重要な特徴がある。まず、ニューロシンボリック合成-自然生成アルゴリズムによって生成される。 第二に、私たちのデータセットインスタンスは、実世界の推論の領域に対応する無料のテキスト物語です。
  論文  参考訳（メタデータ） (2023-10-24T17:59:20Z)
• LINC: A Neurosymbolic Approach for Logical Reasoning by Combining Language Models with First-Order Logic Provers [60.009969929857704]
  論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。 本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。 我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
  論文  参考訳（メタデータ） (2023-10-23T17:58:40Z)
• Graph of Thoughts: Solving Elaborate Problems with Large Language Models [15.711472857775085]
  Graph of Thoughts (GoT)は、大規模言語モデル(LLM)のプロンプト機能を向上させるフレームワークである。 GoTの主な利点は、LLMによって生成された情報を任意のグラフとしてモデル化できることである。 この研究は、推論を人間の思考や再発のような脳のメカニズムに近づける。
  論文  参考訳（メタデータ） (2023-08-18T17:29:23Z)
• MindGames: Targeting Theory of Mind in Large Language Models with Dynamic Epistemic Modal Logic [0.6537995248511139]
  心の理論(ToM)は知性の重要な構成要素であるが、その評価は熱い議論の対象のままである。 そこで本研究では,動的てんかん論理を利用して,ToMの特定の成分を分離し,制御された問題を生成する。 以上の結果から,いくつかの言語モデルスケーリングでは,ランダムな確率よりも連続的に結果が得られないことが示唆された。
  論文  参考訳（メタデータ） (2023-05-05T08:14:48Z)
• Visual Chain of Thought: Bridging Logical Gaps with Multimodal Infillings [61.04460792203266]
  本稿では, 逐次データ内の論理的ギャップを埋めるために, 視覚言語による接地を促進させる, チェーン・オブ・シントを利用する新しい手法であるVCoTを紹介する。 本手法は,下流タスクの論理的ギャップを低減するために,一貫した情報と新しい情報を加える合成マルチモーダル埋め込みを生成するために視覚誘導を用いる。
  論文  参考訳（メタデータ） (2023-05-03T17:58:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。