論文の概要: Are LLMs the Master of All Trades? : Exploring Domain-Agnostic Reasoning
Skills of LLMs
- arxiv url: http://arxiv.org/abs/2303.12810v1
- Date: Wed, 22 Mar 2023 22:53:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-24 16:54:17.931373
- Title: Are LLMs the Master of All Trades? : Exploring Domain-Agnostic Reasoning
Skills of LLMs
- Title(参考訳): LLMはオールトレードのマスターか?
LLMのドメイン非依存推論技術を探る
- Authors: Shrivats Agrawal
- Abstract要約: 本研究では,大規模言語モデル(LLM)の性能について,様々な推論課題について検討する。
その結果, LLMは類推的, 道徳的推論において優れているが, 空間的推論タスクにおいて, 熟達に苦慮していることが明らかとなった。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The potential of large language models (LLMs) to reason like humans has been
a highly contested topic in Machine Learning communities. However, the
reasoning abilities of humans are multifaceted and can be seen in various
forms, including analogical, spatial and moral reasoning, among others. This
fact raises the question whether LLMs can perform equally well across all these
different domains. This research work aims to investigate the performance of
LLMs on different reasoning tasks by conducting experiments that directly use
or draw inspirations from existing datasets on analogical and spatial
reasoning. Additionally, to evaluate the ability of LLMs to reason like human,
their performance is evaluted on more open-ended, natural language questions.
My findings indicate that LLMs excel at analogical and moral reasoning, yet
struggle to perform as proficiently on spatial reasoning tasks. I believe these
experiments are crucial for informing the future development of LLMs,
particularly in contexts that require diverse reasoning proficiencies. By
shedding light on the reasoning abilities of LLMs, this study aims to push
forward our understanding of how they can better emulate the cognitive
abilities of humans.
- Abstract(参考訳): 大規模言語モデル(LLM)が人間のように推論できる可能性は、機械学習コミュニティで非常に議論の的になっている。
しかし、人間の推論能力は多面的であり、類似性、空間的、道徳的な推論など様々な形態で見られる。
この事実は、LLMがこれらすべての異なる領域で等しく機能するかどうかという問題を提起する。
本研究は,既存のデータセットの類似と空間的推論を直接使用したり,インスピレーションを得たりすることで,異なる推論タスクにおけるllmの性能について検討することを目的とする。
さらに、llmが人間のように推論する能力を評価するため、その性能はよりオープンな自然言語質問に評価される。
その結果, LLMは類推的, 道徳的推論において優れているが, 空間的推論タスクにおいて, 熟達に苦慮していることがわかった。
これらの実験は, LLMの今後の発展, 特に多種多様な推論能力を必要とする状況において, 重要なものであると考えています。
この研究は、LLMの推論能力に光を当てることで、人間の認知能力をより良くエミュレートする方法の理解を深めることを目的としている。
関連論文リスト
- Visualization-of-Thought Elicits Spatial Reasoning in Large Language Models [71.93366651585275]
大規模言語モデル(LLM)は、言語理解と様々な推論タスクにおいて印象的な性能を示した。
textbfVoTは、LLMの空間的推論を、それらの推論トレースを可視化することによって引き起こすことを目的としている。
VoTはLLMの空間的推論能力を著しく向上させる。
論文 参考訳(メタデータ) (2024-04-04T17:45:08Z) - Should We Fear Large Language Models? A Structural Analysis of the Human
Reasoning System for Elucidating LLM Capabilities and Risks Through the Lens
of Heidegger's Philosophy [0.0]
本研究では,Large Language Models(LLM)の能力とリスクについて検討する。
LLM内の単語関係の統計的パターンと、Martin Heidegger氏の概念である"ready-to-hand"と"present-at-hand"の間には、革新的な並列性がある。
以上の結果から, LLMには直接的説明推論と擬似論理推論の能力があるが, 真理的推論に乏しく, 創造的推論能力がないことが明らかとなった。
論文 参考訳(メタデータ) (2024-03-05T19:40:53Z) - PHAnToM: Personality Has An Effect on Theory-of-Mind Reasoning in Large Language Models [25.657579792829743]
本研究では,大規模言語モデルにおけるパーソナリティの誘導が,理論・オブ・ミンド(ToM)推論能力にどのように影響するかを検討する。
3種類のToMタスクにおいて,特定の個人性がLLMの推論能力に大きな影響を与えることが判明した。
ToMにおけるパーソナリティプロンプトのばらつきを示すLCMは、パーソナリティテストにおいてより制御しやすい傾向にある。
論文 参考訳(メタデータ) (2024-03-04T17:34:34Z) - Do Large Language Models Mirror Cognitive Language Processing? [47.72734808139112]
大規模言語モデル(LLM)は、テキスト理解と論理的推論において顕著な能力を示した。
本研究では,LLM表現と人間の認知信号をブリッジして,LLMが認知言語処理をいかに効果的にシミュレートするかを評価する手法を提案する。
論文 参考訳(メタデータ) (2024-02-28T03:38:20Z) - Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。
自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。
これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
論文 参考訳(メタデータ) (2024-01-30T17:38:54Z) - Is Knowledge All Large Language Models Needed for Causal Reasoning? [12.898859965556698]
本稿では,大規模言語モデル(LLM)の因果推論について,人工知能の進化における解釈可能性と信頼性を高めるために検討する。
本稿では,「do-operators」を用いた新たな因果帰属モデルを提案する。
論文 参考訳(メタデータ) (2023-12-30T04:51:46Z) - Large Language Models: The Need for Nuance in Current Debates and a
Pragmatic Perspective on Understanding [1.3654846342364308]
LLM(Large Language Models)は、文法的に正しい、流動的なテキストを生成する能力において、非並列である。
本論文は,LLM能力の批判において再発する3点を批判的に評価する。
LLMにおける現実の理解と意図の問題に関する実践的な視点を概説する。
論文 参考訳(メタデータ) (2023-10-30T15:51:04Z) - Democratizing Reasoning Ability: Tailored Learning from Large Language
Model [97.4921006089966]
そこで我々は,そのような推論能力をより小さなLMに蒸留する,適切な学習手法を提案する。
対話型多ラウンド学習パラダイムを構築することにより,理科教員としてのLLMの可能性を活用する。
より小さなLMの推論可能性を活用するために,学生が自作ミスから学習する動機付けを目的とした自己回帰学習を提案する。
論文 参考訳(メタデータ) (2023-10-20T07:50:10Z) - Learning To Teach Large Language Models Logical Reasoning [33.88499005859982]
大規模言語モデル(LLM)は、学術と産業の両方から大きな注目を集めている。
しかし、現在のLLMは、その固有の問題のために、実用的な推論タスクにおいて信頼性の低いコンテンツを出力している。
論文 参考訳(メタデータ) (2023-10-13T14:53:06Z) - Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。
LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。
モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
論文 参考訳(メタデータ) (2023-10-02T01:00:50Z) - Large Language Models are In-Context Semantic Reasoners rather than
Symbolic Reasoners [75.85554779782048]
大規模言語モデル(LLM)は、近年、自然言語と機械学習コミュニティを興奮させています。
多くの成功を収めたアプリケーションにもかかわらず、そのようなコンテキスト内機能の基盤となるメカニズムはまだ不明である。
本研究では,学習した言語トークンのテクストセマンティクスが推論過程において最も重い処理を行うと仮定する。
論文 参考訳(メタデータ) (2023-05-24T07:33:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。