Fugu-MT 論文翻訳(概要): An Evaluation of ChatGPT-4's Qualitative Spatial Reasoning Capabilities in RCC-8

論文の概要: An Evaluation of ChatGPT-4's Qualitative Spatial Reasoning Capabilities in RCC-8

arxiv url: http://arxiv.org/abs/2309.15577v1
Date: Wed, 27 Sep 2023 11:23:15 GMT
ステータス: 処理完了
システム内更新日: 2023-09-28 14:06:20.061574
Title: An Evaluation of ChatGPT-4's Qualitative Spatial Reasoning Capabilities in RCC-8
Title（参考訳）: RCC-8におけるChatGPT-4の定性的空間推論能力の評価
Authors: Anthony G Cohn
Abstract要約: 本稿では, メレオトポロジカル計算, RCC-8における古典的定性的空間推論タスクを, 特定のLLMが行うことができる範囲について検討する。
参考スコア（独自算出の注目度）: 3.8324903698928106
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Qualitative Spatial Reasoning (QSR) is well explored area of Commonsense Reasoning and has multiple applications ranging from Geographical Information Systems to Robotics and Computer Vision. Recently many claims have been made for the capabilities of Large Language Models (LLMs). In this paper we investigate the extent to which one particular LLM can perform classical qualitative spatial reasoning tasks on the mereotopological calculus, RCC-8.
Abstract（参考訳）: 定性的空間推論(QSR)は、地理情報システムからロボティクス、コンピュータビジョンまで多岐にわたる応用分野である。近年、Large Language Models (LLMs) の能力について多くの主張がなされている。本稿では, メレオトポロジカル計算, RCC-8における古典的定性的空間推論タスクを, 特定のLLMが行うことができる範囲について検討する。

関連論文リスト

AGENT-CQ: Automatic Generation and Evaluation of Clarifying Questions for Conversational Search with LLMs [53.6200736559742]
エージェント-CQは、世代ステージと評価ステージの2つのステージから構成される。 CrowdLLMは、人間のクラウドソーシング判断をシミュレートして、生成された質問や回答を評価する。 ClariQデータセットの実験では、質問と回答の品質を評価するCrowdLLMの有効性が示されている。
論文参考訳（メタデータ） (2024-10-25T17:06:27Z)
TuringQ: Benchmarking AI Comprehension in Theory of Computation [0.9023847175654603]
本稿では,計算理論における大規模言語モデル(LLM)の推論能力を評価するために設計された最初のベンチマークであるTuringQを紹介する。チューリングQは4,006人の学部生と大学院レベルの質問応答ペアで構成され、難易度は4つの難易度に分類され、7つの中核的な理論領域をカバーする。
論文参考訳（メタデータ） (2024-10-09T04:53:38Z)
A RAG Approach for Generating Competency Questions in Ontology Engineering [1.0044270899550196]
LLM(Large Language Models)の出現により、このプロセスの自動化と強化が可能になった。本稿では,LLMを用いてCQの自動生成を行うRAG(Research-augmented Generation)手法を提案する。 2つのドメインエンジニアリングタスクで GPT-4 を用いて実験を行い、ドメインの専門家が構築した地味な CQ と比較する。
論文参考訳（メタデータ） (2024-09-13T13:34:32Z)
SpaRC and SpaRP: Spatial Reasoning Characterization and Path Generation for Understanding Spatial Reasoning Capability of Large Language Models [70.01883340129204]
空間推論は生物学的と人工知能の両方において重要な要素です本稿では,現在最先端の大規模言語モデル (LLM) の空間的推論能力について包括的に検討する。
論文参考訳（メタデータ） (2024-06-07T01:06:34Z)
Reframing Spatial Reasoning Evaluation in Language Models: A Real-World Simulation Benchmark for Qualitative Reasoning [4.422649561583363]
言語モデル(LM)における空間推論評価のための新しいベンチマークを提案する。現実的な3Dシミュレーションデータに基づいており、様々なオブジェクトとそれらの空間的関係を持つ一連の多様な部屋レイアウトを提供する。重要なコントリビューションは、論理ベースの一貫性チェックツールです。
論文参考訳（メタデータ） (2024-05-23T21:22:00Z)
An Experiment in Retrofitting Competency Questions for Existing Ontologies [0.0]
公理とともにCQを検査することは、CQのスコープと適用性に関する重要な洞察を提供する。 CQは工学的手法の大多数に不可欠なものであるが、工芸品とともにCQを出版する実践は広くは観察されていない。
論文参考訳（メタデータ） (2023-11-09T08:57:39Z)
Unveiling A Core Linguistic Region in Large Language Models [49.860260050718516]
本稿では,脳局在化をプロトタイプとして用いた類似研究を行う。我々は、言語能力に対応する大規模言語モデルにおいて、中核領域を発見した。我々は,言語能力の向上が必ずしもモデルの知識レベルの向上に伴わないことを観察する。
論文参考訳（メタデータ） (2023-10-23T13:31:32Z)
How to Handle Different Types of Out-of-Distribution Scenarios in Computational Argumentation? A Comprehensive and Fine-Grained Field Study [59.13867562744973]
この研究は、オフ・オブ・ディストリビューション(OOD)シナリオにおけるLMの能力を体系的に評価する。このような学習パラダイムの有効性は,OODの種類によって異なることがわかった。具体的には、ICLはドメインシフトに優れているが、プロンプトベースの微調整はトピックシフトに勝っている。
論文参考訳（メタデータ） (2023-09-15T11:15:47Z)
SciBench: Evaluating College-Level Scientific Problem-Solving Abilities of Large Language Models [70.5763210869525]
拡張ベンチマークスイートSciBench for Large Language Model (LLM)を導入する。 SciBenchには、数学、化学、物理学の分野から、さまざまな大学レベルの科学的問題を含むデータセットが含まれている。その結果、現在のLLMは満足のいく性能を達成できないことが判明し、全体のスコアは43.22%に過ぎなかった。
論文参考訳（メタデータ） (2023-07-20T07:01:57Z)
A Quantum Kernel Learning Approach to Acoustic Modeling for Spoken Command Recognition [69.97260364850001]
本稿では,量子カーネル学習(QKL)フレームワークを提案する。古典的-量子的特徴符号化に基づく音響特性を計画する。
論文参考訳（メタデータ） (2022-11-02T16:46:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。