Fugu-MT 論文翻訳(概要): An Evaluation of ChatGPT-4's Qualitative Spatial Reasoning Capabilities in RCC-8

論文の概要: An Evaluation of ChatGPT-4's Qualitative Spatial Reasoning Capabilities in RCC-8

arxiv url: http://arxiv.org/abs/2309.15577v1
Date: Wed, 27 Sep 2023 11:23:15 GMT
ステータス: 処理完了
システム内更新日: 2023-09-28 14:06:20.061574
Title: An Evaluation of ChatGPT-4's Qualitative Spatial Reasoning Capabilities in RCC-8
Title（参考訳）: RCC-8におけるChatGPT-4の定性的空間推論能力の評価
Authors: Anthony G Cohn
Abstract要約: 本稿では, メレオトポロジカル計算, RCC-8における古典的定性的空間推論タスクを, 特定のLLMが行うことができる範囲について検討する。
参考スコア（独自算出の注目度）: 3.8324903698928106
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Qualitative Spatial Reasoning (QSR) is well explored area of Commonsense Reasoning and has multiple applications ranging from Geographical Information Systems to Robotics and Computer Vision. Recently many claims have been made for the capabilities of Large Language Models (LLMs). In this paper we investigate the extent to which one particular LLM can perform classical qualitative spatial reasoning tasks on the mereotopological calculus, RCC-8.
Abstract（参考訳）: 定性的空間推論(QSR)は、地理情報システムからロボティクス、コンピュータビジョンまで多岐にわたる応用分野である。近年、Large Language Models (LLMs) の能力について多くの主張がなされている。本稿では, メレオトポロジカル計算, RCC-8における古典的定性的空間推論タスクを, 特定のLLMが行うことができる範囲について検討する。

関連論文リスト

MM-IQ: Benchmarking Human-Like Abstraction and Reasoning in Multimodal Models [5.02953506943752]
MM-IQは、8つの異なる推論パラダイムにまたがる2,710個の精巧にキュレートされたテスト項目からなる総合的な評価フレームワークである。最先端のアーキテクチャでさえ、ランダムなチャンスに対してわずかに優れたパフォーマンスしか達成できません。この性能は、基本的な人間の推論能力の近似において、現在のマルチモーダルシステムの不十分さを浮き彫りにしている。
論文参考訳（メタデータ） (2025-02-02T07:12:03Z)
Chain-of-Reasoning: Towards Unified Mathematical Reasoning in Large Language Models via a Multi-Paradigm Perspective [90.86370957353911]
CoR(Chain-of-Reasoning)は、複数の推論パラダイムを統合する新しい統合フレームワークである。 CoRは異なる推論パラダイムを用いて複数の潜在的な答えを生成し、それらをコヒーレントな最終解へと合成する。実験の結果,CoR-Math-7Bは現在のSOTAモデルより有意に優れていた。
論文参考訳（メタデータ） (2025-01-19T16:53:26Z)
CC-OCR: A Comprehensive and Challenging OCR Benchmark for Evaluating Large Multimodal Models in Literacy [50.78228433498211]
CC-OCRは、マルチシーンテキスト読取、多言語テキスト読取、文書解析、キー情報抽出の4つのOCR中心のトラックで構成されている。 39のサブセットと7,058のフルアノテートされたイメージが含まれており、そのうち41%が実際のアプリケーションからソースされ、初めてリリースされた。我々は9つの顕著なLMMを評価し、これらのモデルの長所と短所、特にテキストの接地、多目的化、繰り返しの幻覚について明らかにした。
論文参考訳（メタデータ） (2024-12-03T07:03:25Z)
Can Large Language Models Reason about the Region Connection Calculus? [3.2441135190739416]
大規模言語モデル(LLM)の推論能力について検討する。我々は,3組の実験(構成表の再構成,人間の構成嗜好の整合性,概念的近傍再構築)を最先端のLCMを用いて行った。すべてのインスタンスは、LLMの関係性を測定するために30回繰り返される。
論文参考訳（メタデータ） (2024-11-29T10:10:16Z)
AGENT-CQ: Automatic Generation and Evaluation of Clarifying Questions for Conversational Search with LLMs [53.6200736559742]
エージェント-CQは、世代ステージと評価ステージの2つのステージから構成される。 CrowdLLMは、人間のクラウドソーシング判断をシミュレートして、生成された質問や回答を評価する。 ClariQデータセットの実験では、質問と回答の品質を評価するCrowdLLMの有効性が示されている。
論文参考訳（メタデータ） (2024-10-25T17:06:27Z)
A RAG Approach for Generating Competency Questions in Ontology Engineering [1.0044270899550196]
LLM(Large Language Models)の出現により、このプロセスの自動化と強化が可能になった。本稿では,LLMを用いてCQの自動生成を行うRAG(Research-augmented Generation)手法を提案する。 2つのドメインエンジニアリングタスクで GPT-4 を用いて実験を行い、ドメインの専門家が構築した地味な CQ と比較する。
論文参考訳（メタデータ） (2024-09-13T13:34:32Z)
SpaRC and SpaRP: Spatial Reasoning Characterization and Path Generation for Understanding Spatial Reasoning Capability of Large Language Models [70.01883340129204]
空間推論は生物学的と人工知能の両方において重要な要素です本稿では,現在最先端の大規模言語モデル (LLM) の空間的推論能力について包括的に検討する。
論文参考訳（メタデータ） (2024-06-07T01:06:34Z)
Reframing Spatial Reasoning Evaluation in Language Models: A Real-World Simulation Benchmark for Qualitative Reasoning [4.422649561583363]
言語モデル(LM)における空間推論評価のための新しいベンチマークを提案する。現実的な3Dシミュレーションデータに基づいており、様々なオブジェクトとそれらの空間的関係を持つ一連の多様な部屋レイアウトを提供する。重要なコントリビューションは、論理ベースの一貫性チェックツールです。
論文参考訳（メタデータ） (2024-05-23T21:22:00Z)
Unveiling A Core Linguistic Region in Large Language Models [49.860260050718516]
本稿では,脳局在化をプロトタイプとして用いた類似研究を行う。我々は、言語能力に対応する大規模言語モデルにおいて、中核領域を発見した。我々は,言語能力の向上が必ずしもモデルの知識レベルの向上に伴わないことを観察する。
論文参考訳（メタデータ） (2023-10-23T13:31:32Z)
A Quantum Kernel Learning Approach to Acoustic Modeling for Spoken Command Recognition [69.97260364850001]
本稿では,量子カーネル学習(QKL)フレームワークを提案する。古典的-量子的特徴符号化に基づく音響特性を計画する。
論文参考訳（メタデータ） (2022-11-02T16:46:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。