論文の概要: Reasoning Abilities of Large Language Models: In-Depth Analysis on the Abstraction and Reasoning Corpus

• arxiv url: http://arxiv.org/abs/2403.11793v1
• Date: Mon, 18 Mar 2024 13:50:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 20:19:57.334944
• Title: Reasoning Abilities of Large Language Models: In-Depth Analysis on the Abstraction and Reasoning Corpus
• Title（参考訳）: 大規模言語モデルの推論能力:抽象と推論コーパスの詳細な分析
• Authors: Seungpil Lee, Woochang Sim, Donghyeon Shin, Sanha Hwang, Wongyu Seo, Jiwon Park, Seokki Lee, Sejin Kim, Sundong Kim,
• Abstract要約: 大規模言語モデルの推論と文脈理解能力を評価するための新しい手法を提案する。 抽象・推論コーパスデータセットを用いて,大規模言語モデルの推論と文脈理解能力を評価する。
• 参考スコア（独自算出の注目度）: 4.569421189811511
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The existing methods for evaluating the inference abilities of Large Language Models (LLMs) have been results-centric, making it difficult to assess the inference process. We introduce a new approach using the Abstract and Reasoning Corpus (ARC) dataset to evaluate the inference and contextual understanding abilities of large language models in a process-centric manner. ARC demands rigorous logical structures for problem-solving, making it a benchmark that facilitates the comparison of model inference abilities with humans. Experimental results confirm that while large language models possess weak inference abilities, they still lag in terms of logical coherence, compositionality, and productivity. Our experiments highlight the reasoning capabilities of LLMs, proposing development paths for achieving human-level reasoning.
• Abstract（参考訳）: 大規模言語モデル(LLM)の推論能力を評価する既存の手法は結果中心であり,推論プロセスの評価が困難である。 プロセス中心の方法で大規模言語モデルの推論と文脈理解能力を評価するために,ARCデータセットを用いた新しい手法を提案する。 ARCは問題解決のために厳密な論理構造を必要としており、モデル推論能力と人間の比較を容易にするベンチマークである。 実験の結果、大きな言語モデルは推論能力が弱いが、論理的一貫性、構成性、生産性の点でまだ遅れていることが明らかとなった。 実験では,LLMの推論能力を強調し,人間レベルの推論を実現するための開発経路を提案する。

関連論文リスト

• Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making [51.737762570776006]
  LLM-ACTRは、ヒトに適応し、多目的な意思決定を提供する新しいニューロシンボリックアーキテクチャである。 我々のフレームワークは、ACT-Rの内部決定過程の知識を潜在神経表現として抽出し、組み込む。 デザイン・フォー・マニュファクチャリング・タスクに関する我々の実験は、タスク性能の向上と基礎的意思決定能力の向上を両立させたものである。
  論文  参考訳（メタデータ） (2024-08-17T11:49:53Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• A Systematic Analysis of Large Language Models as Soft Reasoners: The Case of Syllogistic Inferences [5.141416267381492]
  我々は、論理学と認知心理学において広範囲に研究されている誘因的推論の領域であるシロメトリクス推論の事例を考察する。 思考の連鎖的推論,文脈内学習,教師付き微調整がシロメトリクス的推論に及ぼす影響について検討した。 以上の結果から,事前学習したLSMの行動は認知科学によって説明できる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-06-17T08:59:04Z)
• Conceptual and Unbiased Reasoning in Language Models [98.90677711523645]
  本稿では,抽象的質問に対する概念的推論をモデルに強制する,新しい概念化フレームワークを提案する。 既存の大規模言語モデルは概念的推論では不足しており、様々なベンチマークでは9%から28%に低下している。 ハイレベルな抽象的推論が不偏で一般化可能な意思決定の鍵となるので、モデルがどのように改善できるかについて議論する。
  論文  参考訳（メタデータ） (2024-03-30T00:53:53Z)
• Comparing Inferential Strategies of Humans and Large Language Models in Deductive Reasoning [25.732397636695882]
  大規模言語モデル(LLM)では,人間の観察と類似した推論パターンが示される。 我々の研究は、モデルの構造と規模が、その好む推論方法に大きく影響していることを示します。
  論文  参考訳（メタデータ） (2024-02-20T12:58:14Z)
• Learning Planning-based Reasoning by Trajectories Collection and Process Reward Synthesizing [61.98556945939045]
  収集された軌道上でのDPO(Direct Preference Optimization)を通して計画に基づく推論を学習するフレームワークを提案する。 論理的推論ベンチマークの挑戦的な結果から,学習フレームワークの有効性が示された。
  論文  参考訳（メタデータ） (2024-02-01T15:18:33Z)
• From Heuristic to Analytic: Cognitively Motivated Strategies for Coherent Physical Commonsense Reasoning [66.98861219674039]
  ヒューリスティック分析推論(HAR)戦略は、モデル決定のための合理化のコヒーレンスを大幅に改善する。 以上の結果から, PLM推論の一貫性と信頼性を効果的に向上できる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-10-24T19:46:04Z)
• Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
  大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。 LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。 モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
  論文  参考訳（メタデータ） (2023-10-02T01:00:50Z)
• In-Context Analogical Reasoning with Pre-Trained Language Models [10.344428417489237]
  我々は、AIシステムにおけるアナロジーを支援するために、直感的な言語ベースの抽象化の使用について検討する。 具体的には,大規模事前学習言語モデル(PLM)を視覚的Raven's Progressive Matrices(RPM)に適用する。 PLMはゼロショットリレーショナル推論に顕著な能力を示し、人間のパフォーマンスを超え、教師付き視覚ベースの手法に近づいた。
  論文  参考訳（メタデータ） (2023-05-28T04:22:26Z)
• Post Hoc Explanations of Language Models Can Improve Language Models [43.2109029463221]
  AMPLIFY(Post Hoc Explanations)を用いたインコンテキスト学習の活用によるモデル性能向上のための新しいフレームワークを提案する。 我々は,各入力特徴がモデル予測に与える影響を抽出し,帰属スコア(説明)を出力するポストホック説明手法を活用する。 AMPLIFYは,幅広いタスクに対して約10～25%の精度向上を実現している。
  論文  参考訳（メタデータ） (2023-05-19T04:46:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。