論文の概要: ActionReasoningBench: Reasoning about Actions with and without Ramification Constraints

• arxiv url: http://arxiv.org/abs/2406.04046v1
• Date: Thu, 6 Jun 2024 13:15:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 14:49:58.829341
• Title: ActionReasoningBench: Reasoning about Actions with and without Ramification Constraints
• Title（参考訳）: ActionReasoningBench: ラミフィケーション制約の有無によるアクションの推論
• Authors: Divij Handa, Pavel Dolin, Shrinidhi Kumbhar, Chitta Baral, Tran Cao Son,
• Abstract要約: 行動と変化(RAC)に関する推論は、歴史的に多くの初期のAI課題の開発を促してきた。 我々は13のドメインを含む新しいベンチマークであるActionReasoningBenchを導入し、LLM(Large Language Models)を厳格に評価する。 この結果は,これらのモデルがベンチマークに含まれるすべてのカテゴリで重大な課題に直面していることを示唆している。
• 参考スコア（独自算出の注目度）: 31.90180597239974
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reasoning about actions and change (RAC) has historically driven the development of many early AI challenges, such as the frame problem, and many AI disciplines, including non-monotonic and commonsense reasoning. The role of RAC remains important even now, particularly for tasks involving dynamic environments, interactive scenarios, and commonsense reasoning. Despite the progress of Large Language Models (LLMs) in various AI domains, their performance on RAC is underexplored. To address this gap, we introduce a new benchmark, ActionReasoningBench, encompassing 13 domains and rigorously evaluating LLMs across eight different areas of RAC. These include - Object Tracking, Fluent Tracking, State Tracking, Action Executability, Effects of Actions, Numerical RAC, Hallucination Detection, and Composite Questions. Furthermore, we also investigate the indirect effect of actions due to ramification constraints for every domain. Finally, we evaluate our benchmark using open-sourced and commercial state-of-the-art LLMs, including GPT-4o, Gemini-1.0-Pro, Llama2-7b-chat, Llama2-13b-chat, Llama3-8b-instruct, Gemma-2b-instruct, and Gemma-7b-instruct. Our findings indicate that these models face significant challenges across all categories included in our benchmark.
• Abstract（参考訳）: 行動と変化(RAC)に関する推論は、歴史的にフレーム問題や非モノトニック推論やコモンセンス推論など、多くのAI分野など、多くの初期のAI課題の開発を推進してきた。 RACの役割は今でも重要であり、特に動的環境、インタラクティブシナリオ、コモンセンス推論といったタスクにおいて重要である。 さまざまなAIドメインにおけるLarge Language Models(LLM)の進歩にもかかわらず、RACのパフォーマンスは過小評価されている。 このギャップに対処するために、13のドメインを含む新しいベンチマークであるActionReasoningBenchを導入し、RACの8つの異なる領域にわたるLSMを厳格に評価する。 対象追跡、フルエントトラッキング、状態追跡、アクション実行性、アクションの効果、数値RAC、幻覚検出、複合質問などである。 さらに,各領域の分岐制約による行動の間接的影響についても検討する。 最後に, GPT-4o, Gemini-1.0-Pro, Llama2-7b-chat, Llama2-13b-chat, Llama3-8b-instruct, Gemma-2b-instruct, Gemma-7b-instructなどのオープンソースおよび商用LLMを用いて評価を行った。 この結果は,これらのモデルがベンチマークに含まれるすべてのカテゴリで重大な課題に直面していることを示唆している。

関連論文リスト

• Harnessing Temporal Causality for Advanced Temporal Action Detection [53.654457142657236]
  本稿では,因果的注意と因果的マンバを組み合わせたCausalTADを提案する。 Ego4D Challenge 2024では,EPIC-Kitchens Challenge 2024では行動認識,行動検出,音声によるインタラクション検出トラックで1位,Ego4D Challenge 2024ではMoment Queriesトラックで1位にランクインした。
  論文  参考訳（メタデータ） (2024-07-25T06:03:02Z)
• Variable-Agnostic Causal Exploration for Reinforcement Learning [56.52768265734155]
  強化学習のための新しいフレームワークVACERL(Variable-Agnostic Causal Exploration for Reinforcement Learning)を導入する。 本手法は,注目機構を用いて,重要変数に関連する重要な観測行動ステップを自動的に同定する。 これらのステップを接続する因果グラフを構築し、エージェントをタスク完了に対する因果的影響の大きい観察-作用ペアへと導く。
  論文  参考訳（メタデータ） (2024-07-17T09:45:27Z)
• R-Eval: A Unified Toolkit for Evaluating Domain Knowledge of Retrieval Augmented Large Language Models [51.468732121824125]
  大規模言語モデルは一般的なNLPタスクにおいて顕著な成功を収めてきたが、ドメイン固有の問題には不足する可能性がある。 既存の評価ツールは、ドメイン知識の深さを掘り下げることなく、いくつかのベースラインを提供し、様々なドメインで評価するのみである。 本稿では、R-Evalツールキット(R-Evalツールキット)を導入し、異なるRAGの評価を合理化することによるALLMの評価の課題に対処する。
  論文  参考訳（メタデータ） (2024-06-17T15:59:49Z)
• MARS: Benchmarking the Metaphysical Reasoning Abilities of Language Models with a Multi-task Evaluation Dataset [50.36095192314595]
  大きな言語モデル(LLM)は、一般化可能な推論能力を持つ意識的なエージェントとして機能する。 この能力は、イベントにおける無限の可能な変更をモデル化する複雑さのために、まだ探索されていない。 我々は,各ステップに対応する3つのタスクからなる最初のベンチマークMARSを紹介する。
  論文  参考訳（メタデータ） (2024-06-04T08:35:04Z)
• HAZARD Challenge: Embodied Decision Making in Dynamically Changing Environments [93.94020724735199]
  HAZARDは、火災、洪水、風などの3つの予期せぬ災害シナリオで構成されている。 このベンチマークにより、さまざまなパイプラインで自律エージェントの意思決定能力を評価することができる。
  論文  参考訳（メタデータ） (2024-01-23T18:59:43Z)
• A Strategy for Implementing description Temporal Dynamic Algorithms in Dynamic Knowledge Graphs by SPIN [6.176867277585226]
  本研究では,記述論理(DL)の拡張,時間的形式主義,行動形式主義などの関連する論理構造について検討した。 アクションの表現と推論のために、私たちはアクションをDL(Dynamic-ALCとその拡張など)に埋め込んだ。 本稿では,アクションプロジェクション,計画,満足度,一貫性,実現可能性,実行性をチェックするための用語可能なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-15T18:43:48Z)
• Action Sensitivity Learning for Temporal Action Localization [35.65086250175736]
  本稿では,時間的行動ローカライゼーションの課題に取り組むために,行動感性学習フレームワーク(ASL)を提案する。 まず、クラスレベルでのアクション感度とインスタンスレベルでのアクション感度を学習するための軽量なアクション感度評価器を導入する。 各フレームの動作感度に基づいて、アクション認識フレームを正のペアとしてサンプリングし、アクション非関連フレームを除去する機能を強化するために、アクション感性コントラスト損失を設計する。
  論文  参考訳（メタデータ） (2023-05-25T04:19:14Z)
• TRAC: A Textual Benchmark for Reasoning about Actions and Change [7.79582487378263]
  行動と変化(RAC)に関する推論は、絶えず変化する環境を理解し、相互作用するために不可欠である。 近年のトランスフォーマーベース言語モデル(LM)では、テキストよりも推論が望ましい。 総合的なテキストベンチマークとして4つの本質的なRACタスクを提案し、他の言語的要求の影響を最小限に抑える方法で問題を発生させる。
  論文  参考訳（メタデータ） (2022-11-25T06:54:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。