Fugu-MT 論文翻訳(概要): ActionReasoningBench: Reasoning about Actions with and without Ramification Constraints

論文の概要: ActionReasoningBench: Reasoning about Actions with and without Ramification Constraints

arxiv url: http://arxiv.org/abs/2406.04046v1
Date: Thu, 6 Jun 2024 13:15:37 GMT
ステータス: 処理完了
システム内更新日: 2024-06-07 14:49:58.829341
Title: ActionReasoningBench: Reasoning about Actions with and without Ramification Constraints
Title（参考訳）: ActionReasoningBench: ラミフィケーション制約の有無によるアクションの推論
Authors: Divij Handa, Pavel Dolin, Shrinidhi Kumbhar, Chitta Baral, Tran Cao Son,
Abstract要約: 行動と変化(RAC)に関する推論は、歴史的に多くの初期のAI課題の開発を促してきた。我々は13のドメインを含む新しいベンチマークであるActionReasoningBenchを導入し、LLM(Large Language Models)を厳格に評価する。この結果は,これらのモデルがベンチマークに含まれるすべてのカテゴリで重大な課題に直面していることを示唆している。
参考スコア（独自算出の注目度）: 31.90180597239974
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Reasoning about actions and change (RAC) has historically driven the development of many early AI challenges, such as the frame problem, and many AI disciplines, including non-monotonic and commonsense reasoning. The role of RAC remains important even now, particularly for tasks involving dynamic environments, interactive scenarios, and commonsense reasoning. Despite the progress of Large Language Models (LLMs) in various AI domains, their performance on RAC is underexplored. To address this gap, we introduce a new benchmark, ActionReasoningBench, encompassing 13 domains and rigorously evaluating LLMs across eight different areas of RAC. These include - Object Tracking, Fluent Tracking, State Tracking, Action Executability, Effects of Actions, Numerical RAC, Hallucination Detection, and Composite Questions. Furthermore, we also investigate the indirect effect of actions due to ramification constraints for every domain. Finally, we evaluate our benchmark using open-sourced and commercial state-of-the-art LLMs, including GPT-4o, Gemini-1.0-Pro, Llama2-7b-chat, Llama2-13b-chat, Llama3-8b-instruct, Gemma-2b-instruct, and Gemma-7b-instruct. Our findings indicate that these models face significant challenges across all categories included in our benchmark.
Abstract（参考訳）: 行動と変化(RAC)に関する推論は、歴史的にフレーム問題や非モノトニック推論やコモンセンス推論など、多くのAI分野など、多くの初期のAI課題の開発を推進してきた。 RACの役割は今でも重要であり、特に動的環境、インタラクティブシナリオ、コモンセンス推論といったタスクにおいて重要である。さまざまなAIドメインにおけるLarge Language Models(LLM)の進歩にもかかわらず、RACのパフォーマンスは過小評価されている。このギャップに対処するために、13のドメインを含む新しいベンチマークであるActionReasoningBenchを導入し、RACの8つの異なる領域にわたるLSMを厳格に評価する。対象追跡、フルエントトラッキング、状態追跡、アクション実行性、アクションの効果、数値RAC、幻覚検出、複合質問などである。さらに,各領域の分岐制約による行動の間接的影響についても検討する。最後に, GPT-4o, Gemini-1.0-Pro, Llama2-7b-chat, Llama2-13b-chat, Llama3-8b-instruct, Gemma-2b-instruct, Gemma-7b-instructなどのオープンソースおよび商用LLMを用いて評価を行った。この結果は,これらのモデルがベンチマークに含まれるすべてのカテゴリで重大な課題に直面していることを示唆している。

関連論文リスト

LLM Self-Correction with DeCRIM: Decompose, Critique, and Refine for Enhanced Following of Instructions with Multiple Constraints [86.59857711385833]
実世界のマルチ制約命令に従うLLMの能力を評価するために設計された最初のベンチマークであるRealInstructを紹介する。オープンソースモデルとプロプライエタリモデルのパフォーマンスギャップを解決するため,Decompose, Critique and Refine(DeCRIM)自己補正パイプラインを提案する。この結果から,DeCRIMはフィードバックが弱い場合でも,RealInstructでは7.3%,IFEvalでは8.0%,Mistralでは7.3%向上した。
論文参考訳（メタデータ） (2024-10-09T01:25:10Z)
STOP! Benchmarking Large Language Models with Sensitivity Testing on Offensive Progressions [6.19084217044276]
大規模言語モデル(LLM)における明示的バイアスと暗黙的バイアスの緩和は、自然言語処理の分野において重要な焦点となっている。我々は,2700のユニークな文を含む450の攻撃的進行を含む,攻撃的進行に関する感性テストデータセットを紹介した。以上の結果から,最も優れたモデルでさえバイアスを不整合に検出し,成功率は19.3%から69.8%であった。
論文参考訳（メタデータ） (2024-09-20T18:34:38Z)
Navigating the Labyrinth: Evaluating and Enhancing LLMs' Ability to Reason About Search Problems [59.72548591120689]
我々は,11種類の検索問題を含む新しいベンチマークであるSearchBenchを紹介する。もっとも先進的なLCMでさえ、これらの問題をエンドツーエンドのテキストで解決することができないことを示す。 LLMにその問題を解決するコードを生成するように指示することは助けになるが、GPT4のパフォーマンスは11.7%向上した。
論文参考訳（メタデータ） (2024-06-18T00:44:58Z)
Cutting Through the Noise: Boosting LLM Performance on Math Word Problems [52.99006895757801]
大規模言語モデルは数学用語の問題を解くのに優れるが、無関係な情報を含む現実世界の問題に苦戦する。本稿では,無関係な変数を追加することで,MWPの逆変分を生成するプロンプトフレームワークを提案する。敵の訓練インスタンスの微調整は、敵のMWPのパフォーマンスを8%向上させる。
論文参考訳（メタデータ） (2024-05-30T18:07:13Z)
Evaluating Interventional Reasoning Capabilities of Large Language Models [58.52919374786108]
大規模言語モデル(LLM)は、システムの異なる部分への介入の下で因果効果を推定することができる。 LLMが介入に応じてデータ生成プロセスの知識を正確に更新できるかどうかを実証分析して評価する。我々は、様々な因果グラフ(例えば、コンバウンディング、仲介)と変数タイプにまたがるベンチマークを作成し、介入に基づく推論の研究を可能にする。
論文参考訳（メタデータ） (2024-04-08T14:15:56Z)
Evidence to Generate (E2G): A Single-agent Two-step Prompting for Context Grounded and Retrieval Augmented Reasoning [3.117335706912261]
Evidence to Generate(E2G)は、新しいシングルエージェント、2ステッププロンプトフレームワークである。証明されていない推論の主張の代わりに、E2Gは文脈で明確に言及された思考列にのみ焦点をあてる。ツールは、幅広い知識集約的な推論と生成タスクにおいて、顕著な結果を達成する。
論文参考訳（メタデータ） (2024-01-11T09:49:15Z)
Towards leveraging LLMs for Conditional QA [1.9649272351760063]
本研究では,条件付き質問応答の挑戦領域におけるLarge Language Models(LLM)の機能と限界について考察する。これらの結果から,全ての入力コンテキストを完全にエンコードすることなく,微調整LDMがSOTA(State-of-the-art (SOTA))性能を上回ることが判明した。これらのモデルは、抽出された質問応答において、SOTAを10ポイント以上遅れる問題に遭遇し、偽情報を注入するリスクを軽減する。
論文参考訳（メタデータ） (2023-12-02T14:02:52Z)
Exposing Limitations of Language Model Agents in Sequential-Task Compositions on the Web [74.76803612807949]
言語モデルエージェント(LMA)は、ミューティステップ決定タスクにおける有望なパラダイムとして登場した。約束にもかかわらず、現実世界のアプリケーションでの彼らのパフォーマンスはまだ過小評価されている。既存のLMAはベースタスクで平均94.0%の成功率を達成したが、その性能は構成タスクで平均24.9%に低下した。
論文参考訳（メタデータ） (2023-11-30T17:50:47Z)
Cumulative Reasoning with Large Language Models [12.267474250936123]
累積推論(CR)は、累積的かつ反復的に言語モデルを利用する新しいアプローチである。いくつかの複雑な推論タスクを通してCRの優位性を実証する。 CRはMATHデータセットに新しい最先端技術を設定する。
論文参考訳（メタデータ） (2023-08-08T16:18:20Z)
TRAC: A Textual Benchmark for Reasoning about Actions and Change [7.79582487378263]
行動と変化(RAC)に関する推論は、絶えず変化する環境を理解し、相互作用するために不可欠である。近年のトランスフォーマーベース言語モデル(LM)では、テキストよりも推論が望ましい。総合的なテキストベンチマークとして4つの本質的なRACタスクを提案し、他の言語的要求の影響を最小限に抑える方法で問題を発生させる。
論文参考訳（メタデータ） (2022-11-25T06:54:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。