論文の概要: FRoG: Evaluating Fuzzy Reasoning of Generalized Quantifiers in Large Language Models

• arxiv url: http://arxiv.org/abs/2407.01046v2
• Date: Wed, 3 Jul 2024 03:37:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 12:55:43.616795
• Title: FRoG: Evaluating Fuzzy Reasoning of Generalized Quantifiers in Large Language Models
• Title（参考訳）: FRoG:大規模言語モデルにおける一般化量子化器のファジィ推論の評価
• Authors: Yiyuan Li, Shichao Sun, Pengfei Liu,
• Abstract要約: ファジィ推論のための新しいベンチマークFRoGを導入する。 ファジィ推論は大きな言語モデルにとって大きな課題であり続けている。 また、強い数学的推論スキルが必ずしもベンチマークの成功を示すものではないことも示している。
• 参考スコア（独自算出の注目度）: 25.495382952522792
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Fuzzy reasoning is vital due to the frequent use of imprecise information in daily contexts. However, the ability of current large language models (LLMs) to handle such reasoning remains largely uncharted. In this paper, we introduce a new benchmark, FRoG, for fuzzy reasoning, featuring real-world mathematical word problems that incorporate generalized quantifiers. Our experimental findings reveal that fuzzy reasoning continues to pose significant challenges for LLMs. Moreover, we find that existing methods designed to enhance reasoning do not consistently improve performance in tasks involving fuzzy logic. Additionally, our results show an inverse scaling effect in the performance of LLMs on FRoG. Interestingly, we also demonstrate that strong mathematical reasoning skills are not necessarily indicative of success on our benchmark.
• Abstract（参考訳）: ファジィ推論は、日常の文脈で不正確な情報が頻繁に使われるため、不可欠である。 しかし、そのような推論を扱うための現在の大規模言語モデル(LLM)の能力は、いまだにほとんど変化がない。 本稿では,ファジィ推論のための新しいベンチマークFRoGを紹介する。 実験の結果, ファジィ推論はLSMにとって重要な課題であり続けていることが明らかとなった。 さらに、推論を強化するために設計された既存の手法は、ファジィ論理を含むタスクの性能を一貫して改善しないことがわかった。 さらに,本研究の結果は,FRoG上でのLDMの逆スケーリング効果を示す。 興味深いことに、強い数学的推論スキルが必ずしもベンチマークの成功を示すものではないことも示している。

関連論文リスト

• RUPBench: Benchmarking Reasoning Under Perturbations for Robustness Evaluation in Large Language Models [12.112914393948415]
  RUPBenchは,多種多様な推論タスクにわたる大規模言語モデル(LLM)を評価するために設計されたベンチマークである。 我々のベンチマークには15の推論データセットが組み込まれており、コモンセンス、算術、論理、知識集約推論に分類されている。 GPT-4o, Llama3, Phi-3, Gemmaといった最先端のLCMの原文および摂動データセットの性能を調べることにより, その堅牢性およびエラーパターンを詳細に解析する。
  論文  参考訳（メタデータ） (2024-06-16T17:26:44Z)
• FiDeLiS: Faithful Reasoning in Large Language Model for Knowledge Graph Question Answering [46.41364317172677]
  外部知識グラフに基づく推論の中間段階を扱うための検索探索対話手法FiDelisを提案する。 我々は、LLMの論理と常識推論を知識検索プロセスに組み込み、より正確なリコール性能を提供する。
  論文  参考訳（メタデータ） (2024-05-22T17:56:53Z)
• Aggregation of Reasoning: A Hierarchical Framework for Enhancing Answer Selection in Large Language Models [84.15513004135576]
  最近の研究は、複数の推論チェーンをサンプリングし、応答周波数に基づいてアンサンブルすることで、Large Language Models(LLMs)の推論性能を向上させる。 このアプローチは、正しい答えが少数派である場合に失敗する。 階層的推論集約フレームワークAoRを導入し、推論連鎖の評価に基づいて回答を選択する。
  論文  参考訳（メタデータ） (2024-05-21T17:12:19Z)
• LogicBench: Towards Systematic Evaluation of Logical Reasoning Ability of Large Language Models [52.03659714625452]
  最近開発された大規模言語モデル (LLM) は、幅広い言語理解タスクにおいて非常によく機能することが示されている。 しかし、それらは自然言語に対して本当に「理性」があるのだろうか? この疑問は研究の注目を集めており、コモンセンス、数値、定性的など多くの推論技術が研究されている。
  論文  参考訳（メタデータ） (2024-04-23T21:08:49Z)
• Can LLMs Reason with Rules? Logic Scaffolding for Stress-Testing and Improving LLMs [87.34281749422756]
  大規模言語モデル(LLM)は、様々な推論タスクにおいて、印象的な人間的なパフォーマンスを実現している。 しかし、その根底にある推論規則の熟達性は、人間の能力に欠ける。 本稿では,推論ルールベースであるULogicを構築するための,推論ルール生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-18T03:38:51Z)
• LLMs for Relational Reasoning: How Far are We? [8.840750655261251]
  大規模言語モデル(LLM)は、下流タスクで最先端のパフォーマンスを達成することで、多くの領域に革命をもたらした。 近年の取り組みにより,LSMは逐次決定問題の解決に乏しいことが示されている。
  論文  参考訳（メタデータ） (2024-01-17T08:22:52Z)
• Are LLMs Rigorous Logical Reasoner? Empowering Natural Language Proof Generation with Contrastive Stepwise Decoding [11.385103498440932]
  本稿では,論理的推論のためのモデルの能力を高めるために,負の推論経路を用いることにより,ステップワイズな証明生成に対照的な復号を導入する。 EntailmentBankの実験は、言語モデルの計画能力を実証する上で、我々の手法の成功を裏付けている。
  論文  参考訳（メタデータ） (2023-11-12T05:12:49Z)
• DetermLR: Augmenting LLM-based Logical Reasoning from Indeterminacy to Determinacy [76.58614128865652]
  非決定性から決定性への進化として推論過程を再考する新しい視点であるDetermLRを提案する。 まず、既知の条件を次の2つのタイプに分類する: 決定的および不決定的前提 これは、推論プロセスのオール方向を提供し、不決定的データを段階的決定的洞察に変換する際のLCMを導く。 我々は、利用可能な施設の保存と抽出、推論メモリによる推論パスの自動化、そしてその後の推論ステップに関する歴史的推論の詳細を保存する。
  論文  参考訳（メタデータ） (2023-10-28T10:05:51Z)
• Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
  大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。 LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。 モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
  論文  参考訳（メタデータ） (2023-10-02T01:00:50Z)
• GraphReason: Enhancing Reasoning Capabilities of Large Language Models through A Graph-Based Verification Approach [0.0]
  大きな言語モデル(LLM)は印象的な推論機能を示しています。 本稿では,LLMの推論能力をさらに向上するグラフベースの新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-08-18T03:12:59Z)
• Exploring Self-supervised Logic-enhanced Training for Large Language Models [59.227222647741094]
  本稿では,自己指導型ポストトレーニングによる論理的知識の活用の可能性について検討する。 我々はMERItの自己回帰的目的変数を考案し、パラメータサイズが30億から13億の2つのLLM系列、すなわちFLAN-T5とLLaMAと統合する。 2つの挑戦的な論理的推論ベンチマークの結果は、LogicLLMの有効性を示している。
  論文  参考訳（メタデータ） (2023-05-23T06:13:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。