論文の概要: LLM for Complex Reasoning Task: An Exploratory Study in Fermi Problems

• arxiv url: http://arxiv.org/abs/2504.02671v1
• Date: Thu, 03 Apr 2025 15:13:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-04 12:57:00.673506
• Title: LLM for Complex Reasoning Task: An Exploratory Study in Fermi Problems
• Title（参考訳）: 複雑な推論タスクのためのLLM:フェルミ問題における探索的研究
• Authors: Zishuo Liu, Carlos Rabat Villarreal, Mostafa Rahgouy, Amit Das, Zheng Zhang, Chang Ren, Dongji Feng,
• Abstract要約: フェルミ問題(Fermi Problems、FP)は、人間のような論理と数値推論を必要とする数学的推論タスクである。 AIの進歩にもかかわらず、FPはいまだにあまり探索されていない。 本研究は,大規模言語モデル(LLM)のFP解決能力と限界を明らかにするための探索的研究である。
• 参考スコア（独自算出の注目度）: 7.2009087111114685
• License:
• Abstract: Fermi Problems (FPs) are mathematical reasoning tasks that require human-like logic and numerical reasoning. Unlike other reasoning questions, FPs often involve real-world impracticalities or ambiguous concepts, making them challenging even for humans to solve. Despite advancements in AI, particularly with large language models (LLMs) in various reasoning tasks, FPs remain relatively under-explored. This work conducted an exploratory study to examine the capabilities and limitations of LLMs in solving FPs. We first evaluated the overall performance of three advanced LLMs using a publicly available FP dataset. We designed prompts according to the recently proposed TELeR taxonomy, including a zero-shot scenario. Results indicated that all three LLMs achieved a fp_score (range between 0 - 1) below 0.5, underscoring the inherent difficulty of these reasoning tasks. To further investigate, we categorized FPs into standard and specific questions, hypothesizing that LLMs would perform better on standard questions, which are characterized by clarity and conciseness, than on specific ones. Comparative experiments confirmed this hypothesis, demonstrating that LLMs performed better on standard FPs in terms of both accuracy and efficiency.
• Abstract（参考訳）: フェルミ問題(Fermi Problems、FP)は、人間のような論理と数値推論を必要とする数学的推論タスクである。 他の推論問題とは異なり、FPには現実の非現実性や曖昧な概念が伴うことが多く、人間の解決にも挑戦する。 AIの進歩、特に様々な推論タスクにおける大きな言語モデル(LLM)にもかかわらず、FPは比較的未探索のままである。 本研究は、FPの解法におけるLLMの能力と限界について探索的研究を行った。 我々はまず,公開FPデータセットを用いて,3つの高度なLCMの全体的な性能を評価した。 我々は、最近提案されたTELeR分類に従って、ゼロショットシナリオを含むプロンプトを設計した。 その結果、3つのLLMはいずれも0.5以下のfp_score(0～1の範囲)を達成し、これらの推論タスクの本質的な難しさを浮き彫りにした。 さらに,FPを標準質問と特定質問に分類し,LLMは特定の質問よりも明瞭さと簡潔さを特徴とする標準質問に優れた性能を示すと仮定した。 比較実験によりこの仮説が立証され、LLMは精度と効率の両面で標準FPよりも優れた性能を示した。

関連論文リスト

• RuleArena: A Benchmark for Rule-Guided Reasoning with LLMs in Real-World Scenarios [58.90106984375913]
  RuleArenaは、大規模言語モデル(LLM)が推論において複雑な現実世界のルールに従う能力を評価するために設計された、新しくて挑戦的なベンチマークである。 航空会社の荷物手数料、NBA取引、税制の3つの実践的領域をカバーするルールアリーナは、複雑な自然言語命令を扱うのにLLMの習熟度を評価する。
  論文  参考訳（メタデータ） (2024-12-12T06:08:46Z)
• What Makes In-context Learning Effective for Mathematical Reasoning: A Theoretical Analysis [81.15503859645149]
  本稿では,大規模言語モデルの推論性能に及ぼす文脈内実演の影響を理論的に解析することを目的とする。 本稿では, LMS3 という, 単純で一般化可能な, 低複雑さな実演選択法を提案する。
  論文  参考訳（メタデータ） (2024-12-11T11:38:11Z)
• Can Large Language Models Reason? A Characterization via 3-SAT [11.422434149376478]
  大規模言語モデル(LLM)は高度な推論能力を持つAIモデルとして評価されている。 近年の研究では、LLMは、しばしばショートカットを使用した真の推論を回避し、懐疑論を引き起こすことが示されている。 本稿では,論理的推論と制約満足度タスクの中核に位置するNP完全問題である 3-SAT を中心にした実験プロトコルを提案する。
  論文  参考訳（メタデータ） (2024-08-13T21:54:10Z)
• Order Matters in Hallucination: Reasoning Order as Benchmark and Reflexive Prompting for Large-Language-Models [0.0]
  大規模言語モデル(LLM)は、その誕生以来、様々な学術分野や産業分野にまたがって大きな注目を集めてきた。 LLMはしばしば「ハロシン化問題」に悩まされるが、出力は文法的にも論理的にも一貫性があり、事実の正確性に欠ける。
  論文  参考訳（メタデータ） (2024-08-09T14:34:32Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• Identifying Factual Inconsistencies in Summaries: Grounding LLM Inference via Task Taxonomy [48.29181662640212]
  事実的矛盾は、生成モデルによる忠実な要約にとって重要なハードルとなる。 我々は,要約中の不整合事実のキーエラータイプを集約し,ゼロショットと教師付きパラダイムの両方を容易にするためにそれらを組み込んだ。
  論文  参考訳（メタデータ） (2024-02-20T08:41:23Z)
• LLMs for Relational Reasoning: How Far are We? [8.840750655261251]
  大規模言語モデル(LLM)は、下流タスクで最先端のパフォーマンスを達成することで、多くの領域に革命をもたらした。 近年の取り組みにより,LSMは逐次決定問題の解決に乏しいことが示されている。
  論文  参考訳（メタデータ） (2024-01-17T08:22:52Z)
• Zero-Shot Question Answering over Financial Documents using Large Language Models [0.18749305679160366]
  我々は,財務報告に対するマルチホップ数値推論を必要とする複雑な問題に答えるために,大規模言語モデル(LLM)に基づくアプローチを導入する。 LLMを誘導する新しいゼロショットプロンプトを使用して、必要な推論をPythonプログラムやドメイン固有言語にエンコードします。
  論文  参考訳（メタデータ） (2023-11-19T16:23:34Z)
• Survey on Factuality in Large Language Models: Knowledge, Retrieval and Domain-Specificity [61.54815512469125]
  本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。 LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
  論文  参考訳（メタデータ） (2023-10-11T14:18:03Z)
• Exploring Self-supervised Logic-enhanced Training for Large Language Models [59.227222647741094]
  本稿では,自己指導型ポストトレーニングによる論理的知識の活用の可能性について検討する。 我々はMERItの自己回帰的目的変数を考案し、パラメータサイズが30億から13億の2つのLLM系列、すなわちFLAN-T5とLLaMAと統合する。 2つの挑戦的な論理的推論ベンチマークの結果は、LogicLLMの有効性を示している。
  論文  参考訳（メタデータ） (2023-05-23T06:13:10Z)
• Assessing Hidden Risks of LLMs: An Empirical Study on Robustness, Consistency, and Credibility [37.682136465784254]
  我々は、ChatGPT、LLaMA、OPTを含む、主流の大規模言語モデル(LLM)に100万以上のクエリを実行します。 入力が極端に汚染された場合でも、ChatGPTは正しい答えを得ることができる。 そこで本研究では,LCMによる評価において,そのようなデータの有効性を大まかに決定する新たな指標を提案する。
  論文  参考訳（メタデータ） (2023-05-15T15:44:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。