論文の概要: Premise Order Matters in Reasoning with Large Language Models

• arxiv url: http://arxiv.org/abs/2402.08939v3
• Date: Tue, 28 May 2024 04:32:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 01:28:38.410115
• Title: Premise Order Matters in Reasoning with Large Language Models
• Title（参考訳）: 大規模言語モデルによる推論における前提順序事項
• Authors: Xinyun Chen, Ryan A. Chi, Xuezhi Wang, Denny Zhou,
• Abstract要約: 大規模言語モデル (LLM) は,前提の順序に驚くほど脆弱であることを示す。 前提順序が中間的推論ステップで要求されるコンテキストと一致した場合, LLM が最高の性能を達成することを観察する。
• 参考スコア（独自算出の注目度）: 57.18850969634412
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have accomplished remarkable reasoning performance in various domains. However, in the domain of reasoning tasks, we discover a frailty: LLMs are surprisingly brittle to the ordering of the premises, despite the fact that such ordering does not alter the underlying task. In particular, we observe that LLMs achieve the best performance when the premise order aligns with the context required in intermediate reasoning steps. For example, in deductive reasoning tasks, presenting the premises in the same order as the ground truth proof in the prompt (as opposed to random ordering) drastically increases the model's accuracy. We first examine the effect of premise ordering on deductive reasoning on a variety of LLMs, and our evaluation shows that permuting the premise order can cause a performance drop of over 30%. In addition, we release the benchmark R-GSM, based on GSM8K, to examine the ordering effect for mathematical problem-solving, and we again observe a significant drop in accuracy, relative to the original GSM8K benchmark.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な領域において顕著な推論性能を達成している。 しかし、推論タスクの領域では、私たちは不安定さを発見します: LLMは、そのような順序付けが基礎となるタスクを変えないという事実にもかかわらず、前提の順序付けに対して驚くほど脆弱です。 特に、前提順序が中間推論ステップで要求されるコンテキストと整合すると、LCMが最高の性能を達成することを観察する。 例えば、帰納的推論タスクでは、(ランダムな順序付けとは対照的に)プロンプトにおける基底真理証明と同じ順序で前提を提示すると、モデルの精度が劇的に向上する。 まず, 前提順序が多種多様 LLM に与える影響について検討し, 前提順序が変われば30%以上の性能低下が生じることを示した。 さらに,GSM8KをベースとしたベンチマークR-GSMをリリースし,数学的な問題解決の順序付け効果を検証し,元のGSM8Kベンチマークと比較して精度の大幅な低下を観測した。

関連論文リスト

• Premise-Augmented Reasoning Chains Improve Error Identification in Math reasoning with LLMs [10.373838332986738]
  大型言語モデル(LLM)の数学的推論を促進させるチェーン・オブ・ソート(CoT) 本稿では,各ステップの前提を識別し,推論の評価を改善するためのフレームワークを提案する。 本研究は,複雑な問題解決課題に対処する前提中心表現の有用性を強調した。
  論文  参考訳（メタデータ） (2025-02-04T14:44:58Z)
• Prompting Strategies for Enabling Large Language Models to Infer Causation from Correlation [68.58373854950294]
  我々は因果推論に焦点をあて,相関情報に基づく因果関係の確立という課題に対処する。 この問題に対して,元のタスクを固定的なサブクエストに分割するプロンプト戦略を導入する。 既存の因果ベンチマークであるCorr2Causeに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2024-12-18T15:32:27Z)
• Not All LLM Reasoners Are Created Equal [58.236453890457476]
  小学校数学におけるLLMの解答能力の深さについて検討する。 既存の数式語問題に対して,それらの性能を併用して評価する。
  論文  参考訳（メタデータ） (2024-10-02T17:01:10Z)
• Order Matters in Hallucination: Reasoning Order as Benchmark and Reflexive Prompting for Large-Language-Models [0.0]
  大規模言語モデル(LLM)は、その誕生以来、様々な学術分野や産業分野にまたがって大きな注目を集めてきた。 LLMはしばしば「ハロシン化問題」に悩まされるが、出力は文法的にも論理的にも一貫性があり、事実の正確性に欠ける。
  論文  参考訳（メタデータ） (2024-08-09T14:34:32Z)
• Aggregation of Reasoning: A Hierarchical Framework for Enhancing Answer Selection in Large Language Models [84.15513004135576]
  最近の研究は、複数の推論チェーンをサンプリングし、応答周波数に基づいてアンサンブルすることで、Large Language Models(LLMs)の推論性能を向上させる。 このアプローチは、正しい答えが少数派である場合に失敗する。 階層的推論集約フレームワークAoRを導入し、推論連鎖の評価に基づいて回答を選択する。
  論文  参考訳（メタデータ） (2024-05-21T17:12:19Z)
• Assessing the Reasoning Capabilities of LLMs in the context of Evidence-based Claim Verification [22.92500697622486]
  証拠と組み合わせた主張を原子推論タイプに分解するフレームワークを提案する。 私たちはこのフレームワークを使って、最初のクレーム検証ベンチマークであるRECV(Reasoning in Evidence-based Claim Verification)を作成します。 我々は、複数のプロンプト設定の下で、最先端のLLMを3つ評価する。
  論文  参考訳（メタデータ） (2024-02-16T14:52:05Z)
• LogicAsker: Evaluating and Improving the Logical Reasoning Ability of Large Language Models [63.14196038655506]
  大規模言語モデル(LLM)の論理的推論能力を評価・拡張するための新しいアプローチであるLogicAskerを紹介する。 提案手法は, LLMが論理規則を学習する際の大きなギャップを明らかにし, 異なるモデル間で29%から90%の推論失敗を識別する。 GPT-4oのようなモデルにおける論理的推論を最大5%向上させることで、これらの知見を活用して、ターゲットとなる実演例と微調整データを構築した。
  論文  参考訳（メタデータ） (2024-01-01T13:53:53Z)
• Hypothesis Search: Inductive Reasoning with Language Models [39.03846394586811]
  最近の研究は「文脈学習」を直接促すことで帰納的推論タスクにおける大規模言語モデルの評価を行っている これは単純な帰納的タスクではうまく機能するが、Abstraction and Reasoning Corpus (ARC)のような複雑なタスクではうまく機能しない。 本研究では,複数の抽象レベルで明示的な仮説を生成することにより,LLMの帰納的推論能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-09-11T17:56:57Z)
• Large Language Models are Better Reasoners with Self-Verification [48.534270563880845]
  大規模言語モデル(LLM)は、いくつかの自然言語処理タスクにおいて強力な推論能力を示している。 思考の連鎖(CoT)を促進させるLLMは、個別のミスに非常に敏感な、多段階のプロンプトと多段階の予測を必要とする。 また,LLMにも同様な自己検証能力があることを示す。
  論文  参考訳（メタデータ） (2022-12-19T15:51:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。