論文の概要: Concept-Reversed Winograd Schema Challenge: Evaluating and Improving Robust Reasoning in Large Language Models via Abstraction

• arxiv url: http://arxiv.org/abs/2410.12040v1
• Date: Tue, 15 Oct 2024 20:19:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:44:30.950320
• Title: Concept-Reversed Winograd Schema Challenge: Evaluating and Improving Robust Reasoning in Large Language Models via Abstraction
• Title（参考訳）: 概念逆Winogradスキーマの課題:抽象化による大規模言語モデルにおけるロバスト推論の評価と改善
• Authors: Kaiqiao Han, Tianqing Fang, Zhaowei Wang, Yangqiu Song, Mark Steedman,
• Abstract要約: 我々は,表層論理的連鎖に頼るのではなく,Large Language Models (LLM) が頑健な推論を行う範囲を評価する。 我々は、有名なウィノグラードチャレンジ(WSC)データセットに基づいて、新しい評価データセットである概念逆ウィノグラードチャレンジ(CR-WSC)を提案する。
• 参考スコア（独自算出の注目度）: 48.20754793102953
• License:
• Abstract: While Large Language Models (LLMs) have showcased remarkable proficiency in reasoning, there is still a concern about hallucinations and unreliable reasoning issues due to semantic associations and superficial logical chains. To evaluate the extent to which LLMs perform robust reasoning instead of relying on superficial logical chains, we propose a new evaluation dataset, the Concept-Reversed Winograd Schema Challenge (CR-WSC), based on the famous Winograd Schema Challenge (WSC) dataset. By simply reversing the concepts to those that are more associated with the wrong answer, we find that the performance of LLMs drops significantly despite the rationale of reasoning remaining the same. Furthermore, we propose Abstraction-of-Thought (AoT), a novel prompt method for recovering adversarial cases to normal cases using conceptual abstraction to improve LLMs' robustness and consistency in reasoning, as demonstrated by experiments on CR-WSC.
• Abstract（参考訳）: 大規模言語モデル(LLM)は推論において顕著な習熟度を示したが、意味的関連や表面論理的連鎖による幻覚や信頼性の低い推論の問題はまだ懸念されている。 表面的な論理的連鎖に頼るのではなく,LLMが頑健な推論を行う程度を評価するために,有名なWinograd Schema Challenge (WSC)データセットに基づく新しい評価データセットであるConcept-Reversed Winograd Schema Challenge (CR-WSC)を提案する。 誤った解答とより関係のある解に単純に逆転することで、理性理論が同じであるにもかかわらず LLM の性能は著しく低下することがわかった。 さらに, CR-WSC実験で実証されたように, LLMの堅牢性, 一貫性を向上させるために, 概念的抽象化を用いて, 通常のケースに対して, 敵のケースを復元する新たなプロンプト手法であるAoT(Abstraction-of-Thought)を提案する。

関連論文リスト

• ZebraLogic: On the Scaling Limits of LLMs for Logical Reasoning [92.76959707441954]
  我々はLLM推論性能を評価するための総合的な評価フレームワークであるZebraLogicを紹介した。 ZebraLogicは、制御可能で定量化可能な複雑さを持つパズルの生成を可能にする。 その結果,複雑性が増大するにつれて,精度が著しく低下することが明らかとなった。
  論文  参考訳（メタデータ） (2025-02-03T06:44:49Z)
• Reinforcing Thinking through Reasoning-Enhanced Reward Models [6.636512424910708]
  大規模言語モデル(LLM)は、推論時思考による複雑な多段階推論において大きな可能性を秘めている。 LLMは、知識境界に対する自己認識が限られているため、いつ思考をやめるかを決めるのに苦労する。 この研究は、LLM自身の推論プロセスを合成行動データに蒸留することで、これらの課題に対処する。
  論文  参考訳（メタデータ） (2024-12-31T04:50:15Z)
• Critical-Questions-of-Thought: Steering LLM reasoning with Argumentative Querying [0.3659498819753633]
  State-of-the-art Large Language Model (LLM) は論理的および数学的推論を行う際にも苦戦している。 本稿では、議論論に関する文献からの批判的質問の概念を利用し、特にトゥールミンの議論モデルに焦点を当てる。 これらの重要な質問を取り入れることで,LLMの推論能力が向上することを示す。
  論文  参考訳（メタデータ） (2024-12-19T18:51:30Z)
• RAG-Star: Enhancing Deliberative Reasoning with Retrieval Augmented Verification and Refinement [85.08223786819532]
  既存の大規模言語モデル(LLM)は、例外的な問題解決能力を示すが、複雑な推論タスクに苦労する可能性がある。 検索情報を統合した新しいRAG手法である textbfRAG-Star を提案する。 Llama-3.1-8B-Instruct と GPT-4o を併用した実験により,RAG-Star は従来のRAG と推理法を著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2024-12-17T13:05:36Z)
• Leveraging LLMs for Hypothetical Deduction in Logical Inference: A Neuro-Symbolic Approach [11.400815134634016]
  本稿では,忠実な論理的推論のためのニューロシンボリックアプローチであるLINAを紹介する。 LLMが命題論理抽出から洗練された論理推論への移行を自律的に行えるようにすることで、LINAは推論プロセスのレジリエンスを高める。 実証的な評価は、LINAが確立された命題論理フレームワークと従来のプロンプト技術の両方を著しく上回っていることを示している。
  論文  参考訳（メタデータ） (2024-10-29T06:38:46Z)
• Enhancing Logical Reasoning in Large Language Models through Graph-based Synthetic Data [53.433309883370974]
  本研究では,大規模言語モデルの推論能力を高めるための学習信号としてグラフベースの合成推論データを使用することの可能性と限界について検討する。 2つの確立された自然言語推論タスクにおいて,合成グラフに基づく推論データによる教師付き微調整が,他の標準評価ベンチマークでの有効性を損なうことなく,LLMの推論性能を効果的に向上することを示した。
  論文  参考訳（メタデータ） (2024-09-19T03:39:09Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• On the Hardness of Faithful Chain-of-Thought Reasoning in Large Language Models [25.029579061612456]
  大規模言語モデル(LLM)は、医療などの重要な領域における現実世界のアプリケーションにますます採用されている。 これらのモデルによって生成されたCoT(Chain-of-Thought)推論が、その基盤となる振る舞いを忠実に捉えることが重要である。
  論文  参考訳（メタデータ） (2024-06-15T13:16:44Z)
• Aggregation of Reasoning: A Hierarchical Framework for Enhancing Answer Selection in Large Language Models [84.15513004135576]
  最近の研究は、複数の推論チェーンをサンプリングし、応答周波数に基づいてアンサンブルすることで、Large Language Models(LLMs)の推論性能を向上させる。 このアプローチは、正しい答えが少数派である場合に失敗する。 階層的推論集約フレームワークAoRを導入し、推論連鎖の評価に基づいて回答を選択する。
  論文  参考訳（メタデータ） (2024-05-21T17:12:19Z)
• Concise and Organized Perception Facilitates Reasoning in Large Language Models [32.71672086718057]
  大規模言語モデル (LLM) は, 推論作業における乱雑な内容や無関係な内容を扱う際に, 人間の認知バイアスに類似した障害パターンを示す。 コンシス・アンド・オーガナイズド・パーセプション(COP)という新しい推論手法を提案する。 COPは与えられたステートメントを慎重に分析し、冗長性を効率的に排除しながら、最も関連する情報を識別する。
  論文  参考訳（メタデータ） (2023-10-05T04:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。