論文の概要: Read Before You Think: Mitigating LLM Comprehension Failures with Step-by-Step Reading

• arxiv url: http://arxiv.org/abs/2504.09402v2
• Date: Thu, 18 Sep 2025 00:32:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-19 15:20:14.334752
• Title: Read Before You Think: Mitigating LLM Comprehension Failures with Step-by-Step Reading
• Title（参考訳）: 読者が考える前に読む - ステップバイステップの読み込みによるLLMの理解障害の軽減
• Authors: Feijiang Han, Hengtao Cui, Licheng Guo, Zelong Wang, Zhiyuan Lyu,
• Abstract要約: 大きな言語モデル(LLM)は、問題理解の欠陥によって複雑な推論タスクで失敗することが多い。 本稿では,これらの理解障害について,系統的研究を行う。 本稿では,ステップ・バイ・ステップ・レディング(SSR)ファミリについて紹介する。
• 参考スコア（独自算出の注目度）: 2.073147245888634
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) often fail on complex reasoning tasks due to flawed question comprehension, not just flawed logic. This paper presents a systematic investigation into these comprehension failures. Our work yields three key insights: (1) the step-by-step principle, effective for calculation, can be migrated to the reading process to enhance comprehension; (2) increasing the proportion of question-related tokens (e.g., via repetition) succeeds by refocusing attention, a mechanism that can be explicitly controlled; and (3) backward dependencies represent a core bottleneck for decoder-only models that persists even with strong methods like Chain-of-Thought. Based on these findings, we introduce the Step-by-Step Reading (SSR) family of prompts. This multi-stage approach culminates in SSR++, a method specifically engineered to deepen model comprehension by guiding it to parse questions with finer granularity, focus attention on critical tokens, and resolve backward dependencies through iterative re-contextualization. SSR++ sets a new state-of-the-art on multiple reasoning benchmarks, and our analysis confirms it works by directly mitigating semantic misunderstanding. These results demonstrate that guiding how a model reads is a powerful and efficient method for improving its reasoning ability.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、論理に欠陥があるだけでなく、問題理解の欠陥によって複雑な推論タスクで失敗することが多い。 本稿では,これらの理解障害を系統的に調査する。 本研究は,(1)計算に有効なステップ・バイ・ステップの原理を読解プロセスに移行し,理解度を高めること,(2)注意を喚起して,質問関連トークン(例えば,繰り返し)の割合を増大させること,(3)明示的に制御可能なメカニズム,(3)下位依存は,Chain-of-Thoughtのような強力なメソッドでも持続するデコーダのみのモデルにおいて,コアボトルネックを表わす。 以上の結果から,ステップ・バイ・ステップ・レディング(SSR)ファミリについて紹介した。 このマルチステージアプローチは、SSR++において、より細かい粒度で質問を解析し、重要なトークンに注意を向け、反復的再コンテキスト化を通じて後方依存を解決することによって、モデルの理解を深めるために特別に設計された手法である。 SSR++は、複数の推論ベンチマークに新しい最先端技術を設定し、分析により、意味的誤解を直接緩和することで機能することを確認した。 これらの結果から,モデル読解方法の指導は,推論能力を向上させるための強力かつ効率的な手法であることが示唆された。

関連論文リスト

• ALPS: Attention Localization and Pruning Strategy for Efficient Alignment of Large Language Models [14.657194214702473]
  本稿では,最もタスクに敏感なアテンションヘッドをローカライズし,これらのヘッドに対するアテンショントレーニングの更新を制限したアルゴリズムを提案する。 実験の結果,3つのタスクのベースラインよりも2%の性能向上を実現しつつ,微調整中に注目パラメータの10%しか活性化しないことがわかった。
  論文  参考訳（メタデータ） (2025-05-24T17:19:34Z)
• ZeroTuning: Unlocking the Initial Token's Power to Enhance Large Language Models Without Training [8.486942657544825]
  初期トークンの注意の調整は、その後のトークンよりも注意分布を鋭くしたり、平らにすることを示す。 我々は、この特別なトークンに頭部特異的な注意調整を適用することにより、LCMの性能を向上させる訓練不要のアプローチであるZeroTuningを提案する。
  論文  参考訳（メタデータ） (2025-05-16T22:52:24Z)
• Enhancing LLM Character-Level Manipulation via Divide and Conquer [74.55804812450164]
  大規模言語モデル(LLM)は、幅広い自然言語処理(NLP)タスクにまたがる強力な一般化機能を示している。 彼らは文字レベルの文字列操作において顕著な弱点を示し、文字削除、挿入、置換といった基本的な操作に苦労した。 本稿では,トークンレベルの処理と文字レベルの操作のギャップを埋める新しい手法であるDivide and Conquerによる文字レベル操作を提案する。
  論文  参考訳（メタデータ） (2025-02-12T07:37:39Z)
• ARR: Question Answering with Large Language Models via Analyzing, Retrieving, and Reasoning [22.825527641316192]
  大規模言語モデル(LLM)は、複数選択質問応答(QA)タスクとして構成された挑戦的なベンチマークにおいて、顕著なパフォーマンスを達成する。 本稿では,QA解決における3つの重要なステップを明示的に組み込んだ直感的で効果的なゼロショットプロンプト手法であるARRを紹介した。
  論文  参考訳（メタデータ） (2025-02-07T06:30:33Z)
• LlamaV-o1: Rethinking Step-by-step Visual Reasoning in LLMs [103.0226977561914]
  大規模言語モデルにおけるステップバイステップの視覚的推論を促進するための包括的フレームワークを提案する。 マルチステップ推論タスクの評価に特化して設計された視覚推論ベンチマークを導入する。 第二に,個々のステップの粒度で視覚的推論品質を評価する新しい指標を提案する。 第3に、マルチステップのカリキュラム学習アプローチを用いて学習したLlamaV-o1という新しいマルチモーダル視覚推論モデルを提案する。
  論文  参考訳（メタデータ） (2025-01-10T18:59:51Z)
• BoostStep: Boosting mathematical capability of Large Language Models via improved single-step reasoning [83.03531832811386]
  BoostStep はステップ整列 ICL の例を通して推論精度を向上させる方法である。 チェーン・オブ・シークレット(CoT)とツリー検索アルゴリズムをシームレスに統合する。 AIMEにおけるDeepSeek-R1-671Bのパフォーマンスを2.2%改善し、MATHデータセットからの単純な例のみを活用する。
  論文  参考訳（メタデータ） (2025-01-06T18:59:13Z)
• Adaptive Pruning for Large Language Models with Structural Importance Awareness [66.2690963378878]
  大規模言語モデル(LLM)は言語理解と生成能力を大幅に改善した。 LLMは、高い計算およびストレージリソース要求のため、リソース制約のあるエッジデバイスにデプロイするのは難しい。 モデル性能を維持しつつ,計算コストとメモリコストを大幅に削減する構造的適応型プルーニング(SAAP)を提案する。
  論文  参考訳（メタデータ） (2024-12-19T18:08:04Z)
• Prompting Strategies for Enabling Large Language Models to Infer Causation from Correlation [68.58373854950294]
  我々は因果推論に焦点をあて,相関情報に基づく因果関係の確立という課題に対処する。 この問題に対して,元のタスクを固定的なサブクエストに分割するプロンプト戦略を導入する。 既存の因果ベンチマークであるCorr2Causeに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2024-12-18T15:32:27Z)
• Dspy-based Neural-Symbolic Pipeline to Enhance Spatial Reasoning in LLMs [29.735465300269993]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な能力を示してきたが、しばしば空間的推論に苦しむ。 本稿では LLM と Answer Set Programming (ASP) の反復的フィードバックにより LLM の空間推論能力を高める新しいニューラルシンボリックフレームワークを提案する。 我々は、StepGameとSparQAという2つのベンチマークデータセットに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2024-11-27T18:04:05Z)
• Extending Token Computation for LLM Reasoning [5.801044612920816]
  大規模言語モデル(LLM)は、自然言語処理の進歩において重要な要素である。 LLMは、非効率な注意分布のため、複雑な推論タスクに苦しむことが多い。 本稿では,アテンション機構の最適化を利用して,計算トークンをChain-of-Thoughtプロセスで拡張する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-22T03:23:58Z)
• Cumulative Reasoning with Large Language Models [12.267474250936123]
  Cumulative Reasoning (CR)は、大規模言語モデル(LLM)問題解決を強化する構造化フレームワークである。 CRはLLMを3つの異なる役割 - Proposer、Verifier(s)、Reporter - タスクを体系的に分解し、中間的推論ステップを生成し、検証し、ソリューションに構成する。
  論文  参考訳（メタデータ） (2023-08-08T16:18:20Z)
• Learning to Ask Conversational Questions by Optimizing Levenshtein Distance [83.53855889592734]
  明示的な編集動作によって最小レベンシュテイン距離(MLD)を最適化する強化反復シーケンス編集(RISE)フレームワークを導入する。 RISEは会話の特徴に関連するトークンに注意を払うことができる。 2つのベンチマークデータセットの実験結果から、RISEは最先端の手法を大幅に上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-30T08:44:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。