論文の概要: Question Tokens Deserve More Attention: Enhancing Large Language Models without Training through Step-by-Step Reading and Question Attention Recalibration

• arxiv url: http://arxiv.org/abs/2504.09402v1
• Date: Sun, 13 Apr 2025 02:10:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:55:23.356055
• Title: Question Tokens Deserve More Attention: Enhancing Large Language Models without Training through Step-by-Step Reading and Question Attention Recalibration
• Title（参考訳）: 質問トークンは、より注意を保ちます: ステップバイステップの読み書きと質問注意の校正を通じて、トレーニングなしで大規模言語モデルを強化する
• Authors: Feijiang Han, Licheng Guo, Hengtao Cui, Zhiyuan Lyu,
• Abstract要約: 大規模言語モデル(LLM)は、複雑な問題に対する深い理解を必要とするタスクに悩まされることが多い。 本研究では,現在のLLMの限界について考察する。 質問トークンを漸進的に処理し,それらの推論を入力構造と整合させるようにLCMを誘導するプロンプトベースの戦略のファミリーを提案する。
• 参考スコア（独自算出の注目度）: 0.36561146074362716
• License:
• Abstract: Large Language Models (LLMs) often struggle with tasks that require a deep understanding of complex questions, especially when faced with long-range dependencies or multi-step reasoning. This work investigates the limitations of current LLMs in question comprehension and identifies three insights: (1) repeating question tokens improves comprehension by increasing attention to question regions, (2) increased backward dependencies negatively affect performance due to unidirectional attentional constraints, and (3) recalibrating attentional mechanisms to prioritize question-relevant regions improves performance. Based on these findings, we first propose a family of prompt-based strategies - Step-by-Step Reading (SSR), SSR+, and SSR++ - that guide LLMs to incrementally process question tokens and align their reasoning with the input structure. These methods significantly improve performance, with SSR++ achieving state-of-the-art results on several benchmarks: 96.66% on GSM8K, 94.61% on ASDiv, and 76.28% on AQuA. Second, we introduce a training-free attention recalibration mechanism that dynamically adjusts attention distributions during inference to emphasize question-relevant regions. This method improves the accuracy of LLaMA 3.1-8B on AQuA by 5.17% without changing model parameters or input prompts. Taken together, our results highlight the importance of structured prompt design and attention optimization in improving LLM comprehension, providing lightweight yet effective tools for improving performance in various NLP tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、特に長距離依存や複数ステップの推論に直面している場合、複雑な問題に対する深い理解を必要とするタスクに悩まされることが多い。 本研究では,(1)質問トークンの繰り返しが質問領域への注意を増すことによって理解を向上させること,(2)一方向の注意制約による後方依存の増大がパフォーマンスに悪影響を及ぼすこと,(3)質問関連領域の優先順位付けのための注意機構の見直しによってパフォーマンスが向上すること,の3つの知見を明らかにする。 これらの結果に基づき,まず,SSR(Step-by-Step Reading),SSR+,SSR++(SSR/SSR/SSR/SSR/SSR/SSR/SSR/SSR/SSR/SSR/SSR/SSR/SSR/SSR/SSR/SSR/SSR/SSR/SSR/SSR/SSR/SSR/SSR/SSR/SSR /SSR/SSR/SSR/SSR/SSR/SSR/SSR/SSR/SSR/SSR/SSR/SSR/SSR/SSR/SSR/SSR/SSR/SSR/SSR/SSR/SSR/SSR/SSR/SSR/SSR /SSR/SSR)を指導する。 これらの手法はパフォーマンスを大幅に改善し、SSR++はGSM8Kで96.66%、ASDivで94.61%、AQuAで76.28%を達成している。 第2に、推論中の注意分布を動的に調整し、質問関連領域を強調する訓練不要の注意補正機構を導入する。 この方法は、モデルパラメータや入力プロンプトを変更することなく、AQuA上のLLaMA 3.1-8Bの精度を5.17%向上させる。 本研究は,LLM理解向上における構造的急進的設計と注目度最適化の重要性を強調し,各種NLPタスクの性能向上のための軽量かつ効果的なツールを提供する。

関連論文リスト

• Enhancing LLM Character-Level Manipulation via Divide and Conquer [74.55804812450164]
  大規模言語モデル(LLM)は、幅広い自然言語処理(NLP)タスクにまたがる強力な一般化機能を示している。 彼らは文字レベルの文字列操作において顕著な弱点を示し、文字削除、挿入、置換といった基本的な操作に苦労した。 本稿では,トークンレベルの処理と文字レベルの操作のギャップを埋める新しい手法であるDivide and Conquerによる文字レベル操作を提案する。
  論文  参考訳（メタデータ） (2025-02-12T07:37:39Z)
• ARR: Question Answering with Large Language Models via Analyzing, Retrieving, and Reasoning [22.825527641316192]
  大規模言語モデル(LLM)は、複数選択質問応答(QA)タスクとして構成された挑戦的なベンチマークにおいて、顕著なパフォーマンスを達成する。 本稿では,QA解決における3つの重要なステップを明示的に組み込んだ直感的で効果的なゼロショットプロンプト手法であるARRを紹介した。
  論文  参考訳（メタデータ） (2025-02-07T06:30:33Z)
• LlamaV-o1: Rethinking Step-by-step Visual Reasoning in LLMs [103.0226977561914]
  大規模言語モデルにおけるステップバイステップの視覚的推論を促進するための包括的フレームワークを提案する。 マルチステップ推論タスクの評価に特化して設計された視覚推論ベンチマークを導入する。 第二に,個々のステップの粒度で視覚的推論品質を評価する新しい指標を提案する。 第3に、マルチステップのカリキュラム学習アプローチを用いて学習したLlamaV-o1という新しいマルチモーダル視覚推論モデルを提案する。
  論文  参考訳（メタデータ） (2025-01-10T18:59:51Z)
• BoostStep: Boosting mathematical capability of Large Language Models via improved single-step reasoning [83.03531832811386]
  BoostStep はステップ整列 ICL の例を通して推論精度を向上させる方法である。 チェーン・オブ・シークレット(CoT)とツリー検索アルゴリズムをシームレスに統合する。 AIMEにおけるDeepSeek-R1-671Bのパフォーマンスを2.2%改善し、MATHデータセットからの単純な例のみを活用する。
  論文  参考訳（メタデータ） (2025-01-06T18:59:13Z)
• Adaptive Pruning for Large Language Models with Structural Importance Awareness [66.2690963378878]
  大規模言語モデル(LLM)は言語理解と生成能力を大幅に改善した。 LLMは、高い計算およびストレージリソース要求のため、リソース制約のあるエッジデバイスにデプロイするのは難しい。 モデル性能を維持しつつ,計算コストとメモリコストを大幅に削減する構造的適応型プルーニング(SAAP)を提案する。
  論文  参考訳（メタデータ） (2024-12-19T18:08:04Z)
• Prompting Strategies for Enabling Large Language Models to Infer Causation from Correlation [68.58373854950294]
  我々は因果推論に焦点をあて,相関情報に基づく因果関係の確立という課題に対処する。 この問題に対して,元のタスクを固定的なサブクエストに分割するプロンプト戦略を導入する。 既存の因果ベンチマークであるCorr2Causeに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2024-12-18T15:32:27Z)
• Dspy-based Neural-Symbolic Pipeline to Enhance Spatial Reasoning in LLMs [29.735465300269993]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な能力を示してきたが、しばしば空間的推論に苦しむ。 本稿では LLM と Answer Set Programming (ASP) の反復的フィードバックにより LLM の空間推論能力を高める新しいニューラルシンボリックフレームワークを提案する。 我々は、StepGameとSparQAという2つのベンチマークデータセットに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2024-11-27T18:04:05Z)
• Extending Token Computation for LLM Reasoning [5.801044612920816]
  大規模言語モデル(LLM)は、自然言語処理の進歩において重要な要素である。 LLMは、非効率な注意分布のため、複雑な推論タスクに苦しむことが多い。 本稿では,アテンション機構の最適化を利用して,計算トークンをChain-of-Thoughtプロセスで拡張する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-22T03:23:58Z)
• Learning to Ask Conversational Questions by Optimizing Levenshtein Distance [83.53855889592734]
  明示的な編集動作によって最小レベンシュテイン距離(MLD)を最適化する強化反復シーケンス編集(RISE)フレームワークを導入する。 RISEは会話の特徴に関連するトークンに注意を払うことができる。 2つのベンチマークデータセットの実験結果から、RISEは最先端の手法を大幅に上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-30T08:44:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。