論文の概要: Explaining and Tuning Transformer-based LLMs in Arithmetic Tasks with Human Strategies
- arxiv url: http://arxiv.org/abs/2607.17166v1
- Date: Sun, 19 Jul 2026 09:57:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.385229
- Title: Explaining and Tuning Transformer-based LLMs in Arithmetic Tasks with Human Strategies
- Title（参考訳）: ヒューマンストラテジーを用いた算術的タスクにおける説明とチューニング型トランスフォーマーを用いたLCM
- Abstract要約: トランスフォーマーベースの大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて最先端のパフォーマンスを保ち続けている。
基本的な算術のような一見基本的な問題に対するサブパーパフォーマンスは、モデルの信頼性、安全性、倫理的展開に関する懸念を提起する。
算術演算タスクを訓練したバニラトランスフォーマーモデルの性能を,人間の学習者にとって効果的な手法を用いて改善できることを実証する。
- 参考スコア（独自算出の注目度）: 17.888876226760576
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformer-based large language models (LLMs) continue to achieve state-of-the-art performance across various natural language processing tasks. However, their subpar performance on seemingly elementary problems, such as basic arithmetic, raises concerns about model reliability, safety, and ethical deployment. In this study, we demonstrate that the performance of a vanilla Transformer model trained on integer arithmetic tasks can be improved using methods effective for human learners. We begin by decomposing the arithmetic task into well-defined subtasks and conducting loss convergence order analysis together with ablation studies for each subtask. Our findings reveal that LLMs exhibit learning patterns similar to those of human learners, with a faster learning speed for simpler subtasks compared to more complex ones. In addition, we successfully improved the accuracy of LLMs by applying problem-solving strategies and cognitive empowerment methods shown to enhance the performance of human learners. This suggests that transformer-based LLMs may share cognitive processes with human learners in arithmetic. Lastly, we provide a comprehensive demonstration of our method's effectiveness, including significant accuracy improvement experiments, visualization verification, and explanation-based analysis to illuminate the intricacies of LLMs in arithmetic learning. In general, this work explores the potential similarities between transformer-based LLMs and human learners, supported by explainable AI (XAI) verifications, ultimately fostering trust in LLMs for critical and high-stakes applications.
- Abstract（参考訳）: トランスフォーマーベースの大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて最先端のパフォーマンスを保ち続けている。
しかしながら、基本的な算術のような一見基本的な問題に対するそれらのサブパーパフォーマンスは、モデルの信頼性、安全性、倫理的展開に関する懸念を提起する。
本研究では,人間の学習者に対して有効な手法を用いて,整数演算タスクを訓練したバニラトランスフォーマーモデルの性能を向上できることを実証する。
まず、算術タスクを適切に定義されたサブタスクに分解し、各サブタスクに対するアブレーション研究とともに損失収束順序解析を行う。
以上の結果から,LLMは人間の学習者と同様の学習パターンを示し,より複雑なサブタスクよりも学習速度が速いことが判明した。
さらに,人間の学習者の性能向上を目的とした問題解決戦略と認知力向上手法を適用し,LLMの精度向上に成功した。
このことは、トランスフォーマーに基づくLLMが、人間の学習者と認知過程を算術的に共有する可能性を示唆している。
最後に,算術学習における LLM の複雑度を照らすために, 精度向上実験, 可視化検証, 説明に基づく解析など, 提案手法の有効性の総合的な実証を行う。
一般に、この研究は、トランスフォーマーベースのLLMと人間の学習者との潜在的な類似性を探求し、説明可能なAI(XAI)検証によって支援され、究極的には、批判的かつ高いアプリケーションに対するLLMへの信頼を育む。
関連論文リスト
- How Reliable are LLMs for Reasoning on the Re-ranking task? [3.282961543904818]
大規模言語モデル(LLM)における学習方法の違いがタスクのセマンティック理解に与える影響を解析する。
ユーザエンゲージメントが制限され、ランキングデータが不十分な新規開発システムでは、コンテンツを正確に再ランク付けすることが大きな課題である。
論文 参考訳（メタデータ） (2025-08-25T19:48:39Z) - Teaching LLMs According to Their Aptitude: Adaptive Reasoning for Mathematical Problem Solving [55.895917967408586]
大規模な言語モデルによる数学的推論への既存のアプローチは、一般化可能性(英語版)にはChain-of-Thought(英語版)(CoT)、正確な計算にはTool-Integrated Reasoning(英語版)(TIR)に依存している。
本稿では, LLM が自然に推論戦略をパーソナライズできる適応型フレームワークである TATA (Teaching LLMs according their Aptitude) を提案する。
論文 参考訳（メタデータ） (2025-02-17T16:56:23Z) - Task Arithmetic Through The Lens Of One-Shot Federated Learning [3.8230727103887943]
Task Arithmeticは、複数のモデルの機能をひとつのモデルに組み合わせることを可能にするモデルマージ技術である。
タスク算術は、フェデレートラーニングにおいてよく使われるアルゴリズムと数学的に等価であることを示す。
フェデレーテッド・ラーニング(Federated Learning)のアルゴリズムを応用して,タスク算術の有効性を向上する。
論文 参考訳（メタデータ） (2024-11-27T18:53:41Z) - Unraveling Arithmetic in Large Language Models: The Role of Algebraic Structures [2.8311048083168657]
大型言語モデル (LLM) は顕著な数学的能力を示しており、主にチェーン・オブ・シント (CoT) のプロンプトによって駆動されている。
LLMは可換性や恒等性などの代数的構造を捉えることによって算術を学習する。
論文 参考訳（メタデータ） (2024-11-25T10:23:11Z) - EVOLvE: Evaluating and Optimizing LLMs For In-Context Exploration [76.66831821738927]
大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。
多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。
最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
論文 参考訳（メタデータ） (2024-10-08T17:54:03Z) - Deconfounded Causality-aware Parameter-Efficient Fine-Tuning for Problem-Solving Improvement of LLMs [12.48241058167222]
大規模言語モデル(LLM)は、人間の指示に基づいて様々なタスクに取り組む際に、顕著な効率性を示した。
しかし、数学や物理学の限界など、推論を必要とするタスクに苦しむことが研究によって明らかになっている。
このことは、LLMが組み込み知識を本当に理解しているか、それとも、コンテンツに対する真の理解なしにトークン分布を複製することを学ぶだけなのかという疑問を提起する。
モデルの推論能力を高めるために,新しいパラメータ効率細調整法であるDecon Causal Adaptation (DCA)を提案する。
論文 参考訳（メタデータ） (2024-09-04T13:17:09Z) - Interpreting and Improving Large Language Models in Arithmetic Calculation [72.19753146621429]
大規模言語モデル(LLM)は、多くのアプリケーションにまたがる顕著な可能性を示している。
本研究では,LLMが計算を行う特定のメカニズムを明らかにする。
LLMの計算性能を高めるために、これらの必須ヘッド/MLPを選択的に微調整する潜在的な利点について検討する。
論文 参考訳（メタデータ） (2024-09-03T07:01:46Z) - CoMMIT: Coordinated Multimodal Instruction Tuning [90.1532838391285]
マルチモーダル大言語モデル(MLLM)は一般に、バックボーンLLMと非テキスト入力モードの特徴エンコーダ間の協調学習を含む。
本稿では,MLLM命令のチューニングを理論的・経験的両面から解析する。
本稿では,学習のバランスを定量的に測定できるマルチモーダルバランス係数を提案する。
論文 参考訳（メタデータ） (2024-07-29T23:18:55Z) - From Summary to Action: Enhancing Large Language Models for Complex
Tasks with Open World APIs [62.496139001509114]
大規模な現実世界のAPIを制御するために設計された新しいツール呼び出しパイプラインを導入します。
このパイプラインは人間のタスク解決プロセスを反映し、複雑な実際のユーザクエリに対処する。
ToolBenchベンチマークにおけるSum2Actパイプラインの実証的な評価は、大幅なパフォーマンス向上を示している。
論文 参考訳（メタデータ） (2024-02-28T08:42:23Z) - How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。
大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。
我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
論文 参考訳（メタデータ） (2024-02-25T20:07:13Z) - Accelerating LLaMA Inference by Enabling Intermediate Layer Decoding via
Instruction Tuning with LITE [62.13435256279566]
大規模言語モデル(LLM)は、様々な自然言語タスクで顕著なパフォーマンスを実現している。
しかし、その大きなサイズは推論を遅く、計算的に高価にする。
最終層の生成能力に影響を与えることなく、これらの層が「良い」生成能力を得ることができることを示す。
論文 参考訳（メタデータ） (2023-10-28T04:07:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。