論文の概要: Can We Trust LLMs on Memristors? Diving into Reasoning Ability under Non-Ideality

• arxiv url: http://arxiv.org/abs/2603.13725v1
• Date: Sat, 14 Mar 2026 03:02:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:35.363433
• Title: Can We Trust LLMs on Memristors? Diving into Reasoning Ability under Non-Ideality
• Title（参考訳）: LLMs on Memristors を信頼することは可能か?
• Authors: Taiqiang Wu, Yuxin Cheng, Chenchen Ding, Runming Yang, Xincheng Feng, Wenyong Zhou, Zhengwu Liu, Ngai Wong,
• Abstract要約: 本稿では,言語モデル(LLM)推論における内在的非理想性の影響について検討する。 我々は,思考モード,コンテキスト内学習,モジュール冗長性の3つのトレーニングフリー戦略を評価した。 本研究は,LLM推論における非理想的および実践的手法によるロバスト性向上のための新たな知見を提供する。
• 参考スコア（独自算出の注目度）: 19.903894625956394
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Memristor-based analog compute-in-memory (CIM) architectures provide a promising substrate for the efficient deployment of Large Language Models (LLMs), owing to superior energy efficiency and computational density. However, these architectures suffer from precision issues caused by intrinsic non-idealities of memristors. In this paper, we first conduct a comprehensive investigation into the impact of such typical non-idealities on LLM reasoning. Empirical results indicate that reasoning capability decreases significantly but varies for distinct benchmarks. Subsequently, we systematically appraise three training-free strategies, including thinking mode, in-context learning, and module redundancy. We thus summarize valuable guidelines, i.e., shallow layer redundancy is particularly effective for improving robustness, thinking mode performs better under low noise levels but degrades at higher noise, and in-context learning reduces output length with a slight performance trade-off. Our findings offer new insights into LLM reasoning under non-ideality and practical strategies to improve robustness.
• Abstract（参考訳）: Memristor-based analog Compute-in-Memory (CIM)アーキテクチャは、より優れたエネルギー効率と計算密度のため、LLM(Large Language Models)の効率的なデプロイのための有望な基盤を提供する。 しかし、これらのアーキテクチャは、内在的な非理想性によって引き起こされる精度の問題に悩まされている。 本稿では,LLM推論における典型的な非理想性の影響を包括的に調査する。 実験の結果、推論能力は著しく低下するが、異なるベンチマークで異なることが示されている。 その後、思考モード、文脈内学習、モジュール冗長性を含む3つの学習自由戦略を体系的に評価した。 そこで我々は, 浅層冗長性は, 強靭性向上に特に有効であり, 思考モードは低騒音下では優れ, 高い雑音下では劣化し, 文脈内学習はわずかな性能トレードオフで出力長を減少させるという, 貴重なガイドラインを要約した。 本研究は,LLM推論における非理想的および実践的手法によるロバスト性向上のための新たな知見を提供する。

関連論文リスト

• Encode, Think, Decode: Scaling test-time reasoning with recursive latent thoughts [19.518525241726916]
  Encode-Think-Decode (ETD) は、トレーニング中の推論関連レイヤの小さなサブセットを反復するようにトレーニングすることで、ベースモデルの推論能力を向上する手法である。 ETDモデルは、GSM8Kで+28.4%、OLMo-2 1Bベースモデルで+36%の相対精度の改善を含む17の推論ベンチマークで大幅に向上した。
  論文  参考訳（メタデータ） (2025-10-08T15:58:35Z)
• Emergent Hierarchical Reasoning in LLMs through Reinforcement Learning [56.496001894673235]
  強化学習(RL)は,大規模言語モデル(LLM)の複雑な推論能力の向上に有効であることが証明された。 解析の結果,アハモーメント,長さスケーリング,エントロピーのダイナミクスといったファズリング現象は異なる現象ではなく,創発的推論階層の目印であることがわかった。
  論文  参考訳（メタデータ） (2025-09-03T18:52:49Z)
• Are Large Brainwave Foundation Models Capable Yet? Insights from Fine-tuning [41.40603531008809]
  我々は、系統的な微調整実験により、現在の大脳波基礎モデル(LBM)を評価する。 我々の分析によると、最先端のLBMは従来のディープアーキテクチャよりも限界的な改善(0.9%-1.2%)しか得られていない。
  論文  参考訳（メタデータ） (2025-07-01T21:21:42Z)
• Smaller = Weaker? Benchmarking Robustness of Quantized LLMs in Code Generation [7.262231066394782]
  大規模言語モデル(LLM)を圧縮する主流手法として量子化が登場した コード生成タスクにおいて,量子化がLLMのロバスト性に与える影響について,最初の系統的研究を行った。 本研究は,LLMの量子化が実精度よりも優れた強靭性を示すことを示すことによって,従来の知恵に挑戦する。
  論文  参考訳（メタデータ） (2025-06-28T06:32:25Z)
• SlimLLM: Accurate Structured Pruning for Large Language Models [36.84275777364218]
  構造化プルーニングは,大規模言語モデルのパラメータを圧縮する有効な解法である。 大規模言語モデルに対するSlimLLMという,効率的かつ高速な構造化プルーニング手法を提案する。
  論文  参考訳（メタデータ） (2025-05-28T03:01:28Z)
• DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [86.76714527437383]
  本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。 我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。 LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-18T02:37:26Z)
• Leveraging the true depth of LLMs [46.81174316936993]
  大規模言語モデル(LLM)は、高い計算要求を犠牲にして素晴らしい能力を示す。 近年の研究では、LCMの中間層を相当な精度の損失なく除去または再配列できることが示されている。 本稿では,連続層を並列に評価したペアにグループ化する手法を提案する。
  論文  参考訳（メタデータ） (2025-02-05T00:26:27Z)
• Mitigating Forgetting in LLM Fine-Tuning via Low-Perplexity Token Learning [65.23593936798662]
  LLM生成データによる微調整により,目標タスクの性能が向上し,非目標タスクの劣化が低減されることを示す。 微調整後のLSMにおける破滅的忘れを緩和するために、トークンの難易度低減に基づく経験的説明を提供する最初の研究である。
  論文  参考訳（メタデータ） (2025-01-24T08:18:56Z)
• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。