論文の概要: Slimming Down LLMs Without Losing Their Minds

• arxiv url: http://arxiv.org/abs/2506.10885v1
• Date: Thu, 12 Jun 2025 16:49:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 15:37:22.846616
• Title: Slimming Down LLMs Without Losing Their Minds
• Title（参考訳）: 心を失わずにLLMをスリム化
• Authors: Qingda, Mai,
• Abstract要約: 本稿では,パラメータ効率向上手法(LoRAとQLoRA)に着目し,微調整が大規模言語モデルの性能に及ぼす影響を検証・検証する。 我々は,(1)コモンセンス推論(HellaSwag),(2)数学的推論(GSM8K),(3)マルチドメイン知識(MMLU-CS)の3分野にわたるモデル能力を評価する。
• 参考スコア（独自算出の注目度）: 3.15067317204403
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper investigates and validates the impact of fine-tuning on large language model performance, focusing on parameter-efficient methods (LoRA and QLoRA). We evaluate model capabilities across three key domains: (1) commonsense reasoning (HellaSwag), (2) mathematical reasoning (GSM8K), and (3) multi-domain knowledge (MMLU-CS). Our findings demonstrate that: (1) LoRA-based methods effectively improve task-specific performance while maintaining computational efficiency, and (2) performance strongly depends on alignment between fine-tuning dataset and benchmark tasks. The study provides both theoretical insights into parameter-efficient mechanisms and practical guidance for developers implementing efficient LLM adaptation with limited resources.
• Abstract（参考訳）: 本稿では,パラメータ効率向上手法 (LoRA, QLoRA) に着目し, 微調整が大規模言語モデルの性能に与える影響について検討し, 検証を行った。 我々は,(1)コモンセンス推論(HellaSwag),(2)数学的推論(GSM8K),(3)マルチドメイン知識(MMLU-CS)の3分野にわたるモデル能力を評価する。 その結果,(1)LORAに基づく手法は,計算効率を保ちながらタスク固有の性能を効果的に向上し,(2)微調整データセットとベンチマークタスクの整合性に強く依存することがわかった。 この研究は、パラメータ効率のメカニズムに関する理論的知見と、限られたリソースで効率的なLLM適応を実装する開発者のための実践的ガイダンスの両方を提供する。

関連論文リスト

• EfficientLLM: Efficiency in Large Language Models [64.3537131208038]
  大規模言語モデル(LLM)は大きな進歩を導いてきたが、その増加とコンテキストウィンドウは計算、エネルギー、金銭的コストを禁止している。 本稿では,新しいベンチマークであるEfficientLLMを紹介する。
  論文  参考訳（メタデータ） (2025-05-20T02:27:08Z)
• Stop Overthinking: A Survey on Efficient Reasoning for Large Language Models [54.04678363287392]
  大規模言語モデル(LLM)は複雑なタスクにおいて顕著な機能を示した。 OpenAI o1とDeepSeek-R1の最近の進歩は、System-2推論ドメインのパフォーマンスをさらに改善した。
  論文  参考訳（メタデータ） (2025-03-20T17:59:38Z)
• Deconfounded Causality-aware Parameter-Efficient Fine-Tuning for Problem-Solving Improvement of LLMs [12.48241058167222]
  大規模言語モデル(LLM)は、人間の指示に基づいて様々なタスクに取り組む際に、顕著な効率性を示した。 しかし、数学や物理学の限界など、推論を必要とするタスクに苦しむことが研究によって明らかになっている。 このことは、LLMが組み込み知識を本当に理解しているか、それとも、コンテンツに対する真の理解なしにトークン分布を複製することを学ぶだけなのかという疑問を提起する。 モデルの推論能力を高めるために,新しいパラメータ効率細調整法であるDecon Causal Adaptation (DCA)を提案する。
  論文  参考訳（メタデータ） (2024-09-04T13:17:09Z)
• Analyzing Large Language Models for Classroom Discussion Assessment [0.8194411391152481]
  本研究では,2つの大規模言語モデル(LLM)の評価性能が,タスクの定式化,文脈長,少数例の3つの要因とどのように相互作用するかを検討する。 その結果, 上記の3つの要因がLLMの性能に影響を与え, 一貫性と性能に相関があることが示唆された。 予測性能, 計算効率, 整合性の観点から, バランスのよいLCMベースの評価手法を推奨する。
  論文  参考訳（メタデータ） (2024-06-12T22:43:38Z)
• MindStar: Enhancing Math Reasoning in Pre-trained LLMs at Inference Time [51.5039731721706]
  MindStarは、大言語モデルの純粋に推論に基づく探索手法である。 推論タスクを探索問題として定式化し、最適な推論経路を特定するための2つの探索アイデアを提案する。 Llama-2-13BやMistral-7Bのようなオープンソースモデルの推論能力を大幅に向上させ、GPT-3.5やGrok-1に匹敵する性能を実現している。
  論文  参考訳（メタデータ） (2024-05-25T15:07:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。