論文の概要: HEFT: A Coarse-to-Fine Hierarchy for Enhancing the Efficiency and Accuracy of Language Model Reasoning

• arxiv url: http://arxiv.org/abs/2509.09801v1
• Date: Thu, 11 Sep 2025 19:06:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-15 16:03:07.900032
• Title: HEFT: A Coarse-to-Fine Hierarchy for Enhancing the Efficiency and Accuracy of Language Model Reasoning
• Title（参考訳）: HEFT:言語モデル推論の効率性と正確性を高めるための粗大な階層
• Authors: Brennen Hill,
• Abstract要約: HEFTは、2つの異なるPEFT法を粗い方法で構成する新しい階層的適応戦略である。 HEFT戦略を用いた3つのエポックのみを微調整したモデルでは,20エポックで訓練したモデルの性能を上回る精度が85.17%に達する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The adaptation of large language models (LLMs) to specialized reasoning tasks is fundamentally constrained by computational resources. Parameter-Efficient Fine-Tuning (PEFT) methods have emerged as a powerful solution, yet the landscape of these techniques is diverse, with distinct methods operating in either the model's weight space or its representation space. This paper investigates the hypothesis that a synergistic combination of these paradigms can unlock superior performance and efficiency. We introduce HEFT (Hierarchical Efficient Fine-Tuning), a novel hierarchical adaptation strategy that composes two distinct PEFT methods in a coarse-to-fine manner: first, a broad, foundational adaptation in the weight space using Low-Rank Adaptation (LoRA), followed by a precise, surgical refinement of internal activations using Representation Fine-Tuning (ReFT). We evaluate this approach by fine-tuning a Llama-2-7B model on the BoolQ benchmark, a challenging dataset for inferential reasoning. Our results reveal a profound synergistic effect. A model fine-tuned for only three epochs with our HEFT strategy achieves an accuracy of 85.17\%, exceeding the performance of models trained for 20 epochs with either LoRA-only (85.05\%) or ReFT-only (83.36\%) methodologies. This work demonstrates that the thoughtful composition of PEFT methods is a potent algorithmic innovation, offering a more efficient and effective path toward advancing the reasoning capabilities of language models. By achieving superior results with a fraction of the computational budget, our findings present a principled approach to overcoming the obstacles inherent in adapting large-scale models for complex cognitive tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)の特殊推論タスクへの適応は、基本的に計算資源によって制限される。 パラメータ効率の良いファインチューニング(PEFT)法は強力な解法として登場したが、これらの手法の展望は様々であり、モデルの重み空間または表現空間で動作している。 本稿では,これらのパラダイムの相乗的組み合わせが優れた性能と効率を解放できるという仮説を考察する。 HEFT(Hierarchical Efficient Fine-Tuning)は,2つの異なるPEFT手法を粗大な方法で構成する新しい階層的適応戦略である。 提案手法は,推定推論のための挑戦的データセットであるBoolQベンチマークを用いて,Llama-2-7Bモデルを微調整することによって評価する。 我々の結果は深い相乗効果を示す。 HEFT戦略で3つのエポックのみを微調整したモデルでは、85.17\%の精度を達成し、LoRAのみ(85.05\%)またはReFTのみ(83.36\%)の手法で20エポックで訓練されたモデルの性能を上回った。 本研究は,PEFT手法の思考的構成が強力なアルゴリズム的革新であり,言語モデルの推論能力向上に向けたより効率的かつ効果的な経路を提供することを示す。 計算予算のごく一部で優れた結果を得ることにより、複雑な認知タスクに大規模なモデルを適用する際に生じる障害を克服するための原則的アプローチが提示される。

関連論文リスト

• TCPO: Thought-Centric Preference Optimization for Effective Embodied Decision-making [75.29820290660065]
  本稿では,効果的な具体的意思決定のための思考中心推論最適化(TCPO)を提案する。 モデルの中間的推論プロセスの整合性を強調し、モデル劣化の問題を緩和する。 ALFWorld環境での実験では、平均成功率は26.67%であり、RL4VLMよりも6%向上している。
  論文  参考訳（メタデータ） (2025-09-10T11:16:21Z)
• LAPO: Internalizing Reasoning Efficiency via Length-Adaptive Policy Optimization [48.91511514636768]
  長長適応ポリシー最適化は、理論的長さ制御を外部制約から本質的なモデル能力に変換する。 LAPOは、2段階の強化学習プロセスを通じて適切な推論深度を理解することができる。 数学的推論ベンチマークの実験では、LAPOはトークンの使用量を最大40.9%削減し、精度は2.3%向上した。
  論文  参考訳（メタデータ） (2025-07-21T16:14:41Z)
• Dual Decomposition of Weights and Singular Value Low Rank Adaptation [9.048461365342204]
  重み行列を大きさと方向成分に分解する新しいアプローチであるDuDeを提案する。 評価の結果,MMLUでは48.35%,GSM8Kでは62.53%(pm$1.59)の精度が得られた。
  論文  参考訳（メタデータ） (2025-05-20T13:49:15Z)
• Towards Fair Class-wise Robustness: Class Optimal Distribution Adversarial Training [1.5565181723989001]
  敵の訓練は、敵の攻撃に対するディープニューラルネットワークの堅牢性を改善するための非常に効果的な方法であることが証明されている。 頑健な公正性の点で制限を示すことが観察されており、異なるクラス間での堅牢性の顕著な相違が特徴である。 この問題を緩和する最近の取り組みは、クラスワイドな方法に変わった。 本稿では,新しいmin-maxトレーニングフレームワーク,Class Optimal Distribution Adversarial Trainingを提案する。
  論文  参考訳（メタデータ） (2025-01-08T14:19:03Z)
• Feature Alignment-Based Knowledge Distillation for Efficient Compression of Large Language Models [4.737806982257592]
  本研究では,大規模言語モデルと特徴アライメントに基づく知識蒸留アルゴリズムを提案する。 提案モデルは, パープレキシティ, BLEU, ROUGE, CER などの評価指標を用いて, 最先端の GPT-4 モデルに非常に近い性能を示す。
  論文  参考訳（メタデータ） (2024-12-27T04:37:06Z)
• See Further for Parameter Efficient Fine-tuning by Standing on the Shoulders of Decomposition [56.87609859444084]
  パラメータ効率の細かいチューニング(PEFT)は、パラメータの選択したサブセットを最適化し、残りを固定し、計算とストレージのオーバーヘッドを大幅に削減することに焦点を当てている。 分解の観点からそれらを分離することで、すべてのアプローチを統一する第一歩を踏み出します。 本稿では,PEFT技術の性能向上を目的とした,単純かつ効果的なフレームワークとともに,新しい2つのPEFT手法を提案する。
  論文  参考訳（メタデータ） (2024-07-07T15:44:42Z)
• Efficiency optimization of large-scale language models based on deep learning in natural language processing tasks [6.596361762662328]
  大規模言語モデルの内部構造と操作機構を理論的に解析する。 我々は、適応最適化アルゴリズム(AdamWなど)、大規模並列計算技術、混合精度訓練戦略の寄与を評価した。
  論文  参考訳（メタデータ） (2024-05-20T00:10:00Z)
• Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared Pre-trained Language Models [109.06052781040916]
  本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。 また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。 その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
  論文  参考訳（メタデータ） (2023-10-19T15:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。