論文の概要: Bias-Restrained Prefix Representation Finetuning for Mathematical Reasoning

• arxiv url: http://arxiv.org/abs/2511.10707v1
• Date: Thu, 13 Nov 2025 05:15:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-17 22:42:18.289287
• Title: Bias-Restrained Prefix Representation Finetuning for Mathematical Reasoning
• Title（参考訳）: 数学的推論のためのバイアス制約付きプレフィックス表現
• Authors: Sirui Liang, Pengfei Cao, Jian Zhao, Cong Huang, Jun Zhao, Kang Liu,
• Abstract要約: Representation Finetuning (ReFT) 法は,モデル重みを凍結し,内部表現をPEFTよりも少ないパラメータで最適化することにより効率を向上する。 ReFTは数学的推論タスクにおいて顕著な性能低下を示す。 本稿では,ReFT の数学的推論能力を高める Bias-Restrained Prefix Representation FineTuning (BREP ReFT) を提案する。
• 参考スコア（独自算出の注目度）: 33.28699044085956
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameter-Efficient finetuning (PEFT) enhances model performance on downstream tasks by updating a minimal subset of parameters. Representation finetuning (ReFT) methods further improve efficiency by freezing model weights and optimizing internal representations with fewer parameters than PEFT, outperforming PEFT on several tasks. However, ReFT exhibits a significant performance decline on mathematical reasoning tasks. To address this problem, the paper demonstrates that ReFT's poor performance on mathematical tasks primarily stems from its struggle to generate effective reasoning prefixes during the early inference phase. Moreover, ReFT disturbs the numerical encoding and the error accumulats during the CoT stage. Based on these observations, this paper proposes Bias-REstrained Prefix Representation FineTuning (BREP ReFT), which enhances ReFT's mathematical reasoning capability by truncating training data to optimize the generation of initial reasoning prefixes, intervening on the early inference stage to prevent error accumulation, and constraining the intervention vectors' magnitude to avoid disturbing numerical encoding. Extensive experiments across diverse model architectures demonstrate BREP's superior effectiveness, efficiency, and robust generalization capability, outperforming both standard ReFT and weight-based PEFT methods on the task of mathematical reasoning. The source code is available at https://github.com/LiangThree/BREP.
• Abstract（参考訳）: パラメータ効率の良い微調整(PEFT)は、パラメータの最小限のサブセットを更新することで、下流タスクのモデルパフォーマンスを向上させる。 Representation Finetuning (ReFT) 法は、モデルウェイトを凍結し、PEFTよりも少ないパラメータで内部表現を最適化することで効率を向上し、いくつかのタスクにおいてPEFTを上回っている。 しかし、ReFTは数学的推論タスクにおいて顕著な性能低下を示す。 この問題に対処するため,本論文では,ReFTの数学的タスクにおける性能の低さが,推論の初期段階において,効果的な推論プレフィックスを生成するのに苦戦したことに起因していることを示す。 さらに、ReFTは、CoTステージにおける数値符号化とエラー累積を妨害する。 そこで本研究では,ReFT の数学的推論能力を向上する Bias-Restrained Prefix Representation FineTuning (BREP ReFT) を提案する。 多様なモデルアーキテクチャにわたる広範な実験は、BREPの優れた効率性、効率性、堅牢な一般化能力を示し、数学的推論のタスクにおいて標準のReFT法と重みに基づくPEFT法の両方より優れている。 ソースコードはhttps://github.com/LiangThree/BREPで公開されている。

関連論文リスト

• Task-Adaptive Parameter-Efficient Fine-Tuning for Weather Foundation Models [28.79157031663951]
  We introduced WeatherPEFT, a novel PEFT framework for Weather Foundation Models (WFMs) Task-Tu Dynamic Prompting (TTu) は、内部および外部パターン抽出によってトレーニング済みのバックボーンの入力トークンにエンコーダ内の埋め込み重みを注入する。 フィッシャーガイド適応選択 (Fisher-Guided Adaptive Selection, SFAS) は、訓練済みの知識を保ちながら、その選択を安定化させ、最もタスククリティカルなランダム性を特定する。 既存のPEFT法ではフルチューニングとWeatherPEFT性能が同等であるのに対し,既存のPEFT法では大きな差がみられ,WeatherPEFTの有効性と効率が示された。
  論文  参考訳（メタデータ） (2025-09-26T07:54:05Z)
• Nested-ReFT: Efficient Reinforcement Learning for Large Language Model Fine-Tuning via Off-Policy Rollouts [25.205293698698867]
  我々はNested-ReFTを導入し、ターゲットモデルのサブセットがトレーニング中に非政治的な完了を生成する行動モデルとして機能する。 我々の理論的分析は、Nested-ReFTが制御された分散を伴う非バイアス勾配推定値を得ることを示している。 我々の経験的分析は、複数の数学推論ベンチマークとモデルサイズでトークン/秒として測定された計算効率の改善を実証している。
  論文  参考訳（メタデータ） (2025-08-13T18:37:46Z)
• Enhancing Chain-of-Thought Reasoning with Critical Representation Fine-tuning [37.16998362490576]
  Representation Fine-tuning (ReFT) は、表現空間のみを編集することでパラメータ効率を大幅に向上させることで、広く注目を集めている。 本稿では,情報フロー解析によりこれらの重要な表現を識別し,最適化する新しい手法であるCritical Representation Fine-Tuning(CRFT)を提案する。 LLaMAとMistralモデルファミリを用いて,算術的および常識的推論のための8つのベンチマークで検証を行った。
  論文  参考訳（メタデータ） (2025-07-14T09:11:33Z)
• PiCa: Parameter-Efficient Fine-Tuning with Column Space Projection [9.152388341742048]
  専門的なタスクやドメインに適したエキスパートモデルを構築するためには、微調整された大規模な基盤モデルが不可欠である。 提案手法は,理論上の基礎となるPEFT法であるコロン宇宙投射(PiCa)を用いた効率的なファインチューニングである。 PiCaは、同等あるいはより小さなパラメータ予算の下で、最先端のベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2025-05-26T16:52:40Z)
• NEAT: Nonlinear Parameter-efficient Adaptation of Pre-trained Models [26.808251361020066]
  微調整された事前学習モデルは、しばしば最先端のパフォーマンスをもたらすが、全てのパラメータを更新する際に計算コストがかかる。 本稿では,軽量ニューラルネットワークを用いた非線形PEFT手法NEATを提案し,事前学習した重みの非線形変換を学習する。 理論解析により, NEATは等価な表現性を維持しつつ, LoRA よりも高い効率を達成することが示された。
  論文  参考訳（メタデータ） (2024-10-02T17:29:23Z)
• Forecast-PEFT: Parameter-Efficient Fine-Tuning for Pre-trained Motion Forecasting Models [68.23649978697027]
  Forecast-PEFTは、モデルのパラメータの大部分を凍結し、新しく導入されたプロンプトとアダプタの調整に集中する微調整戦略である。 実験の結果,Forecast-PEFTは動作予測タスクにおいて従来のフルチューニング手法よりも優れていた。 Forecast-FTは予測性能をさらに改善し、従来のベースライン法よりも最大9.6%向上した。
  論文  参考訳（メタデータ） (2024-07-28T19:18:59Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared Pre-trained Language Models [109.06052781040916]
  本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。 また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。 その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
  論文  参考訳（メタデータ） (2023-10-19T15:13:58Z)
• LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [56.88751562302793]
  低ランク適応 (LoRA) が大型言語モデル (LLM) に登場した。 LoRAPruneは、高度にメモリ効率の良い正確な構造化プルーンドモデルを提供する新しいフレームワークである。 LoRAPruneはWikiText2では4.81、TBでは3.46、メモリ使用量は52.6%減少している。
  論文  参考訳（メタデータ） (2023-05-28T15:15:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。