論文の概要: Steering LLM Reasoning Through Bias-Only Adaptation

• arxiv url: http://arxiv.org/abs/2505.18706v1
• Date: Sat, 24 May 2025 13:55:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.607755
• Title: Steering LLM Reasoning Through Bias-Only Adaptation
• Title（参考訳）: バイアスオンリー適応によるLCMのステアリング
• Authors: Viacheslav Sinii, Alexey Gorbatovski, Artem Cherepanov, Boris Shaposhnikov, Nikita Balagansky, Daniil Gavrilov,
• Abstract要約: 強化学習の微調整は新しい機能を創出しないが、すでに訓練済みのネットワークに潜んでいる推論パターンを強化する。 我々はこの主張を、ステアリングベクトルをトレーニングすることで検証する: 選択された隠れた特徴を付加的に増幅する層ワイドバイアス。 GSM8KとMATHベンチマークによる4つのベースモデルの実験では、ステアリングベクターが回復し、場合によっては完全に調整されたベクターの精度を超えることが示されている。
• 参考スコア（独自算出の注目度）: 4.486093197820339
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work on reasoning-oriented language models, exemplified by o1-like systems, suggests that reinforcement-learning (RL) finetuning does not create new capabilities but instead strengthens reasoning patterns already latent in the pretrained network. We test this claim by training steering vectors: layer-wise biases that additively amplify selected hidden features while leaving all original weights unchanged. Experiments on four base models across the GSM8K and MATH benchmarks show that steering vectors recover, and in several cases exceed, the accuracy of fully-tuned counterparts. This result supports the view that the required reasoning skills pre-exist in the base model. Further, logit-lens analysis reveals that the trained vectors consistently boost token groups linked to structured languages and logical connectors, providing an interpretable account that aligns with the demands of quantitative reasoning tasks.
• Abstract（参考訳）: 近年の推論指向言語モデルの研究は、強化学習(RL)ファインタニングが新たな能力を生み出すのではなく、事前訓練されたネットワークにすでに潜んでいる推論パターンを強化することを示唆している。 私たちは、ステアリングベクトルをトレーニングすることでこの主張を検証します。 GSM8KとMATHベンチマークによる4つのベースモデルの実験では、ステアリングベクターが回復し、場合によっては完全に調整されたベクターの精度を超えることが示されている。 この結果は、要求される推論スキルがベースモデルに事前存在するという見解を支持します。 さらに、ロジトレンズ解析により、訓練されたベクトルは、構造化言語や論理コネクタにリンクしたトークン群を一貫して増加させ、定量的推論タスクの要求に合致する解釈可能なアカウントを提供する。

関連論文リスト

• Scaling Reasoning, Losing Control: Evaluating Instruction Following in Large Reasoning Models [27.142703756752997]
  数学的推論タスクにおける命令追従評価のためのベンチマークであるMathIFを紹介する。 我々の実証分析では、推論能力のスケールアップと制御可能性の維持の間に一貫した緊張関係が明らかになっている。 簡単な介入であっても、性能を推論するコストはかかるものの、部分的に服従を回復できることが示される。
  論文  参考訳（メタデータ） (2025-05-20T18:18:01Z)
• SEAL: Steerable Reasoning Calibration of Large Language Models for Free [58.190800043449336]
  大規模言語モデル(LLM)は、拡張チェーン・オブ・ソート(CoT)推論機構を通じて複雑な推論タスクに魅力的な機能を示した。 最近の研究では、CoT推論トレースにかなりの冗長性が示されており、これはモデル性能に悪影響を及ぼす。 我々は,CoTプロセスをシームレスに校正し,高い効率性を示しながら精度を向上する,トレーニング不要なアプローチであるSEALを紹介した。
  論文  参考訳（メタデータ） (2025-04-07T02:42:07Z)
• OpenVLThinker: An Early Exploration to Complex Vision-Language Reasoning via Iterative Self-Improvement [91.88062410741833]
  本研究では,類似の推論機能を大規模視覚言語モデル(LVLM)にうまく組み込むことができるか検討する。 本稿では,教師付き微調整(SFT)と強化学習(RL)を反復的に活用し,モデル一般化をさらに改善する手法を検討する。 OpenVLThinkerは、MathVista、MathVerse、MathVisionといった挑戦的なベンチマークで一貫して改善された推論性能を示すLVLMである。
  論文  参考訳（メタデータ） (2025-03-21T17:52:43Z)
• The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
  大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。 UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。 実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2025-03-04T18:56:03Z)
• Improve Vision Language Model Chain-of-thought Reasoning [86.83335752119741]
  視覚言語モデル(VLM)におけるチェーン・オブ・シント(CoT)推論は、解釈可能性と信頼性を向上させるために不可欠である。 我々は,より詳細な回答を必要とする推論タスクに対して,短時間でVLMを訓練することはよくないことを示す。
  論文  参考訳（メタデータ） (2024-10-21T17:00:06Z)
• Distributional Associations vs In-Context Reasoning: A Study of Feed-forward and Attention Layers [49.80959223722325]
  本研究では,大規模言語モデルにおけるフィードフォワード層とアテンション層との区別について検討する。 フィードフォワード層はビッグラムのような単純な分布関係を学習する傾向があり、注意層は文脈内推論にフォーカスする。
  論文  参考訳（メタデータ） (2024-06-05T08:51:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。