論文の概要: ThinkEdit: Interpretable Weight Editing to Mitigate Overly Short Thinking in Reasoning Models

• arxiv url: http://arxiv.org/abs/2503.22048v2
• Date: Fri, 04 Apr 2025 21:17:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:07:28.167872
• Title: ThinkEdit: Interpretable Weight Editing to Mitigate Overly Short Thinking in Reasoning Models
• Title（参考訳）: ThinkEdit:Reasoning Modelにおける過度に短い思考を緩和するための解釈可能なウェイト編集
• Authors: Chung-En Sun, Ge Yan, Tsui-Wei Weng,
• Abstract要約: 本研究では、推論モデルの隠れ表現に、推論の長さがどのように埋め込まれているかを検討する。 我々は、過剰に短い推論の問題を軽減するために、シンプルだが効果的な重み付けアプローチであるThinkEditを紹介した。
• 参考スコア（独自算出の注目度）: 16.407923457296235
• License:
• Abstract: Recent studies have shown that Large Language Models (LLMs) augmented with chain-of-thought (CoT) reasoning demonstrate impressive problem-solving abilities. However, in this work, we identify a recurring issue where these models occasionally generate overly short reasoning, leading to degraded performance on even simple mathematical problems. Specifically, we investigate how reasoning length is embedded in the hidden representations of reasoning models and its impact on accuracy. Our analysis reveals that reasoning length is governed by a linear direction in the representation space, allowing us to induce overly short reasoning by steering the model along this direction. Building on this insight, we introduce ThinkEdit, a simple yet effective weight-editing approach to mitigate the issue of overly short reasoning. We first identify a small subset of attention heads (approximately 2%) that predominantly drive short reasoning behavior. We then edit the output projection weights of these heads to suppress the short reasoning direction. With changes to only 0.1% of the model's parameters, ThinkEdit effectively reduces overly short reasoning and yields notable accuracy gains for short reasoning outputs (+5.44%), along with an overall improvement across multiple math benchmarks (+2.43%). Our findings provide new mechanistic insights into how reasoning length is controlled within LLMs and highlight the potential of fine-grained model interventions to improve reasoning quality. Our code is available at https://github.com/Trustworthy-ML-Lab/ThinkEdit
• Abstract（参考訳）: 近年の研究では、Large Language Models (LLMs) は、チェーン・オブ・シント(CoT)推論で強化され、目覚ましい問題解決能力を示すことが示されている。 しかし、本研究では、これらのモデルが時折非常に短い推論を発生させる繰り返しの問題を特定し、単純な数学的問題でさえも性能が劣化する。 具体的には、推論モデルの隠れ表現に推論の長さが組み込まれ、その精度への影響について検討する。 解析により、推論長は表現空間の線形方向によって支配され、この方向に沿ってモデルを操ることで、過度に短い推論を導き出すことができることが明らかとなった。 この知見に基づいて、過度に短い推論の問題を軽減するための、シンプルで効果的な重み付けアプローチであるThinkEditを紹介します。 まず、主に短い推論行動を引き起こす注意ヘッド(約2%)の小さなサブセットを特定します。 次に、これらのヘッドの出力射影重みを編集し、短い推論方向を抑える。 モデルのパラメータの0.1%にしか変更されないため、ThinkEditは、過剰に短い推論を減らし、短い推論出力(+5.44%)の顕著な精度向上と、複数のベンチマーク(+2.43%)の全体的な改善を実現している。 本研究は, LLM内での推論長の制御に関する新しい力学的知見を提供し, 推論品質を向上させるための詳細なモデル介入の可能性を強調した。 私たちのコードはhttps://github.com/Trustworthy-ML-Lab/ThinkEditで利用可能です。

関連論文リスト

• LLMs Can Easily Learn to Reason from Demonstrations Structure, not content, is what matters! [53.84130385074551]
  大推論モデル(LRM)は、長いチェーン・オブ・シント(Long CoT)に従うことによって複雑な推論問題に取り組む また,Large Language Model (LLM) は,データ効率の教師付き微調整 (SFT) とパラメータ効率の低い低ランク適応 (LoRA) により,Long CoT推論を効果的に学習できることを見出した。 たった17kのCoTトレーニングサンプルで、Qwen2.5-32B-Instructモデルは、幅広い数学およびコーディングベンチマークで大幅に改善されている。
  論文  参考訳（メタデータ） (2025-02-11T08:48:48Z)
• When More is Less: Understanding Chain-of-Thought Length in LLMs [53.77747102201451]
  CoT推論は大規模言語モデル(LLM)の多段階推論能力を高める しかし、ほとんどのモデルやタスクでは、CoT長の増加は一貫して推論精度の向上につながりますか? 本稿では, 推論ステップの数が増加するにつれて, 性能は向上するが, 最終的には低下する,というニュアンスな関係を観察する。
  論文  参考訳（メタデータ） (2025-02-11T05:28:59Z)
• O1-Pruner: Length-Harmonizing Fine-Tuning for O1-Like Reasoning Pruning [98.3430004984531]
  精度を維持しながら推論オーバーヘッドを最小限に抑えるため,Longth-Harmonizing Fine-Tuning (O1-Pruner)を提案する。 私たちのコードはもうすぐhttps://github.com/StarDewXXX/O1-Pruner.comで公開されます。
  論文  参考訳（メタデータ） (2025-01-22T01:35:11Z)
• Steamroller Problems: An Evaluation of LLM Reasoning Capability with Automated Theorem Prover Strategies [0.18416014644193066]
  GPT4, GPT3.5 TurboおよびGoogleのGeminiモデルの性能をスチームローラー領域の問題に対して評価した。 ATP推論戦略を用いた場合のモデルの性能はワンショットの思考に匹敵することがわかった。
  論文  参考訳（メタデータ） (2024-07-17T22:49:23Z)
• Small Language Models Need Strong Verifiers to Self-Correct Reasoning [69.94251699982388]
  大規模言語モデル(LLM)の推論性能を高めるための有望なソリューションとして自己補正が登場した。 この研究は、小さい(=13B)言語モデル(LM)が、より強いLMから最小の入力で推論タスクを自己補正できるかどうかを考察する。
  論文  参考訳（メタデータ） (2024-04-26T03:41:28Z)
• Towards a Mechanistic Interpretation of Multi-Step Reasoning Capabilities of Language Models [107.07851578154242]
  言語モデル(LM)は強力な多段階推論能力を持つ。 LMが事前学習コーパスから記憶された回答を不正に処理するか,多段階推論機構を用いてタスクを実行するかは明らかでない。 メカニスティックプローブは,ほとんどの例において,モデルの注意から推論ツリーの情報を検出することができることを示す。
  論文  参考訳（メタデータ） (2023-10-23T01:47:29Z)
• Faithful Reasoning Using Large Language Models [12.132449274592668]
  因果構造が問題の根底にある論理構造を反映するプロセスを通じて、LMを忠実な多段階推論を行う方法を示す。 我々の手法は、各ステップが2つの微調整されたLMへの呼び出しから得られる推論ステップをチェーンすることで機能する。 我々は,多段階論理推論と科学的質問応答におけるモデルの有効性を実証し,最終的な解答精度のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-30T13:44:41Z)
• VisFIS: Visual Feature Importance Supervision with Right-for-the-Right-Reason Objectives [84.48039784446166]
  モデルFI監督は、VQAモデルの精度と、Right-to-the-Right-Reasonメトリクスの性能を有意義に向上させることができることを示す。 我々の最高のパフォーマンス手法であるVisual Feature Importance Supervision (VisFIS)は、ベンチマークVQAデータセットで強いベースラインを上回ります。 説明が妥当で忠実な場合には予測がより正確になる。
  論文  参考訳（メタデータ） (2022-06-22T17:02:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。