論文の概要: Transformers Stop Thinking Too Early, and a Tiny LoRA Fixes It

• arxiv url: http://arxiv.org/abs/2609.36585v1
• Date: Tue, 29 Sep 2026 03:02:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.141214
• Title: Transformers Stop Thinking Too Early, and a Tiny LoRA Fixes It
• Title（参考訳）: 変圧器が早すぎると、LoRAが修理してくれる(動画あり)
• Abstract要約: タスク訓練されたランク8 LoRAは、この計算を拡張し、全てのモデルの重みを凍結する。 凍結したヘッドはチェーンを徐々に上向きに読み上げ、親線からの注意を取り除くことでリレーが停止する。 凍結モデル測定は、4つの保留モデルのうち3つの許容範囲内において、最後の有用な介入層を特定する。
• 参考スコア（独自算出の注目度）: 0.5352699766206808
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pretrained transformers use little of their depth to follow references in context. Thirteen base models reliably follow only 1.4-3.6 lines, and extra pretrained loops add little. A task-trained rank-8 LoRA at one early layer extends this computation with all model weights frozen. Qwen3-8B improves from 15.5% to 99% exact accuracy on 24-line chains; a longer-trained LoRA reaches 50 lines. Ouro-1.4B reaches 60 lines after four loops and at least 160 after eight. The LoRA starts a relay: program lines pass on their chain identity through a short range of middle layers. Frozen heads read progressively further up the chain, and removing parent-line attention stops the relay. A frozen-model measurement locates the last useful intervention layer within tolerance in three of four held-out models. Task-specific LoRAs also improve MuSiQue. Default answers therefore understate the computation accessible through a tiny edit. Code and an interactive demo are available at https://lunamos.github.io/stop-thinking-too-early/
• Abstract（参考訳）: 事前訓練されたトランスフォーマーは、コンテキスト内の参照に従うために、その深さのほとんどを使用しない。 13のベースモデルは1.4-3.6行しか確実に従わないが、追加の事前訓練されたループは少ない。 タスク訓練されたランク8 LoRAは、この計算を拡張し、全てのモデルの重みを凍結する。 Qwen3-8Bは、24行鎖の精度を15.5%から99%改善し、長い訓練のLoRAは50行に達する。 Ouro-1.4Bは4ループで60行、8行で少なくとも160行に達する。 LoRAはリレーを開始し、プログラム行は短い中間層を通してチェーンIDを渡す。 凍結した頭は鎖の上方で徐々に読み上げられ、親線からの注意をなくすことでリレーが止まる。 凍結モデル測定は、4つの保留モデルのうち3つの許容範囲内において、最後の有用な介入層を特定する。 タスク固有のLoRAも MuSiQue を改善している。 したがって、デフォルトの回答は、小さな編集でアクセスできる計算を根拠にしている。 コードとインタラクティブなデモはhttps://lunamos.github.io/stop-thinking-too-early/で公開されている。

関連論文リスト

• LoRA-TSD: Tangent-Space Spectral Descent for LoRA via Muon-Style Updates [48.87937677659571]
  低ランク適応(LoRA)は、大型モデルを微調整する標準的な方法である。 固定ランク行列多様体に対してすべてのLoRAステップを接として扱うアダプタであるLoRA-TSDを導入する。 LoRA-Pro と LoRA-TSD の両方に対して最初のグローバル収束保証を与える。
  論文  参考訳（メタデータ） (2026-09-02T15:41:45Z)
• Retrofitting Recurrent Depth into a Pretrained Language Model: Installation, Extrapolation, Transfer, and Retention at Two Parameter Budgets [0.0]
  密集した事前訓練された言語モデルは、繰り返しの深さで再適合することができる。 同様の大きさのスクラッチパッドを訓練したモデルは、学習した地平線内での繰り返しモデルと一致したが、その先で崩壊した。
  論文  参考訳（メタデータ） (2026-07-31T03:02:09Z)
• LoRA Scaffolded Policy Optimization (LSPO): A Sampling-Time Low-Rank Scaffold for Recovering Reinforcement-Learning Gradient on Zero-Reward Cliff Prompts [0.0]
  数学的推論のための検証可能な報酬(RLVR)からの強化学習は、構造的な盲点に悩まされる。 損失勾配を回復するサンプリング時間機構であるLSPO(LoRA Scaffolded Policy Optimization)を導入する。 DeepSeek-R1-Distill-Qwen-1.5Bを用いたDeepMath-103Kでは、腕1本あたりのn=5対の種子に対してLSPOの5シードの平均値が一致し、全16細胞でDAPOベースラインを打ち負かす。
  論文  参考訳（メタデータ） (2026-07-30T07:21:34Z)
• ReCoLoRA: Spectrum-Aware Recursive Consolidation for Continual LLM Fine-Tuning [0.0]
  ReCoLoRA(Recursive Consolidation of Low-Rank Adapters)は、連続的な微調整のためのスペクトル認識フレームワークである。 ReCoLoRAは、ランキングスワープのLoRA、PiSSA、AdaLoRA、DoRAのベースラインに対して4つのバックボーンのうち3つで最高得点を獲得した。
  論文  参考訳（メタデータ） (2026-07-04T12:58:26Z)
• Echo-LoRA: Parameter-Efficient Fine-Tuning via Cross-Layer Representation Injection [13.686308852232857]
  パラメータ効率の良い微調整のための層間表現注入法であるEcho-LoRAを提案する。 トレーニング中、Echo-LoRAは、深いソース層から境界隠れ状態を収集し、それらをサンプルレベルのエコー表現に集約し、軽量なプロジェクションネットワークを使用して、結果の信号を浅いLoRAまたはDoRAモジュールに注入する。 8つのコモンセンス推論ベンチマークにおいて、Echo-LoRAはLLaMA-7B、LLaMA2-7B、LLaMA3-8Bで報告されたLoRAベースラインを超える。
  論文  参考訳（メタデータ） (2026-05-05T08:26:11Z)
• Ouroboros: Dynamic Weight Generation for Recursive Transformers via Input-Conditioned LoRA Modulation [0.0]
  Ouroborosは、コンパクトなコントローラハイパーネットワークを再帰変換ブロックにアタッチするシステムである。 コントローラは現在の隠れ状態を観察し、ステップごとの対角変調ベクトルを生成し、凍ったSVD-d LoRAベースに適用する。 Qwen2.5-3BはPrelude/Recurrent/Codaアーキテクチャに分割され、Ouroborosは修正されていない17層ベースラインのトレーニング損失を43.4%削減した。 完全なシステムでは、9.2Mのトレーニング可能なパラメータ(コントローラ、ゲート、ステップごとのノルム)しか追加されていないが、同等の大きさの静的LORAを1.44ロスで上回っている。
  論文  参考訳（メタデータ） (2026-04-02T13:52:32Z)
• Taming Momentum: Rethinking Optimizer States Through Low-Rank Approximation [85.89510825889168]
  効率的な事前学習のための新しい低ランクシステムであるLoRA-Preを紹介する。 LoRA-Pre オンライン線形学習器内のコンパクトな低ランク部分空間に運動量行列を分解する。 Llama アーキテクチャファミリーのモデルを事前学習することで,LoRA-Preの有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2026-02-27T18:57:06Z)
• Safety Recovery in Reasoning Models Is Only a Few Early Steering Steps Away [97.11976870616273]
  本稿では,安全回復を目的ではなく満足度の高い制約として扱う軽量な推論時防衛法を提案する。 6つのオープンソースMLRMと4つのjailbreakベンチマークで評価した結果、SafeThinkは攻撃成功率を30～60%削減しました。
  論文  参考訳（メタデータ） (2026-02-11T18:09:17Z)
• Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 ローランクプロジェクションによる完全なトレーニング(SVDLoRA)とLoRAファインチューニングの間にはまだギャップがあり、LoRAのステップをさらに改善できることを示している。
  論文  参考訳（メタデータ） (2025-09-24T10:32:50Z)
• ResLoRA: Identity Residual Mapping in Low-Rank Adaption [96.59370314485074]
  低ランク適応(LoRA)の改良フレームワークであるResLoRAを提案する。 提案手法は,LoRAと比較してトレーニング可能なパラメータや推論コストを必要とせずに,より少ないトレーニングステップでより良い結果を得ることができる。 NLG,NLU,テキスト・ツー・イメージタスクの実験により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-02-28T04:33:20Z)
• Run LoRA Run: Faster and Lighter LoRA Implementations [50.347242693025336]
  LoRAは、線形層に低ランクアダプタを導入することにより、ニューラルネットワーク内のトレーニング可能なパラメータの数を減らすテクニックである。 本稿では,LoRAの効率的な実装のためのRunLoRAフレームワークを提案する。 実験は、言語モデリングネットワーク上で最大28%のスピードアップを示す。
  論文  参考訳（メタデータ） (2023-12-06T10:54:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。