論文の概要: Compute Has Shape: Self-Morphing the Internal Computation of Frozen LLMs

• arxiv url: http://arxiv.org/abs/2610.38382v1
• Date: Wed, 28 Oct 2026 07:19:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:09.966039
• Title: Compute Has Shape: Self-Morphing the Internal Computation of Frozen LLMs
• Title（参考訳）: コンピュータの形状:冷凍LLMの内部計算を自己修正する
• Abstract要約: テストタイムのスケーリングは、さらなる計算によって大きな言語モデルを改善する。 既存のアプローチは、トレーニング中にリカレントアーキテクチャや並列アーキテクチャを主に修正する。 計算形状を入力依存推論時間決定とするSelfMorphを導入する。
• 参考スコア（独自算出の注目度）: 66.81922093956588
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Test-time scaling improves large language models through additional computation, but how to adapt the topology of internal computation to individual inputs remains underexplored. Existing approaches largely fix recurrent or parallel architectures during training, or reconfigure frozen models along a single structural axis. We introduce SelfMorph, which makes computational shape an input-dependent inference-time decision. It unifies the original forward path (BASE), serial reuse of a layer span (REPEAT), and local branching and merging of perturbed hidden states (BRANCH) in a unified space parameterized by type, location, and intensity. Since they offer complementary benefits rather than uniform dominance, we use a lightweight selector that reads the backbone's depth-wise hidden state trajectory on the prompt to choose a morphology before response generation. We train the selector by distilling utility-based distribution from offline morphing that jointly account for task performance and computational cost. Evaluated on three LLMs spanning 4B-27B, SelfMorph achieves a 8.06% mean relative improvement on five in-distribution benchmarks and 4.45% on four unseen benchmarks. It achieves the strongest performance in 24 of 27 settings. These findings identify input-adaptive computational topology as a complementary axis of test-time scaling beyond generating more tokens. Our code is available at https://github.com/creator-xi/SelfMorph.
• Abstract（参考訳）: テストタイムスケーリングは、さらなる計算によって大きな言語モデルを改善するが、内部計算のトポロジを個々の入力にどのように適応させるかはまだ未定である。 既存のアプローチは、トレーニング中にリカレントアーキテクチャや並列アーキテクチャを主に修正するか、あるいは単一の構造軸に沿って凍結モデルを再設定する。 計算形状を入力依存推論時間決定とするSelfMorphを導入する。 元のフォワードパス(BASE)、層スパン(REPEAT)のシリアルリユース、型、位置、強度によってパラメータ化された統一された空間における乱れた隠れ状態(BRANCH)の局所分岐とマージを統一する。 それらが一様支配よりも補完的な利点を提供するので、応答生成の前に形態を選択するプロンプト上で、バックボーンの奥行きに隠れた状態軌跡を読み取る軽量セレクタを使用する。 我々は,タスク性能と計算コストを共同で考慮したオフラインモーフィングからユーティリティベースの分布を蒸留することにより,セレクタを訓練する。 4B-27B にまたがる3つの LLM の評価では、SelfMorph は5つの分布内ベンチマークで8.06%、そして4つの未知のベンチマークで4.45% の相対的な改善を達成している。 27セット中24セットで最強のパフォーマンスを達成した。 これらの結果は、入力適応型計算トポロジーを、より多くのトークンを生成すること以上のテスト時間スケーリングの相補軸として認識する。 私たちのコードはhttps://github.com/creator-xi/SelfMorph.comで公開されています。

関連論文リスト

• Thought-Level Beam Search for Reasoning [39.76902449987798]
  テストタイムの計算スケーリングは、大きな推論モデルにおけるパフォーマンスの主要な要因である。 部分軌道上の制約付き計算割当問題としてテスト時間推論を定式化する。 Emph Thoughtレベルビームサーチを実行する推論アルゴリズムであるGambitを導入する。
  論文  参考訳（メタデータ） (2026-08-08T09:00:01Z)
• Cloud-ScPO: Hidden-State Geometry for Semi-Supervised Preference Optimization in LLM Reasoning [7.172883293957228]
  モデルの内部表現幾何学から選好監督を導出できるかどうかを考察する。 我々は、トポロジ誘導の選好マイニングフレームワークであるCloud-ScPOを提案する。 実験の結果、クラウド-ScPOはScPOよりも常に改善され、GSM8Kでは4.49%、MATH-Numericでは4.19%まで上昇した。
  論文  参考訳（メタデータ） (2026-08-02T05:33:41Z)
• Hidden Decoding at Scale: Latent Computation Scaling for Large Language Models [75.80275843320511]
  トランスフォーマーのバックボーンを固定したまま、各トークンにより多くの計算を割り当てることで、既存のバックボーンが改善を続けることができるかどうかを検討する。 継続事前学習中に適用されたシーケンス長スケーリング手法であるHidden Decodingを提案する。
  論文  参考訳（メタデータ） (2026-07-09T07:37:59Z)
• MesaNet: Sequence Modeling by Locally Optimal Test-Time Training [67.45211108321203]
  我々は,最近提案されたMesa層の数値的に安定かつチャンクワイズ可能な並列化版を導入する。 テストタイムの最適トレーニングにより、従来のRNNよりも言語モデリングの難易度が低く、ダウンストリームベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2025-06-05T16:50:23Z)
• FFT-based Dynamic Subspace Selection for Low-Rank Adaptive Optimization of Large Language Models [49.397861654088636]
  低次元空間へのSVD/QRベースの勾配射影を近似する2段階の手順を提案する。 当社の戦略はランタイムの高速化とメモリ使用量の削減を,さまざまなモデルサイズで最大25%削減できることが示されています。
  論文  参考訳（メタデータ） (2025-05-23T14:37:00Z)
• LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
  LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。 モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。 深度スケールアップのための新しい学習方法である textbfLESA を提案する。
  論文  参考訳（メタデータ） (2025-02-19T14:58:48Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。