論文の概要: Library of Layers (LoL): Adaptively Ordering Transformer Layers at Runtime

• arxiv url: http://arxiv.org/abs/2611.03526v1
• Date: Mon, 02 Nov 2026 17:57:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.629781
• Title: Library of Layers (LoL): Adaptively Ordering Transformer Layers at Runtime
• Title（参考訳）: Library of Layers (LoL): 実行時にトランスフォーマー層を適応的に順序付けする
• Abstract要約: このアーキテクチャは、推論中に動的にレイヤを順序付けして、目の前の問題を解決します。 LoLは、テキストデータ上で事前訓練された場合、上記の3つのベースラインすべてと競合する性能を達成する。 多言語的な自然言語設定では、LoLは言語とスクリプトに基づいて異なる階層順序パターンを選択する。
• 参考スコア（独自算出の注目度）: 65.33522043904352
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Computer programmers chain together the same reusable computational primitives, for example, conditional statements or loops, but in different orders to implement different algorithms. In contrast, existing language model architectures always execute their layers in the same order. We introduce Library of Layers (LoL), an architecture that dynamically orders its layers during inference to solve the problem at hand. LoL has a single hyperparameter, the size of its global library of transformer blocks, that allows it to transition seamlessly between parameter reuse and sparsity, generalizing the parameter-efficiency and FLOPs-efficiency tradeoffs of dense, depth-recurrent, and mixture of experts architectures in one unified family. We show that LoL achieves competitive performance with all three above baselines when pretrained on text data. On synthetic sudoku and maze data, we observe that the model employs distinct layer orderings to implement different solution strategies, and we can intervene on routing to force a model to apply a specific solution strategy to a problem instance. In a multilingual natural language setting, we find that LoL chooses different layer order patterns based on language and script. Similarly, we train LoL on safety data and fit probes to its router outputs, finding that these probes distinguish safe from unsafe text with high AUROC. LoL provides a path toward a future in which models dynamically compose their own computational graph, enabling more efficient and controllable reasoning.
• Abstract（参考訳）: コンピュータプログラマは、例えば条件文やループのように、同じ再利用可能な計算プリミティブをチェーンするが、異なるアルゴリズムを実装するために異なる順序で行う。 対照的に、既存の言語モデルアーキテクチャは、常に同じ順番でレイヤを実行する。 このアーキテクチャは、推論中に動的にレイヤを順序付けして、目の前の問題を解決します。 LoLは、そのグローバルなトランスフォーマーブロックのライブラリのサイズである1つのハイパーパラメータを持ち、パラメータ再利用とスパシティのシームレスな移行を可能にし、密度、深さ、および1つの統一されたファミリーにおける専門家アーキテクチャの混合によるパラメータ効率とFLOPs効率のトレードオフを一般化する。 テキストデータ上で事前学習した場合,LoLは上述の3つのベースラインすべてと競合する性能を示す。 合成スドクデータと迷路データでは, 異なる解法戦略を実装するために, モデルが異なる層秩序を用いており, モデルに特定の解法戦略を適用するよう強制するルーティングに介入することができる。 多言語的な自然言語設定では、LoLは言語とスクリプトに基づいて異なる階層順序パターンを選択する。 同様に、安全データに基づいてLoLをトレーニングし、ルータ出力にプローブを適合させる。 LoLは、モデルが自身の計算グラフを動的に構成し、より効率的で制御可能な推論を可能にする未来への道を提供する。

関連論文リスト

• A Dual-Path Architecture for Scaling Compute and Capacity in LLMs [1.7347918181145063]
  本稿では、フレキシブルにスケールできる新しいデュアルパスブロック、隠れ状態に適用されるシーケンシャルな演算数、キャパシティを提案する。 2つのFLOP予算において、我々のデュアルパスモデルは、言語モデリングと下流評価において一致した同型FLOPモデルを上回っていることを示す。
  論文  参考訳（メタデータ） (2026-05-28T16:41:36Z)
• HierRouter: Coordinated Routing of Specialized Large Language Models via Reinforcement Learning [11.03159148013318]
  大規模言語モデル(LLM)は多くのタスクにまたがって最先端のパフォーマンスを提供するが、高い計算とメモリコストを課す。 特殊な軽量言語モデルのプールから推論パイプラインを動的に組み立てる階層的ルーティング手法であるHierを提案する。
  論文  参考訳（メタデータ） (2025-11-13T02:12:14Z)
• LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
  LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。 モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。 深度スケールアップのための新しい学習方法である textbfLESA を提案する。
  論文  参考訳（メタデータ） (2025-02-19T14:58:48Z)
• LLM-AutoDiff: Auto-Differentiate Any LLM Workflow [58.56731133392544]
  自動プロンプト工学(APE)のための新しいフレームワーク LLM-AutoDiff について紹介する。 LLMs-AutoDiffは、各テキスト入力をトレーニング可能なパラメータとして扱い、フリーズした後方エンジンを使用して、テキスト勾配に対するフィードバック・アキンを生成する。 精度とトレーニングコストの両方において、既存のテキスト勾配ベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2025-01-28T03:18:48Z)
• Interactive and Expressive Code-Augmented Planning with Large Language Models [62.799579304821826]
  大きな言語モデル(LLM)は、常識的推論と対話的な意思決定において強力な能力を示す。 近年,制御フローなどのコード・アジャセント技術を用いてLCM出力を構造化し,計画性能を向上させる技術が提案されている。 完全コード表現で動的なLEM計画手法であるREPL-Planを提案する。
  論文  参考訳（メタデータ） (2024-11-21T04:23:17Z)
• IOT: Instance-wise Layer Reordering for Transformer Structures [173.39918590438245]
  トランスフォーマの固定層順序の仮定を分解し,モデル構造にインスタンス単位の層順序変更を導入する。 当社の手法はTransformer以外のアーキテクチャにも適用可能です。
  論文  参考訳（メタデータ） (2021-03-05T03:44:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。