論文の概要: Programs-of-Layers in LLMs through the Lens of Cortical Areas

• arxiv url: http://arxiv.org/abs/2609.31360v1
• Date: Fri, 25 Sep 2026 14:55:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.447471
• Title: Programs-of-Layers in LLMs through the Lens of Cortical Areas
• Title（参考訳）: 皮質領域のレンズによるLCMのプログラム・オブ・ライヤー
• Abstract要約: Li et al. (2026) は先日,プログラム・オブ・レイヤ (PoLar) と呼ばれるシステムで,トランスフォーマーに同様の柔軟性が与えられることを示した。 我々は,PoLarの診断MCTSを元の論文よりも詳細に再構成し,5モデルに応用した。 少数の汎用プログラムが、ほとんどの問題を解くのに十分であることがわかった。
• 参考スコア（独自算出の注目度）: 0.17856410179559387
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inference in LLMs is conventionally a fixed-depth, fixed-order forward pass through every layer, regardless of how difficult the input is. The human brain does not work this way: using the thalamus as a central hub, it routes information flexibly to all regions of the cortex according to demand. Li et al. (2026) recently showed, with a system they call program-of-layers (PoLar), that transformers can be given an analogous flexibility if their layers are treated as a library of functions rather than a fixed sequence. Performance improves over the standard forward pass when each input is dynamically routed through an adaptive sequence of skipped or repeated contiguous layer blocks. We reconstructed PoLar's diagnostic MCTS in more detail than the original paper and applied it across 5 models. We reproduced several of PoLar's findings: skipping outperformed the standard pass, repeating outperformed skipping, and combining both outperformed either alone. Shorter programs sufficed for easier questions, while harder questions required more layer repeats. However, we failed to replicate the main claim regarding their learned router for single-shot inference: its top-ranked prediction consistently collapsed back to the standard pass, even though its top-k predicted programs, taken together, did show a real accuracy gain. Beyond reproduction, we find that a small number of generic programs are enough to solve most of the questions. We also provide a much deeper analysis of these programs' structure and robustness: for example, we found that programs that correct errors are highly brittle: undoing even a single edit inside a program typically breaks the correction. Connecting this to the brain's routing mechanisms, PoLar mirrors principles of thalamo-cortical coordination between cortical-area-like transformer layers. We publicly release the code at https://datexis.github.io/RE-PoLar/
• Abstract（参考訳）: LLMにおける推論は、通常、入力がどれだけ難しいかに関わらず、すべての層を通過する固定深度、固定順フォワードである。 視床を中心のハブとして使うと、要求に応じて脳のすべての領域に柔軟に情報を伝達する。 Li et al (2026) は先日,プログラム・オブ・レイヤ(PoLar)と呼ばれるシステムで,レイヤが固定シーケンスではなく関数のライブラリとして扱われる場合,トランスフォーマーに同様の柔軟性が与えられることを示した。 各入力がスキップまたは繰り返し連続した層ブロックの適応シーケンスを介して動的にルーティングされる場合、標準的なフォワードパスよりもパフォーマンスが向上する。 我々は,PoLarの診断MCTSを元の論文よりも詳細に再構成し,5モデルに応用した。 PoLarの発見のいくつかを再現した: スキップは標準パスを上回り、スキップは上回り、両方の上りを単独で組み合わせた。 より短いプログラムはより簡単な質問に満足し、難しい質問はより多くのレイヤの繰り返しを必要とした。 しかし、我々は、学習したルータに関する主要な主張を単発推論で再現することができなかった。トップランクの予測は、トップランクの予測プログラムが組み合わされたとしても、常に標準パスにフォールバックした。 再現以外にも、少数の汎用プログラムが、ほとんどの問題を解くのに十分であることがわかった。 例えば、エラーを訂正するプログラムは、非常に脆弱であることが分かりました。 これを脳のルーティング機構に結びつけることで、PoLarは皮質-領域のようなトランスフォーマー層間の視床-皮質調整の原理を反映している。 コードについてはhttps://datexis.github.io/RE-PoLar/で公開しています。

関連論文リスト

• DiscoLoop: Looping Discrete Embeddings and Continuous Hidden States for Multi-hop Reasoning [91.94042219655866]
  大規模言語モデルは、Chain-of-Thought(CoT)として中間ステップの外部化を可能にすると、多くの推論タスクにおいて強力なパフォーマンスを達成する 我々は,この課題を,モデルが1つの前方パス内で複数の知識を構成しなければならない代表的タスクである2-ホップ推論を通じて研究する。 本稿では,個別の埋め込みチャネルと連続的な隠れ状態チャネルの両方を連続的に持つループアーキテクチャであるDiscoLoopを提案する。
  論文  参考訳（メタデータ） (2026-07-01T02:32:02Z)
• REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
  本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。 我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
  論文  参考訳（メタデータ） (2026-06-17T10:37:23Z)
• Skip a Layer or Loop It? Learning Program-of-Layers in LLMs [22.794776940675828]
  大規模言語モデル(LLM)は、すべてのレイヤの固定された深さと順序に従って推論を行う。 トレーニングフリー、フレキシブル、動的プログラム・オブ・レイヤー(PoLar)の幅広い存在を明らかにする。 本稿では,各入力に対して事前学習したレイヤを動的にスキップあるいは繰り返す実行プログラムを生成する軽量なPoLar予測ネットワークを提案する。
  論文  参考訳（メタデータ） (2026-06-04T17:59:58Z)
• From I/O to Code with Discovery Agent [103.88427301265669]
  IO2Codeの発見エージェントであるDIO-Agentを提案する。 本手法は,プログラム空間上の進化的探索としてIO2Codeをフレーム化する。 大規模な実験により、DIO-Agentは従来のプログラムバイサンプル法とSOTA進化エージェントベースラインの両方を一貫して上回っていることが示された。
  論文  参考訳（メタデータ） (2026-05-14T18:57:32Z)
• From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks [49.57538588967748]
  LLM(Large Language Model)は、複雑なベンチマークでは優れているにもかかわらず、単語中の文字数などの基本的な記号的タスクにおいて失敗を示す。 我々は、LLaMA、Qwen、Gemmaなど、現代のアーキテクチャにまたがる一貫した現象を発見した。 LLMにおけるシンボリック推論失敗は,表現不足やスケール不足によるものではなく,モデル計算グラフ内の構造的干渉によるものであることを示す。
  論文  参考訳（メタデータ） (2026-04-01T11:40:12Z)
• Learning to Skip the Middle Layers of Transformers [25.958907308877148]
  本研究では,中間層から外方へ可変層をスキップする新しいアーキテクチャを提案する。 特に、学習ゲーティング機構は、入力に基づいて中央ブロックの対称スパンをバイパスするかを決定する。 提案手法は, 層数が少なくて高密度なベースラインに比べて, 検証エントロピーと推定FLOPのトレードオフを改善することはできない。
  論文  参考訳（メタデータ） (2025-06-26T09:01:19Z)
• Counterexample Guided Program Repair Using Zero-Shot Learning and MaxSAT-based Fault Localization [0.0]
  導入プログラミング課題(IPAs)のための自動プログラム修復(APR)は、多数の学生の参加によって動機付けられている。 本稿では,FMに基づく障害局所化とLarge Language Models(LLMs)の長所を組み合わせた新しいアプローチを提案する。 提案手法では,MaxSATに基づく障害位置定位法を用いて,プログラムのバグ部分を特定し,これらのバグ文を欠いたプログラムスケッチをLLMに提示する。
  論文  参考訳（メタデータ） (2024-12-19T12:08:44Z)
• Code Repair with LLMs gives an Exploration-Exploitation Tradeoff [16.80314690163063]
  大きな言語モデル(LLM)でソースコードを反復的に改善し、修復することは、1ショットで構築するには複雑すぎるプログラムを生成する一般的な方法として現れている。 ここでは、リファインメントが探索と露見のトレードオフを露呈していることを示します。ほとんどのテストケースをパスするプログラムをリファイン化したり、考慮の少ないプログラムをリファインダでリファインダすることです。
  論文  参考訳（メタデータ） (2024-05-26T04:00:30Z)
• NAPG: Non-Autoregressive Program Generation for Hybrid Tabular-Textual Question Answering [52.10214317661547]
  現在の数値推論法はプログラムシーケンスを自己回帰的にデコードする。 プログラム生成の精度は、デコードステップがエラー伝搬によって展開されるにつれて急激に低下する。 本稿では,非自己回帰型プログラム生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-07T11:25:21Z)
• APP: Anytime Progressive Pruning [104.36308667437397]
  本稿では,特にオンライン学習の場合において,ニューラルネットワークをターゲット空間でトレーニングする方法を提案する。 提案手法は,複数のアーキテクチャやデータセットにまたがるベースライン密度とAnytime OSPモデルにおいて,短時間で適度かつ長時間のトレーニングにおいて,大幅に性能が向上する。
  論文  参考訳（メタデータ） (2022-04-04T16:38:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。