論文の概要: An Operationalization of Opaque Serial Depth
- arxiv url: http://arxiv.org/abs/2611.17495v1
- Date: Thu, 12 Nov 2026 20:34:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.255836
- Title: An Operationalization of Opaque Serial Depth
- Title(参考訳): 不透明なシリアル深さの操作
- Abstract要約: CoT(Chain-of-Thought)は現在、AIモデルを監視するための貴重なツールである。
モデルが実行可能な非言語化シリアル認知量のプロキシとして機能する尺度を運用する。
- 参考スコア(独自算出の注目度): 1.720375142024514
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Chain-of-thought (CoT) is currently a valuable tool for overseeing AI models, but some architectural shifts could significantly reduce CoT monitorability. We operationalize a measure that serves as a proxy for the amount of unverbalized serial cognition a model can perform, as a specific instantiation of the notion of opaque serial depth: roughly, the length of the longest path through a model's computation that does not pass through an interpretable bottleneck. Our main contribution is a particular standard for what counts as such a bottleneck. We define natural-language-rooted (NL-rooted) nodes as nodes that were initialized from a pre-training prior to produce human-understandable outputs, whose output space has not been expanded beyond that prior, and whose outputs the model has not been modified to interpret as a different type of data. By construction, the resulting measure, NLS depth, can be adjudicated before training from an architecture, training recipe, and deployment configuration alone, and is insensitive to ordinary post-training such as prompting, distillation, and RL. We find that, across open-weight models, NLS depth correlates strongly with layer count, with some exceptions, and has grown slowly over recent years. It would likely grow slowly under continued scaling of standard transformers, while latent-reasoning architectures such as full-bandwidth transformers could increase it by a large amount. We work through how NLS depth applies to a range of existing and proposed architectures, discuss alternative operationalizations, and give a worked example bounding the depth of Gemma3-1B. We argue that AI developers should track and report the NLS depth of their models as a complement to direct measurements of CoT monitorability.
- Abstract(参考訳): CoT(Chain-of- Thought)は現在、AIモデルを監視するための貴重なツールだが、いくつかのアーキテクチャシフトは、CoTの監視可能性を大幅に低下させる可能性がある。
本研究では,不透明なシリアルディープの概念の特定インスタンス化として,モデルが実行可能な非言語的シリアル認知量のプロキシとして機能する指標を運用する:大まかに言えば,解釈可能なボトルネックを通さないモデル計算による最長パスの長さ。
私たちの主な貢献は、そのようなボトルネックと見なされるものの特別な標準です。
我々は、自然言語ルート(NL-rooted)ノードを、人間の理解可能な出力を生成する前に事前学習から初期化されたノードとして定義し、その出力空間はそれ以前に拡張されておらず、その出力は異なるタイプのデータとして解釈するために変更されていない。
構築によって、NLS深度は、アーキテクチャ、トレーニングレシピ、デプロイメント構成のみからのトレーニング前に調整することができ、プロンプト、蒸留、RLといった通常のポストトレーニングには無関心である。
オープンウェイトモデル全体で、NLSの深さは、いくつかの例外を除いて、層数と強く相関しており、近年はゆっくりと成長している。
標準変圧器の継続的なスケーリングではゆっくりと成長するが、フルバンド幅変圧器のような遅延共振アーキテクチャはそれを大量に増加させる可能性がある。
我々は、NLSの深さが既存のアーキテクチャや提案されたアーキテクチャにどのように適用されるかを説明し、代替のオペレーテーションについて議論し、Gemma3-1Bの深さを制限した実例を示す。
AI開発者は、CoT監視可能性の直接測定の補完として、モデルのNLS深度を追跡し、報告すべきである、と私たちは主張する。
関連論文リスト
- Hidden Decoding at Scale: Latent Computation Scaling for Large Language Models [75.80275843320511]
トランスフォーマーのバックボーンを固定したまま、各トークンにより多くの計算を割り当てることで、既存のバックボーンが改善を続けることができるかどうかを検討する。
継続事前学習中に適用されたシーケンス長スケーリング手法であるHidden Decodingを提案する。
論文 参考訳(メタデータ) (2026-07-09T07:37:59Z) - Depth-Entropy Guided Sampling for Training-Free LLM Reasoning [7.057431471793534]
強化学習(Reinforcement Learning, RL)は, 大規模言語モデルの推論能力向上のための主要なパラダイムとなっている。
固有品質信号として層ワイドエントロピー崩壊を利用するトレーニング不要なテスト時間法であるDepth-Entropy Guided Sampling (DEGS)を紹介する。
論文 参考訳(メタデータ) (2026-06-19T12:36:23Z) - Scaling Adaptive Depth with Norm-Agnostic Residual Networks [9.219329760729629]
NAGは標準に依存しない残差アーキテクチャであり、残差ストリームの方向情報から大きさを分離する。
NAGは無視できる数の追加パラメータしか導入せず、簡単にカーネルで実現可能な単純な操作に依存している。
このアーキテクチャはベースライントランスフォーマーよりも優れており,奥行きが大きくなるにつれて大幅に向上することを示す。
論文 参考訳(メタデータ) (2026-06-15T02:05:37Z) - Versioned Late Materialization for Ultra-Long Sequence Training in Recommendation Systems at Scale [12.736059967085025]
現代のディープラーニング勧告モデル(DLRM)は、シーケンス長のスケーリング法則に従う。
Fat Row"パラダイムは、これらのシーケンスをトレーニングのすべての例にプリマテリアル化し、ストレージとI/Oウォールを作成します。
本稿では、UIHを正規化不変層に一度保存することで、この冗長性を解消するエンバージョン遅延物質化パラダイムを提案する。
論文 参考訳(メタデータ) (2026-04-27T06:41:39Z) - Quantifying the Necessity of Chain of Thought through Opaque Serial Depth [14.696082421536914]
大規模言語モデル(LLM)は思考の連鎖における推論を外部化する傾向があり、思考の連鎖が監視の標的となる。
我々はこの議論を、思考の連鎖のような解釈可能な中間ステップを使わずに行うことができる、最も長い計算の長さによって与えられる不透明な直列深さの概念によって定式化する。
不透明な連続深度は、外部化されていない重要な推論を行うモデルの可能性を理解するのに有用なツールであることを示す。
論文 参考訳(メタデータ) (2026-03-10T15:21:42Z) - Scaling LLM Speculative Decoding: Non-Autoregressive Forecasting in Large-Batch Scenarios [76.85739138203014]
本稿では,一方向および注目メカニズムを加速する新しいアーキテクチャであるSpecFormerを紹介する。
また,SpecFormerはトレーニング要求の低減と計算コストの削減を実現している。
論文 参考訳(メタデータ) (2025-11-25T14:20:08Z) - DeepCoT: Deep Continual Transformers for Real-Time Inference on Data Streams [63.27233749591346]
トランスフォーマーベースのモデルは、ますます複雑なタスクに取り組むために、そのサイズとパラメータ数を劇的に増加させてきた。
ストリームデータ推論は通常、スライディング時間ウィンドウ上で実行され、非常に冗長な計算に繋がる。
提案するDeep Continual Transformer(DeepCoT)は冗長性のないエンコーダのみのモデルであり,最小限の変更で既存のディープエンコーダアーキテクチャに適用できる。
論文 参考訳(メタデータ) (2025-11-21T16:15:43Z) - LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。
モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。
深度スケールアップのための新しい学習方法である textbfLESA を提案する。
論文 参考訳(メタデータ) (2025-02-19T14:58:48Z) - DepthFormer: Exploiting Long-Range Correlation and Local Information for
Accurate Monocular Depth Estimation [50.08080424613603]
高精度な単分子深度推定には長距離相関が不可欠である。
我々は,このグローバルコンテキストを効果的な注意機構でモデル化するためにTransformerを活用することを提案する。
提案したモデルであるDepthFormerは、最先端のモノクル深度推定手法をはるかに超えている。
論文 参考訳(メタデータ) (2022-03-27T05:03:56Z) - How Well Do Sparse Imagenet Models Transfer? [75.98123173154605]
転送学習は、大規模な"上流"データセットで事前訓練されたモデルが、"下流"データセットで良い結果を得るために適応される古典的なパラダイムである。
本研究では、ImageNetデータセットでトレーニングされた畳み込みニューラルネットワーク(CNN)のコンテキストにおいて、この現象を詳細に調査する。
スパースモデルでは, 高空間であっても, 高密度モデルの転送性能にマッチしたり, 性能に優れることを示す。
論文 参考訳(メタデータ) (2021-11-26T11:58:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。