論文の概要: Preparation of Fractal-Inspired Computational Architectures for Advanced Large Language Model Analysis

• arxiv url: http://arxiv.org/abs/2511.07329v1
• Date: Mon, 10 Nov 2025 17:31:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 21:18:45.398419
• Title: Preparation of Fractal-Inspired Computational Architectures for Advanced Large Language Model Analysis
• Title（参考訳）: フラクタル型大規模言語モデル解析のためのフラクタル型計算アーキテクチャの構築
• Authors: Yash Mittal, Dmitry Ignatov, Radu Timofte,
• Abstract要約: FractalNetはフラクタルにインスパイアされた高度な大規模言語モデル解析のための計算アーキテクチャである。 新しいセットアップにはテンプレート駆動ジェネレータ、ランナー、評価フレームワークが含まれており、畳み込み、正規化、アクティベーション、ドロップアウト層の体系的な置換によって、1200以上のニューラルネットワークを生成できる。 本論文は, フラクタル設計を自動建築探査の実用的で資源効率のよい方法として位置づけている。
• 参考スコア（独自算出の注目度）: 50.11146543029802
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It introduces FractalNet, a fractal-inspired computational architectures for advanced large language model analysis that mainly challenges model diversity on a large scale in an efficient manner. The new set-up involves a template-driven generator, runner, and evaluation framework that, through systematic permutations of convolutional, normalization, activation, and dropout layers, can create more than 1,200 variants of neural networks. Fractal templates allow for structural recursion and multi-column pathways, thus, models become deeper and wider in a balanced way. Training utilizes PyTorch, Automatic Mixed Precision (AMP), and gradient checkpointing and is carried out on the CIFAR-10 dataset for five epochs. The outcomes show that fractal-based architectures are capable of strong performance and are computationally efficient. The paper positions fractal design as a feasible and resource-efficient method of automated architecture exploration.
• Abstract（参考訳）: FractalNetはフラクタルにインスパイアされた、高度な大規模言語モデル解析のための計算アーキテクチャである。 新しいセットアップにはテンプレート駆動ジェネレータ、ランナー、評価フレームワークが含まれており、畳み込み、正規化、アクティベーション、ドロップアウト層の体系的な置換によって、1200以上のニューラルネットワークを生成できる。 フラクタルテンプレートは構造的再帰とマルチカラム経路を可能にするため、バランスの取れた方法でモデルがより深く、より広くなる。 トレーニングには、PyTorch、AMP(Automatic Mixed Precision)、勾配チェックポイントを使用し、CIFAR-10データセット上で5つのエポックで実行される。 その結果,フラクタルアーキテクチャは高い性能を示し,計算効率がよいことがわかった。 本論文は, フラクタル設計を自動建築探査の実用的で資源効率のよい方法として位置づけている。

関連論文リスト

• DNAD: Differentiable Neural Architecture Distillation [6.026956571669411]
  識別可能なニューラルアーキテクチャ蒸留(DNAD)アルゴリズムは、2つのコアに基づいて開発されている。 DNADは6.0Mパラメータと598M FLOPのモデルで、ImageNet分類でトップ-1エラー率23.7%を達成した。 微分可能なアーキテクチャ探索(DARTS)の枠組みに基づくSNPSアルゴリズムの開発
  論文  参考訳（メタデータ） (2025-04-25T08:49:31Z)
• ZeroLM: Data-Free Transformer Architecture Search for Language Models [54.83882149157548]
  現在の自動プロキシ発見アプローチは、検索時間の拡張、データの過度なオーバーフィットへの感受性、構造的な複雑さに悩まされている。 本稿では,効率的な重み統計によるモデルキャパシティの定量化を目的とした,新しいゼロコストプロキシ手法を提案する。 本評価は,FlexiBERT ベンチマークで Spearman's rho 0.76 と Kendall's tau 0.53 を達成し,このアプローチの優位性を示すものである。
  論文  参考訳（メタデータ） (2025-03-24T13:11:22Z)
• Representing Topological Self-Similarity Using Fractal Feature Maps for Accurate Segmentation of Tubular Structures [12.038095281876071]
  本研究では,FDをピクセルレベルまで拡張することにより,フラクタル特徴を深層学習モデルに組み込む。 得られたフラクタル特徴写像(FFM)はモデルへの追加入力と損失関数の重み付けとして組み込まれる。 5つの管状構造データセットの実験は、我々のアプローチの有効性とロバスト性を検証する。
  論文  参考訳（メタデータ） (2024-07-20T05:22:59Z)
• Learning From Simplicial Data Based on Random Walks and 1D Convolutions [6.629765271909503]
  ランダムウォークと高速1D畳み込みに基づく単純な複雑なニューラルネットワーク学習アーキテクチャ。 実世界のデータセット上でSCRaWlを実証的に評価し、他の単純なニューラルネットワークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-04T13:27:22Z)
• Symplectic Autoencoders for Model Reduction of Hamiltonian Systems [0.0]
  長期の数値安定性を確保するためには,システムに関連するシンプレクティックな構造を維持することが重要である。 本稿では,次元削減のための確立されたツールであるオートエンコーダの精神の中で,新しいニューラルネットワークアーキテクチャを提案する。 ネットワークのトレーニングには,非標準勾配降下法を適用した。
  論文  参考訳（メタデータ） (2023-12-15T18:20:25Z)
• Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
  行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。 私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
  論文  参考訳（メタデータ） (2023-03-27T02:34:09Z)
• FlowNAS: Neural Architecture Search for Optical Flow Estimation [65.44079917247369]
  本研究では,フロー推定タスクにおいて,より優れたエンコーダアーキテクチャを自動で見つけるために,FlowNASというニューラルアーキテクチャ探索手法を提案する。 実験の結果、スーパーネットワークから受け継いだ重み付きアーキテクチャは、KITTI上で4.67%のF1-allエラーを達成していることがわかった。
  論文  参考訳（メタデータ） (2022-07-04T09:05:25Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Segmentation and Recovery of Superquadric Models using Convolutional Neural Networks [2.454342521577328]
  畳み込みニューラルネットワーク(CNN)を中心に構築された(二段階)アプローチを提案する。 第1段階では,提案手法はMask RCNNモデルを用いて,深度シーンにおける超クワッドリックな構造を同定する。 我々は、少数の解釈可能なパラメータを持つ複雑な構造を記述することができる。
  論文  参考訳（メタデータ） (2020-01-28T18:17:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。