Fugu-MT 論文翻訳(概要): Graph Machine: Towards Better Pretraining via Edges

論文の概要: Graph Machine: Towards Better Pretraining via Edges

arxiv url: http://arxiv.org/abs/2609.02881v1
Date: Wed, 02 Sep 2026 17:56:41 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-03 17:53:18.487013
Title: Graph Machine: Towards Better Pretraining via Edges
Title（参考訳）: Graph Machine: エッジによる事前トレーニングの改善を目指す
Abstract要約: Graph Machine(GM)アーキテクチャは$O(n)$サイズの状態を維持し、スパースでダイナミックなルーティングを通じてアクセスする。我々はQwen3-0.6Bの高密度トランスフォーマー層75%をGMスパース層に置き換え、15.7Bトークンをスクラッチから事前トレーニングする。スパース層の各KVヘッドあたりのトークンは4,096個しか回収されず、損失はわずかに減少する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We introduce the Graph Machine (GM), an architecture that maintains an $O(n)$-sized state and accesses it through sparse, dynamic routing. Unlike methods with fixed-size states or sparse but static routing, GM preserves $O(n)$ complexity in its sparse layers without restricting the potentially accessible state size to $O(1)$. Instead, GM uses edges - pointer-like objects updated differentiably by a referral mechanism resembling pointer chasing. We replace 75% of the dense Transformer layers in Qwen3-0.6B with GM sparse layers and pretrain from scratch on 15.7B tokens. With only 2 of 4,096 tokens retrieved per KV head in each sparse layer, loss degrades only slightly; with 4, the best model marginally improves loss.
Abstract（参考訳）: Graph Machine(GM)は,$O(n)$サイズの状態を維持し,疎結合な動的ルーティングを通じてアクセスするアーキテクチャである。固定サイズの状態やスパースだが静的なルーティングを持つメソッドとは異なり、GMはスパース層における$O(n)$複雑さを、潜在的にアクセス可能な状態サイズを$O(1)$に制限することなく保存する。代わりにGMはエッジを使用する - ポインタに似た参照メカニズムによって、ポインタのようなオブジェクトが別々に更新される。我々はQwen3-0.6Bの高密度トランスフォーマー層75%をGMスパース層に置き換え、15.7Bトークンをスクラッチから事前トレーニングする。スパース層の各KVヘッドあたりのトークンは4,096個しか回収されず、損失はわずかに減少する。

関連論文リスト

LinearKV: One Cached State Suffices for Position-Independent Caching in Hybrid LLMs [43.666302638883025]
トレーニング不要なハイブリッドPICフレームワークであるLinearKVを紹介する。線形層の初期化器として,エンフィングルキャッシュ状態が十分であることがわかった。 3つのハイブリッドモデルと3つのPICセレクタを比較した。
論文参考訳（メタデータ） (2026-07-31T02:10:44Z)
More Structure, Not More Capacity: Object-Centric Representations for Visuomotor Imitation Learning [54.65906330923846]
対象中心のスロット表現は、事前学習された視覚モデルに代わる構造化された代替物であることを示す。トークンの16倍の高密度なパッチグリッドは、グローバル機能に匹敵するパフォーマンスはない。明示的な2D空間目標とネイティブ解像度レンダリングにより、全システムは68.7$pm$4.2%まで上昇し、特権付き3Dオーラクルの上界の直ぐ下にある。
論文参考訳（メタデータ） (2026-07-10T10:35:24Z)
Evolving Layer-Specific Scalar Functions for Hardware-Aware Transformer Adaptation [0.5266471639657487]
ビジョントランスフォーマー(ViT)は、挑戦的なビジョンタスクにおいて最先端のパフォーマンスを達成するが、エッジデバイスへのデプロイメントは妨げられている。最近の手法では、正規化層をハードウェアフレンドリーなスカラー近似に置き換えることでこれを回避しようとしている。本稿では、遺伝的プログラミング(GP)を利用して、異種層特異的スカラー関数を進化させる高効率なフレームワークを提案する。
論文参考訳（メタデータ） (2026-05-13T19:08:55Z)
Causal Concept Graphs in LLM Latent Space for Stepwise Reasoning [0.0]
Causal Concept Graphs (CCG): スパースで解釈可能な潜在機能に関する非巡回グラフ。タスク条件付きスパースオートエンコーダとDAGMAスタイルの微分可能な構造学習を組み合わせたグラフ復元を行う。
論文参考訳（メタデータ） (2026-03-11T03:46:38Z)
LoRIF: Low-Rank Influence Functions for Scalable Training Data Attribution [62.830878652285406]
トレーニングデータ属性は、モデルの予測に最も影響したトレーニング例を特定する。 LoRIFは、両方のボトルネックに対処するために、勾配の低ランク構造を利用する。数百万のサンプルでデータセットでトレーニングされた0.1Bから70Bパラメータのモデルで、LoRIFは最大20$timesのストレージ削減とクエリ時の高速化を実現している。
論文参考訳（メタデータ） (2026-01-29T16:18:34Z)
LitePT: Lighter Yet Stronger Point Transformer [50.6430530112838]
我々は3Dポイント・クラウド・ネットワークにおける異なる計算ブロックの役割を解析する。我々は、初期段階で畳み込みを採用し、より深い層に注意を向ける新しい改良された3Dポイントクラウドバックボーンを提案する。結果として、LitePTモデルはパラメータが3.6倍、2倍の速度で動作し、最新技術であるPoint Transformer V3よりも2倍のメモリを消費する。
論文参考訳（メタデータ） (2025-12-15T18:59:57Z)
Hierarchical Federated Graph Attention Networks for Scalable and Resilient UAV Collision Avoidance [0.5505634045241287]
衝突回避を実践するためにバランスをとる必要がある最も重要な指標は、リアルタイムのパフォーマンス、敵のレジリエンス、プライバシー保護である。我々は適応型微分プライバシー機構を提案し,実時間脅威の評価に基づいて雑音レベル$(in [0.1, 1.0])$を動的に低減する。このアーキテクチャは500UAVのスケーラブルなシナリオを提供し、衝突速度は2.0%$、ビザンティンの耐障害性は$f n/3$である。
論文参考訳（メタデータ） (2025-11-05T12:01:00Z)
A Simple Linear Patch Revives Layer-Pruned Large Language Models [58.056251480151104]
大規模言語モデル(LLM)の圧縮技術として広く使われているレイヤプルーニング(Layer pruning)が登場している。 textscLinearPatchはプルーニングインターフェイスで2つの操作を1つの行列に乗算する。パッチはメモリ効率の悪いオフライン蒸留によって5Kの未ラベルのサンプルでさらに洗練され、1つのGPUでわずか30分で95.16%に保留できる。
論文参考訳（メタデータ） (2025-05-30T15:06:08Z)
Densely Connected $G$-invariant Deep Neural Networks with Signed Permutation Representations [6.200483285433661]
有限群$G$,$G$-不変ディープニューラルネットワーク(G$-DNN)アーキテクチャをReLUアクティベーション付きで導入・検討する。 G$-DNNのプリアクティベーションは、Emphsigned permutation representations (signed perm-reps) of $G$で変換できる。文献からReLUのアクティベーション関数にアクセスできるものよりも、より許容可能な$G$-DNNアーキテクチャが存在することを示す。
論文参考訳（メタデータ） (2023-03-08T14:35:03Z)
Improved techniques for deterministic l2 robustness [63.34032156196848]
畳み込みニューラルネットワーク(CNN)を$l_2$ノルムの下で厳密な1-Lipschitz制約で訓練することは、対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。我々は,最後の線形層を1重層に置き換えることで,1-Lipschitz CNNのロバスト性を証明する手法を提案する。我々は,CIFAR-10およびCIFAR-100における標準および証明可能な堅牢な精度の最先端化を図る。
論文参考訳（メタデータ） (2022-11-15T19:10:12Z)
An Information Theory-inspired Strategy for Automatic Network Pruning [97.03772272417599]
深層畳み込みニューラルネットワークは、リソース制約のあるデバイスで圧縮されることがよく知られている。既存のネットワークプルーニング手法の多くは、人的努力と禁忌な計算資源を必要とする。本稿では,自動モデル圧縮のための情報理論に基づく戦略を提案する。
論文参考訳（メタデータ） (2021-08-19T07:03:22Z)
Large Scale Private Learning via Low-rank Reparametrization [77.38947817228656]
本稿では、大規模ニューラルネットワークに微分プライベートSGDを適用する際の課題を解決するために、再パラメータ化方式を提案する。 BERTモデルにディファレンシャルプライバシを適用し、4つの下流タスクで平均精度が8,3.9%に達するのはこれが初めてである。
論文参考訳（メタデータ） (2021-06-17T10:14:43Z)
Deep Learning Meets Projective Clustering [66.726500395069]
NLPネットワークを圧縮するための一般的なアプローチは、埋め込み層を行列 $AinmathbbRntimes d$ としてエンコードすることである。計算幾何学から遠射的クラスタリングに着想を得て、この部分空間を$k$部分空間の集合で置き換えることを提案する。
論文参考訳（メタデータ） (2020-10-08T22:47:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。