論文の概要: Manifold-Aware General Coded Computing for Straggler-Resilient Distributed Computing
- arxiv url: http://arxiv.org/abs/2609.00552v1
- Date: Tue, 01 Sep 2026 01:42:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-02 16:31:36.198674
- Title: Manifold-Aware General Coded Computing for Straggler-Resilient Distributed Computing
- Title(参考訳): ストラグラー耐性分散コンピューティングのためのマニフォールド対応汎用符号化計算
- Authors: Parsa Moradi, Mohammad Ali Maddah-Ali,
- Abstract要約: 既存の符号化計算設計では、入力データ固有の構造を明示的に利用していない。
本稿では、この固有形状を利用して、データの自然な多様体に従う符号付きサンプルを設計する。
- 参考スコア(独自算出の注目度): 14.767597520793482
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing coded-computing designs do not explicitly exploit the intrinsic structure of the input data. In communication systems, statistical structure and redundancy are often removed through source coding (or compression) before channel coding is applied. This principle, however, does not transfer directly to coded computation. In many computational tasks, particularly in machine learning, the structure of the data is precisely what the computation seeks to exploit to infer outputs or learn meaningful patterns. Consequently, coded-computing schemes should preserve and leverage this structure in their code design, rather than ignoring or eliminating it through source coding. This observation motivates a different perspective on code construction. In many channel-coding schemes, such as Reed-Solomon codes, coded symbols are generated by evaluating a low-dimensional algebraic representation at selected points. In contrast, many high-dimensional datasets naturally concentrate near low-dimensional manifolds. In this paper, we exploit this intrinsic geometry by designing coded samples that follow the natural manifold of the data, rather than imposing an artificial low-dimensional structure unrelated to the data distribution. Inspired by graph-based manifold learning, we propose a manifold-aware encoding strategy for general coded computing (GCC). Experiments on neural network inference and high-dimensional polynomial evaluation demonstrate that the proposed strategy consistently and significantly reduces the mean squared recovery error under straggling compared with standard GCC.
- Abstract(参考訳): 既存の符号化計算設計では、入力データ固有の構造を明示的に利用していない。
通信システムでは、チャネル符号化を適用する前に、しばしばソース符号化(または圧縮)によって統計構造と冗長性が除去される。
しかし、この原理は直接コード化された計算に転送しない。
多くの計算タスク、特に機械学習において、データの構造は正確には、計算が出力を推論したり、意味のあるパターンを学習するために利用しようとするものである。
したがって、コード計算スキームは、ソースコードを無視したり排除したりするのではなく、コード設計においてこの構造を保ち、活用すべきである。
この観察は、コード構築に関して異なる視点を動機付けます。
リード・ソロモン符号のような多くのチャネル符号化スキームでは、符号付きシンボルは選択された点における低次元代数的表現を評価することによって生成される。
対照的に、多くの高次元データセットは自然に低次元多様体の近くに集中する。
本稿では,データ分布とは無関係な人工低次元構造を導入するのではなく,データの自然な多様体に従うコード化されたサンプルを設計することで,この本質的な形状を利用する。
グラフに基づく多様体学習に着想を得て、汎用符号化コンピューティング(GCC)のための多様体対応符号化戦略を提案する。
ニューラルネットワーク推定実験と高次元多項式評価実験により,提案手法は標準GCCと比較して,ストラグリング時の平均2乗回復誤差を一定かつ著しく低減することを示した。
関連論文リスト
- What Really Improves Mathematical Reasoning: Structured Reasoning Signals Beyond Pure Code [72.9921566968371]
ドメイン分離のきめ細かい10T-tokenコーパスにおける事前学習の制御実験により,コードが推論を改善するという主張を再考する。
コードはプログラミング能力を大幅に改善するが、一般的な推論エンハンサーとして機能しない。
コード-テキストと数学-テキストの混合のようなドメイン間構造的推論トレースがよりうまく説明されている。
論文 参考訳(メタデータ) (2026-05-19T12:37:01Z) - Is Compression Really Linear with Code Intelligence? [60.123628177110206]
textitFormat Annealingは、事前訓練されたモデルの本質的な能力を同等に評価するために設計された、軽量で透明なトレーニング手法である。
我々の経験的結果は、測定されたコードインテリジェンスとビット・パー・キャラクタ(BPC)の基本的な対数関係を明らかにする。
私たちの研究は、コードインテリジェンスの開発における圧縮の役割をより微妙に理解し、コードドメインにおける堅牢な評価フレームワークに貢献します。
論文 参考訳(メタデータ) (2025-05-16T16:59:14Z) - CodeI/O: Condensing Reasoning Patterns via Code Input-Output Prediction [47.17755403213469]
我々は,文脈的に構築されたコードに埋め込まれた多様な推論パターンを凝縮する新しい手法であるCodeI/Oを提案する。
与えられたコードとテストケースを完全に自然言語で予測するためにモデルをトレーニングすることで、それらを普遍的な推論プリミティブに公開します。
実験の結果、CodeI/Oは記号、科学、論理学、数学と数値、常識推論タスクに一貫した改善をもたらすことが示された。
論文 参考訳(メタデータ) (2025-02-11T07:26:50Z) - Linear Codes for Hyperdimensional Computing [9.7902367664742]
ランダムな線形符号は、キー-値ストアを形成するために使用できるリッチなサブコード構造を提供する。
筆者らが開発しているフレームワークでは、ランダムな線形符号は単純なリカバリアルゴリズムを(束縛あるいは束縛された)構成表現に含めていることが示される。
論文 参考訳(メタデータ) (2024-03-05T19:18:44Z) - Spherical and Hyperbolic Toric Topology-Based Codes On Graph Embedding
for Ising MRF Models: Classical and Quantum Topology Machine Learning [0.11805137592431453]
本稿では,Isingモデルの基底状態を記述するための情報幾何学の適用について紹介する。
このアプローチは、機械学習とエラー訂正コーディングの関連性を確立する。
論文 参考訳(メタデータ) (2023-07-28T19:38:13Z) - Disentanglement via Latent Quantization [60.37109712033694]
本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。
本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
論文 参考訳(メタデータ) (2023-05-28T06:30:29Z) - Semi-Supervised Manifold Learning with Complexity Decoupled Chart Autoencoders [45.29194877564103]
本研究は、クラスラベルなどの半教師付き情報を付加できる非対称符号化復号プロセスを備えたチャートオートエンコーダを導入する。
このようなネットワークの近似力を議論し、周囲空間の次元ではなく、本質的にデータ多様体の内在次元に依存する境界を導出する。
論文 参考訳(メタデータ) (2022-08-22T19:58:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。