論文の概要: The Life of a Token: from Words to Bits on the Wire

• arxiv url: http://arxiv.org/abs/2609.19924v1
• Date: Thu, 17 Sep 2026 09:03:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.187896
• Title: The Life of a Token: from Words to Bits on the Wire
• Title（参考訳）: 剣の命--ワイヤーの言葉からビットまで
• Abstract要約: 大規模言語モデル(LLM)は、非構造化テキストの膨大なコレクションを、言語生成や推論タスクに使用される意味パターンに変換する。 本チュートリアルは,言語がHPCトレーニングシステム内のコミュニケーションフローにどのように変換されるか,という光を放ちながら,単語からネットワークトラフィックまで,読者を移動させることを目的としている。
• 参考スコア（独自算出の注目度）: 3.906022019577613
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) transform vast collections of unstructured text into semantic patterns used for language generation and reasoning tasks. Behind their ease of use lies a complex process: words become tokens, tokens become vectors, and vectors ultimately give rise to streams of bits that flow through High-Performance Computing (HPC) systems. As modern LLMs grow to billions or trillions of parameters, this path increasingly unfolds across thousands of interconnected accelerators, making the underlying communication fabric a critical and often opaque component of model training. This tutorial aims to walk the reader through the journey from words to network traffic, shedding light on how language is translated into communication flows within HPC training systems. Using concrete examples from Dante's Divine Comedy, we illustrate how model architecture, tokenization, embeddings, and parallelization strategies shape the volume, structure, and timing of data exchanged across the network. We combine architectural analysis with analytical traffic models and numerical examples to characterize the communication requirements of LLM training. We try to demystify how words travel across the network and provide practical insights into the network requirements needed to support the journey from text to trained model.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、非構造化テキストの膨大なコレクションを、言語生成や推論タスクに使用される意味パターンに変換する。 単語はトークンになり、トークンはベクトルになり、ベクトルは最終的にハイパフォーマンスコンピューティング(HPC)システムを通過するビットのストリームを発生させる。 現代のLSMは数十億から数兆のパラメータに成長するにつれて、この経路は何千もの相互接続された加速器に広がっていき、基礎となる通信構造はモデルトレーニングの重要かつ不透明な要素となる。 本チュートリアルは,言語がHPCトレーニングシステム内のコミュニケーションフローにどのように変換されるか,という光を放ちながら,単語からネットワークトラフィックまで,読者を移動させることを目的としている。 Dante氏のDivine Comedyの具体的な例を使って、モデルアーキテクチャ、トークン化、埋め込み、並列化戦略が、ネットワーク間で交換されたデータのボリューム、構造、タイミングをどのように形成するかを説明します。 我々は,LLM学習の通信要求を特徴付けるために,アーキテクチャ解析と解析的トラフィックモデルと数値例を組み合わせる。 テキストからトレーニングされたモデルへの移動をサポートするために必要なネットワーク要件について,我々は,単語がネットワークを横断する方法について,現実的な洞察を提供しようとしている。

関連論文リスト

• From Semantic to Token Communication: The Next Paradigm for Large-Model-Driven 6G Intelligent Connectivity [94.51565447227847]
  6Gネットワークは、通信システムを信頼性の高いビット配信から、意味認識とタスク指向の接続へと駆動している。 強力なマルチモーダル理解と生成能力を持つ大規模モデル(LM)がこのシフトを加速した。 現在のLM駆動セマンティックコミュニケーション(SemCom)は断片化されている。 トークンは、この欠落した抽象化の自然な候補である、と我々は主張する。
  論文  参考訳（メタデータ） (2026-09-09T18:11:38Z)
• MaDiS: Taming Masked Diffusion Language Models for Sign Language Generation [78.75809158246723]
  本稿では,SLGのためのマスク付き拡散型言語モデルであるMaDiSについて述べる。 また,トークン・ラテント・ヘアリング・3次元空間の目的から共同で学習する3段階のクロスモーダル事前学習手法を導入する。 MaDiSはDTWエラーと新たに導入された2つのメトリクスであるSiBLEUとSiCLIPを含む複数のメトリクスで優れたパフォーマンスを実現し、推論レイテンシを30%近く削減している。
  論文  参考訳（メタデータ） (2026-01-27T13:06:47Z)
• Large Concept Models: Language Modeling in a Sentence Representation Space [62.73366944266477]
  本稿では,概念を命名した明示的な高レベルな意味表現に基づくアーキテクチャの試みを行う。 概念は言語とモダリティに依存しないものであり、フローにおけるより高いレベルの考えや行動を表している。 本モデルでは,多くの言語に対して,ゼロショットの一般化性能が顕著であることを示す。
  論文  参考訳（メタデータ） (2024-12-11T23:36:20Z)
• ViCToR: Improving Visual Comprehension via Token Reconstruction for Pretraining LMMs [28.42651794004883]
  ViCToR (VisualQA via Token Reconstruction) と呼ばれる視覚的理解段階を導入する。 ViCToRは学習可能なビジュアルトークンプールを使用し、ハンガリーマッチングアルゴリズムを使用して、視覚トークン置換のための意味的に関連するトークンを選択する。 LLaNeXT-8Bを10.4%改善し、MMStar、SEED$I$、RealWorldベンチマークで7.2%改善した。
  論文  参考訳（メタデータ） (2024-10-18T09:44:25Z)
• Raw Text is All you Need: Knowledge-intensive Multi-turn Instruction Tuning for Large Language Model [25.459787361454353]
  本稿では,対話論理のCoD-Chainを利用して,多言語モデル(LLM)を指導指導のための知識集約型多元対話を生成する新しいフレームワークR2Sを提案する。 オープンソースデータセットとドメイン固有のWebcrawledドキュメントの両方の生文書をベンチマークK-BENCHに統合することにより、Wikipedia(英語)、Science(中国語)、Artifacts(中国語)などのさまざまな領域をカバーする。
  論文  参考訳（メタデータ） (2024-07-03T12:04:10Z)
• A Simple Multi-Modality Transfer Learning Baseline for Sign Language Translation [54.29679610921429]
  既存の手話データセットには、約10K-20Kの手話ビデオ、グロスアノテーション、テキストが含まれています。 したがって、データは効果的な手話翻訳モデルの訓練のボトルネックとなる。 この単純なベースラインは、2つの手話翻訳ベンチマークで過去の最先端の結果を上回っている。
  論文  参考訳（メタデータ） (2022-03-08T18:59:56Z)
• Divide and Rule: Training Context-Aware Multi-Encoder Translation Models with Little Resources [20.057692375546356]
  マルチエンコーダモデルは、文書レベルのコンテキスト情報を現在の文と共にエンコードすることで、翻訳品質の向上を目指しています。 これらのパラメータのトレーニングは、コンテキストのトレーニング信号がスパースしているため、大量のデータを必要とする。 本稿では,並列文集合の訓練信号を豊かにするための,分割文対に基づく効率的な代替手法を提案する。
  論文  参考訳（メタデータ） (2021-03-31T15:15:32Z)
• From text saliency to linguistic objects: learning linguistic interpretable markers with a multi-channels convolutional architecture [2.064612766965483]
  本稿では,分類プロセスを利用したテキストから解釈可能な言語オブジェクトを抽出するために,実装されたCNNの隠れ層を検査する手法を提案する。 我々は、英語とフランス語の2つの異なる言語からのコーパスに対するアプローチの効率を実証的に実証した。
  論文  参考訳（メタデータ） (2020-04-07T10:46:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。