論文の概要: Kairos: Toward a Byte-Level Foundation Model for Every Modality

• arxiv url: http://arxiv.org/abs/2610.12495v1
• Date: Sat, 26 Sep 2026 13:12:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 21:02:54.437769
• Title: Kairos: Toward a Byte-Level Foundation Model for Every Modality
• Title（参考訳）: Kairos: すべてのモダリティのためのByte-Level Foundationモデルを目指して
• Abstract要約: Kairosは、ゲート-デルタネット線形アテンションと、共有射影上のスライディング-ウインドウのアテンションを組み合わせている。 本報告では、この組み合わせが有用かどうかを問う前に、最適化するかどうかを問う。 3000ステップ(LiZAttention2とウィンドウアテンションのみ)でテストされた2つのアテンション変種は、最低損失が10～3ドル近くに達する。 600ステップ後、平均最小損失は0.018 (パッチワイド) から0.354 (深度) まで変化し、3つの種子に同じランクを付けた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Small language models trained on a single local machine leave little room for architectural trial and error. Kairos combines bidirectional gated-DeltaNet linear attention and sliding-window attention over shared projections (LiZAttention2), block-wise Attention-Residual aggregation, a sparse Mixture-of-Experts (MoE) feed-forward layer and a multi-scale byte-level codec, trained with a uniform-noise denoising objective over one byte space shared by text, image, audio, video, lidar and control streams; this report asks whether the combination optimizes at all before asking whether it is useful. We give code-derived algorithms for each component, including a cross-session recurrent-state memory gate, then run convergence sanity checks: overfittinga single 440-byte sentence at 1--15M parameters, text only, with three seeds for codec and attention choices and single-run sweeps for seven further factors. The two attention variants tested at 3\,000 steps (LiZAttention2 and window attention alone) reach a minimum loss near $10^{-3}$. After 600 steps, the mean minimum loss ranges from 0.018 (patch codec) to 0.354 (depthwise convolutional codec) with an identical ranking on three seeds. An apparent advantage of shared over separate attention projections closes with more steps or more diverse data and reverses when the projections are frozen: it is a convergence-speed effect, not a capacity effect. These checks suggest that the implementation optimizes; they say nothing about generalization, multimodal training or comparison with existing models, which a planned pretraining run is meant to address. The Discussion sizes a 200M-total/25M-active target analytically; none of its throughput figures is measured. Code is available at https://github.com/fabienfrfr/Kairos . Python package at https://pypi.org/project/kairos-fm/ .
• Abstract（参考訳）: 一つのローカルマシンで訓練された小さな言語モデルは、アーキテクチャ上の試行錯誤の余地をほとんど残さない。 Kairosは、双方向のゲート・デルタネット線形注意と、共有射影(LiZAttention2)上のスライディングウインドウの注意(LiZAttention2)、ブロックワイド・アテンション・リシダルアグリゲーション、スパース・ミックス・オブ・エクササイズ(MoE)フィードフォワード層とマルチスケール・バイトレベルのコーデックを組み合わせて、テキスト、画像、オーディオ、ビデオ、ライダー、制御ストリームで共有される1バイトの空間に一様に雑音を付与する目標を訓練し、その組み合わせが有用かどうかを問う。 クロスセッションリカレントステートメモリゲートを含む各コンポーネントに対してコード由来のアルゴリズムを提供し、コンバージェンス・サニティチェックを実行する: 1～15Mパラメータで440バイトの文をオーバーフィッティングし、テキストのみにコーデックとアテンションの選択のための3つのシードと7つの要素のための単一実行スイープをオーバーフィッティングする。 3万ステップ(LiZAttention2とウィンドウアテンションのみ)でテストされた2つのアテンション変種は、最低10^{-3}$の損失に達する。 600ステップ後、平均最小損失は0.018 (パッチコーデック) から0.354 (奥行きの畳み込みコーデック) までで、3つの種子に同じランクを付けた。 別々の注意投影に対して共有される利点は、より多くのステップまたはより多様なデータで閉じ、投射が凍結されたときに逆になる:これはコンバージェンス・スピード効果であり、キャパシティ効果ではない。 これらのチェックは、実装が最適化されていることを示唆している。彼らは、一般化、マルチモーダルトレーニング、または既存のモデルとの比較については何も言っていない。 議論は2億トン/25Mのアクティブターゲットを分析的にサイズし、そのスループットの数値はいずれも測定されていない。 コードはhttps://github.com/fabienfrfr/Kairosで入手できる。 Pythonパッケージはhttps://pypi.org/project/kairos-fm/。

関連論文リスト

• Vision-Predictor-Action: Towards Efficient Embodied AI via Neuro-Symbolic JEPA Predictors [0.0]
  VLA(Vision-Language-Action)モデルは、LLM(Large Language Model)デコーダを介してトークンによってロボットアクショントークンを生成する。 本稿では、自動回帰デコーダを軽量遅延制御ループに置き換えるゴールコンディションド・ビジョン・プレクタ・アクション(VPA)を提案する。
  論文  参考訳（メタデータ） (2026-10-11T11:59:18Z)
• ActMap: Single-Pass Uncertainty Quantification from Generation-Time Activation Maps [1.7403133838762448]
  ActMapは、生成時の隠れ状態軌跡を固定された12時間s32times128$の時間統計チャネルに圧縮する表現である。 小型ビジョン変換器としてインスタンス化された軽量分類器は、各マップから推定された正当性確率をミリ秒単位で読み取る。
  論文  参考訳（メタデータ） (2026-09-10T13:04:24Z)
• QuantiSpect: A Structure-Aware Lightweight 3D CNN Pre-Decoder for Scalable Surface Code Quantum Error Correction [13.996295115428858]
  我々は、回転した表面コードのための軽量な3D畳み込みニューラルネットワーク(CNN)プリデコーダQuantiSpectを提案する。 鍵となるアイデアは、密集した3次元の畳み込みを、各残留ブロックに3つの平行な分岐で置き換えることである。 QuantiSpectは、Curcurateの回路レベルの閾値と精度を適度で大きなコード距離で一致させる。
  論文  参考訳（メタデータ） (2026-07-20T17:43:08Z)
• Measuring Maximum Activations in Open Large Language Models [60.3514350516308]
  集中度, MoE, 視覚言語, 中間訓練, 命令調整型変異にまたがる8つのオープンファミリーから27個のチェックポイントで, グローバルおよび階層的に最大値を測定した。 最大アクティベーションサイズは、単純なサイズの副産物ではなく、ファミリー、アーキテクチャ、トレーニングステージに結びついているモデル特性である、と結論付けます。
  論文  参考訳（メタデータ） (2026-05-15T03:31:51Z)
• Test-Time Training Done Right [61.8429380523577]
  テスト時間トレーニング(TTT)モデルは、推論中にモデルの重みの一部を適応させることによってコンテキストをモデル化する。 既存のTT手法は、長文データを扱う上で有効性を示すのに苦労した。 我々は,大規模チャンクテストタイムトレーニング(LaCT)を開発し,ハードウェア利用率を桁違いに向上させる。
  論文  参考訳（メタデータ） (2025-05-29T17:50:34Z)
• Breaking the Memory Barrier: Near Infinite Batch Size Scaling for Contrastive Loss [59.835032408496545]
  本稿では, コントラスト損失計算を任意の小ブロックに分割するタイルベースの戦略を提案する。 分散システムの階層構造を活用するためのマルチレベルタイリング戦略も導入する。 SOTAメモリ効率のソリューションと比較すると、同等の速度を維持しながら、メモリの2桁の削減を実現している。
  論文  参考訳（メタデータ） (2024-10-22T17:59:30Z)
• Robust Multi-Object Tracking by Marginal Inference [92.48078680697311]
  ビデオにおける多目的追跡は、隣接するフレーム内のオブジェクト間の1対1の割り当てに関する根本的な問題を解決する必要がある。 本稿では,各オブジェクトの限界確率をリアルタイムに計算する効率的な手法を提案する。 MOT17とMOT20ベンチマークで競合する結果を得る。
  論文  参考訳（メタデータ） (2022-08-07T14:04:45Z)
• Learning Tracking Representations via Dual-Branch Fully Transformer Networks [82.21771581817937]
  追従のためのトランスフォーマーのみをベースとした,シームズ型デュアルブランチネットワークを提案する。 注目ウィンドウ内の他のパッチとのマッチング結果に基づいて,各パッチの特徴ベクトルを抽出する。 この手法は、最高の性能の方法として、より良い結果または同等の結果を得る。
  論文  参考訳（メタデータ） (2021-12-05T13:44:33Z)
• Efficient Context-Aware Network for Abdominal Multi-organ Segmentation [8.92337236455273]
  腹腔内多臓器分画を効果的かつ効果的に行うための網羅的粗粒化フレームワークを開発した。 デコーダモジュールでは、k*k*1のスライス内畳み込みと1*1*kのスライス間畳み込みによる異方性畳み込みが、負担を軽減するように設計されている。 コンテキストブロックに対して、異方性と長距離のコンテキスト情報をキャプチャするためのストリッププーリングモジュールを提案する。
  論文  参考訳（メタデータ） (2021-09-22T09:05:59Z)
• Scaling Semantic Segmentation Beyond 1K Classes on a Single GPU [87.48110331544885]
  既存のセマンティックセグメンテーションモデルのトレーニングとスケールアップのための新しいトレーニング手法を提案する。 我々は、LVISとCOCOアノテーションからブートストラップした1284クラスのデータセットに対するアプローチの明確な利点を示し、DeeplabV3+モデルの3倍のmIoUを実現した。
  論文  参考訳（メタデータ） (2020-12-14T13:12:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。