論文の概要: After the Euclidean Highway: Hyperbolic Expert AI as the Next Innovation

• arxiv url: http://arxiv.org/abs/2607.17513v1
• Date: Mon, 20 Jul 2026 03:38:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.491225
• Title: After the Euclidean Highway: Hyperbolic Expert AI as the Next Innovation
• Title（参考訳）: ユークリッドハイウェイの後 - ハイパーボリックエキスパートAIの次のイノベーション
• Abstract要約: 配置は法律であってノブではないことを示す。 4つのモデルが運用されている(ライブ、コンシューマー向け、1つのオープンウェイト、2つのステップ毎のトレースと17のインシデント障害台帳(CC-BY-4.0))。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Expert domains are trees; the Euclidean transformer is not, diluting parent-child structure exponentially at depth. The hyperbolic turn left one question unasked: not how much of a network to curve, but where curvature may touch the gradient. Placement is a law, not a knob: the same geometry on a trainable adapter collapses training (seventeen training collapses, ~220 GPU-hours), yet at the loss layer alone it trains without one -- this is HySAT (Hyperbolic Structure-Aware Training), hyperbolic losses at the loss layer only. Across six expert SLMs we constructed and deployed (Llama 3.1 and EXAONE 3.5; four adapter strategies; 18.0M-sample corpus; zero NaN over ~317K optimizer steps), a matched four-arm ablation isolates the preserved manifold invariant, and three propositions and a lemma prove why loss-only placement is stable where adapter-on-manifold is not. Four models are operationally deployed (one live, consumer-facing), two open-weight, with per-step traces and a seventeen-incident failure ledger on Zenodo (CC-BY-4.0).
• Abstract（参考訳）: ユークリッド変圧器は、深さで指数関数的に親子構造を希釈する。 双曲的なターンは、1つの疑問を残した: ネットワークの曲率ではなく、曲率が勾配に触れる場所である。 トレーニング可能なアダプタ上の同じ幾何学がトレーニングを崩壊させる(17のトレーニング崩壊、約220のGPU時間)が、損失層だけでは1つもトレーニングしない - これがHySAT(Hyperbolic Structure-Aware Training)であり、損失層でのみ双曲的な損失である。 Llama 3.1 と EXAONE 3.5; 4つのアダプタ戦略 18.0M-sample corpus; 0 NaN over ~317K Optimizationr steps)、マッチした4腕のアブレーションは保存された多様体の不変性を分離し、3つの命題と補題は、アダプタオンマニフォールドが存在しない場合に損失のみの配置が安定であることを証明する。 4つのモデルが運用されており、1つは実運用で、コンシューマー向けで、2つはオープンウェイトで、ステップ毎のトレースと17の故障台帳がゼノド(CC-BY-4.0)に搭載されている。

関連論文リスト

• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• Reversible Foundations: Training a 120B Sparse MoE through State-Preserving Scaling [0.0]
  LightningLM 0.1Vは、小さな高密度の種から460の経路を持つ専門家を持つ120Bモデルまで、4段階で成長した反復バックボーン言語モデルである。 全系統は8Kコンテキストでより大きなステージである単一ノード上で実行され、120Bスケールで1.78のトレーニング損失がリリースされている。
  論文  参考訳（メタデータ） (2026-06-05T15:48:42Z)
• Forgetting That Sticks: Quantization-Permanent Unlearning via Circuit Attribution [3.6704226968275253]
  量子化を乗り越える手法はモデルにほとんど変化しないが, 圧縮条件下では, 有意義な忘れ方を実現するための勾配に基づく手法を示す。 因果回路の属性を組み合わせることで両モードを解消し,最小限の差分集合部分グラフを分離するMANSUを提案する。 さらに,構造的消去と行動抑制を区別する機構的検証尺度であるCircuit Attribution Divergence(CAD)を導入する。
  論文  参考訳（メタデータ） (2026-05-14T17:44:10Z)
• Sparse Mixture-of-Experts Routing in Visual Diffusion Transformers:Diagnosis, Boundary Calibration and Evolutionary Roadmap from Routing Collapse to Selective Deadlock [0.0]
  本稿では,ビデオ拡散変換器におけるToken-Choice sparse Mixture-of-Experts(MoE)の学習障害モードを系統的に診断する。 ルーティングされた専門家は元のFFN重みを正確にクローンし、共有された専門家は検証のためにゼロに、そして実際のトレーニングのために極端に小さな非ゼロノイズに変換する。
  論文  参考訳（メタデータ） (2026-05-12T17:57:13Z)
• EGA: Adapting Frozen Encoders for Vector Search with Bounded Out-of-Distribution Degradation [0.9179857807576733]
  本稿では,3つの原理を結合した残留アダプタであるユークリッドジオデシックアライメント(EGA)を提案する。 コンバージェンスでは9,6.5%のトリップレットが勾配無しであり、目に見えない地域ではほとんど触れられていない。 EGAは4つの一次分割において最も最悪なラベル精度を達成し、5番目の分割では一貫した改善を達成している。
  論文  参考訳（メタデータ） (2026-05-07T04:56:37Z)
• Linearizing Vision Transformer with Test-Time Training [54.52616866374482]
  事前訓練されたトランスフォーマーからウェイトを継承することは、魅力的なショートカットを提供するが、ソフトマックスと線形アテンションの基本的な表現的ギャップは、効果的なウェイト転送を妨げている。 テスト時間トレーニング(TTT)は2層動的定式化がSoftmaxの注意と構造的に一致している線形複雑アーキテクチャである。 安定拡散3.5を線形化して、SD3.5-T$5$(Transformer to Test Time Training)を導入することで、我々のアプローチを検証する。
  論文  参考訳（メタデータ） (2026-05-04T16:16:26Z)
• A Hyperbolic Perspective on Hierarchical Structure in Object-Centric Scene Representations [58.143688187023734]
  双曲空間のローレンツ双曲体にユークリッドスロット埋め込みを投影する簡単なパイプラインを提案する。 スロットアテンションマスクから直接5段階の視覚階層を構築する。 双曲的プロジェクションは、一貫したシーンレベルをオブジェクトレベル組織に公開する。
  論文  参考訳（メタデータ） (2026-03-14T16:53:59Z)
• Scalable Adaptation of 3D Geometric Foundation Models via Weak Supervision from Internet Video [76.32954467706581]
  本稿では,生のビデオストリームからGEometric foundationモデルのスケーラブル適応を行うフレームワークであるSAGEを提案する。 階層的なマイニングパイプラインを使用して、ビデオをトレーニングトラジェクトリやハイブリッド監視に変換します。 実験の結果、SAGEはゼロショットの一般化を著しく向上し、チェムファー距離を20-42%削減した。
  論文  参考訳（メタデータ） (2026-02-08T09:53:21Z)
• Combined Hyperbolic and Euclidean Soft Triple Loss Beyond the Single Space Deep Metric Learning [0.0]
  双曲空間とユークリッド空間の組み合わせは、両方の空間のDML精度と学習安定性を向上させる。 4つのベンチマークデータセットにおけるCHEST損失を評価し、新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-10-07T07:42:49Z)
• Machine Unlearning in Hyperbolic vs. Euclidean Multimodal Contrastive Learning: Adapting Alignment Calibration to MERU [50.9588132578029]
  本稿では,双曲型コントラスト学習における機械学習について検討する。 我々は、画像とテキストを双曲空間に埋め込んだモデルであるMERUにアライメントを適用し、セマンティック階層をよりよくキャプチャする。 提案手法では,双曲空間の特異性を利用したエンテーメントキャリブレーションやノルム正規化など,双曲特異成分を導入している。
  論文  参考訳（メタデータ） (2025-03-19T12:47:37Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• Learning Nonparametric Human Mesh Reconstruction from a Single Image without Ground Truth Meshes [56.27436157101251]
  そこで本研究では,人間のメッシュ再構築を基礎となる真理メッシュを使わずに学習する手法を提案する。 これはグラフ畳み込みニューラルネットワーク(Graph CNN)の損失関数に2つの新しい用語を導入することで実現される。
  論文  参考訳（メタデータ） (2020-02-28T20:30:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。