論文の概要: MoSAR: Mixture of Semantic Attention Regimes for Learning Adaptive and Approximable Attention Geometries

• arxiv url: http://arxiv.org/abs/2609.31261v1
• Date: Fri, 25 Sep 2026 13:38:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.410318
• Title: MoSAR: Mixture of Semantic Attention Regimes for Learning Adaptive and Approximable Attention Geometries
• Title（参考訳）: MoSAR:適応的および近似的アテンションジオメトリ学習のための意味的アテンションレジームの混合
• Abstract要約: クエリーキーの相互作用に対して適応的かつ制御されたデカイ幾何学を学習するMoSARを導入する。 MoSARは、ALiBiのような強力なベースラインを含むすべての評価された亜種の中で、最も難易度が高い。
• 参考スコア（独自算出の注目度）: 71.210511917777
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The quadratic complexity of dense self-attention remains a central bottleneck for long-context language modeling. Many efficient alternatives address this cost by deciding in advance where attention should be sparse or local. We argue that attention approximation should instead be approached as a geometric problem, with the relevant interaction geometry learned from data: natural-language dependencies are input-dependent and difficult to prescribe in advance, so the model should learn where positional relevance can decay and where broader interactions must be preserved. We introduce Mixture of Semantic Attention Regimes (MoSAR), which learns such an adaptive, controlled-decay geometry over query--key interactions. Input-conditioned query and key routers, applied after positional encoding, select mixtures over short, medium, and global regimes, inducing a continuous distance-dependent attention field rather than a fixed sparsity pattern. This geometry is learned during training and can subsequently be discretized through top-1 routing. In controlled pre-training experiments with matched 500M-parameter models, MoSAR learns a substantially lower-reach attention geometry without degrading language-modeling quality, improving perplexity over dense RoPE at the training context length. Under length extrapolation, MoSAR achieves the best perplexity among all evaluated variants, including strong baselines such as ALiBi. Moreover, the learned geometry remains stable under deterministic top-1 discretization, suggesting that it is not only adaptive, but also amenable to low-cost approximation at inference time.
• Abstract（参考訳）: 密集自己注意の二次的複雑さは、長いコンテキスト言語モデリングにおける中心的なボトルネックである。 多くの効率的な代替手段がこのコストに対処するため、注意が疎い場所や局所的な場所を事前に決める。 自然言語の依存関係は入力依存であり、事前の定式化が困難であるため、位置関係が崩壊し、より広範な相互作用を保存しなければならないかを学ぶ必要がある。 本稿では,クエリ-キー相互作用に対して適応的かつ制御されたデカイ幾何学を学習する,意味的注意規則の混合(MoSAR)を提案する。 入力条件付きクエリとキールータは、位置エンコーディング後に適用され、短い、中、大域的なレシエーション上の混合物を選択し、固定された空間パターンではなく、連続的な距離依存のアテンションフィールドを誘導する。 この幾何はトレーニング中に学習され、その後トップ1ルーティングを通じて識別される。 一致した500Mパラメータモデルを用いた事前学習の制御実験において、MoSARは言語モデル品質を劣化させることなく、かなり低遅延の注意形状を学習し、トレーニングコンテキスト長で高密度のRoPEよりも複雑度を向上させる。 長さ外挿の下では、MoSARはALiBiのような強力なベースラインを含む全ての評価された変種の中で最も難易度が高い。 さらに、学習幾何は決定論的トップ1離散化の下で安定であり、これは適応性だけでなく、推論時の低コスト近似にも適用可能であることを示唆している。

関連論文リスト

• The information geometry of large language models is shared, learned, and controllable [0.0]
  振舞いは、出力保存対称性までの幾何を決定することを示す。 アクロス変圧器、状態空間および繰り返しモデル、出力ジオメトリはアクティベーションジオメトリよりも強く一致する。 制御された言語割り当ては、幾何学がアーキテクチャ全体にわたる言語法則に従うことを示している。
  論文  参考訳（メタデータ） (2026-09-10T04:09:49Z)
• Think2Go: Generative Next POI Recommendation with LLM Reasoning [57.37706163990998]
  Next Point-of-Interest (POI)レコメンデーションタスクは、ユーザの行動選好パターンを過去のチェックインからマイニングすることに焦点を当て、次の目的地へのパーソナライズされた提案を提供する。 既存の手法は、次のPOIを予測するために、浅いコンテキスト情報と手作りの特徴相互作用に依存している。 本稿では,SID表現の理解を深め,テスト時間計算による多様な時空間パターンを探索する新しい次世代POIレコメンデーションフレームワークThink2Goを提案する。
  論文  参考訳（メタデータ） (2026-07-31T03:52:20Z)
• Recovering Physical Dynamics from Discrete Observations via Intrinsic Differential Consistency [12.266189649117003]
  我々は地域の監督をグローバルな構造的制約に置き換える。 この特性からの偏差が2つの目的に作用する時間条件のセカント速度場を訓練する。 トレーニング正則化器として、時間スケールで一貫して構成されるフローに仮説空間を限定する。
  論文  参考訳（メタデータ） (2026-05-08T20:24:32Z)
• A Mean Curvature Approach to Boundary Detection: Geometric Insights for Unsupervised Learning [52.452902154360565]
  本稿では,幾何学的機械学習に基づく新しい幾何学的フレームワークであるMean Curvature Boundary Points (MCBP)を紹介する。 MCBPはデータ多様体の固有曲率を明示的にモデル化し、原理化された多様体のパラメトリゼーションを必要としない点平均曲率を計算する。 合成および実世界のデータセットの実験により、MCBPはクラスタリング性能を一貫して改善することを示した。
  論文  参考訳（メタデータ） (2026-05-05T20:19:09Z)
• Towards Infinite Length Extrapolation: A Unified Approach [0.0]
  大規模言語モデル(LLM)は自然言語処理に革命をもたらしたが、長いシーケンスを処理する能力は、訓練中のコンテキストウィンドウサイズによって根本的に制限されている。 我々は、注目スコアを乗法変換と加法バイアスに分解するものとして、位置符号化手法を再解釈する統一的なフレームワークを使用する。 我々の理論的解析は、無限コンテキスト外挿条件を確立し、ソフトマックスハンドリングが、長距離相関、エントロピー境界性、勾配位置感度を保ちながら、非有界列に対して適切に定義されていることを保証している。
  論文  参考訳（メタデータ） (2026-01-03T14:10:23Z)
• OCMG-Net: Neural Oriented Normal Refinement for Unstructured Point Clouds [18.234146052486054]
  非構造点雲から指向性正規項を推定するための頑健な精錬法を提案する。 我々のフレームワークは、初期指向の正規性を洗練させるために、特徴空間に符号配向とデータ拡張を組み込んでいる。 従来手法に存在した騒音による方向の不整合の問題に対処するため, チャンファー正規距離と呼ばれる新しい指標を導入する。
  論文  参考訳（メタデータ） (2024-09-02T09:30:02Z)
• Locally Aware Piecewise Transformation Fields for 3D Human Mesh Registration [67.69257782645789]
  本論文では,3次元変換ベクトルを学習し,提案空間内の任意のクエリ点をリザーブ空間内の対応する位置にマップする部分変換場を提案する。 パラメトリックモデルにネットワークのポーズを合わせることで、特に極端なポーズにおいて、より優れた登録品質が得られることを示す。
  論文  参考訳（メタデータ） (2021-04-16T15:16:09Z)
• Making Affine Correspondences Work in Camera Geometry Computation [62.7633180470428]
  局所的な特徴は、ポイント・ツー・ポイント対応ではなく、リージョン・ツー・リージョンを提供する。 本稿では,全モデル推定パイプラインにおいて,地域間マッチングを効果的に活用するためのガイドラインを提案する。 実験により、アフィンソルバはより高速な実行時にポイントベースソルバに匹敵する精度を達成できることが示された。
  論文  参考訳（メタデータ） (2020-07-20T12:07:48Z)
• Learning Flat Latent Manifolds with VAEs [16.725880610265378]
  本稿では、ユークリッド計量がデータポイント間の類似性のプロキシとなる変分自動エンコーダのフレームワークの拡張を提案する。 我々は、変分オートエンコーダで一般的に使用されるコンパクトな以前のものを、最近発表されたより表現力のある階層型に置き換える。 提案手法は,ビデオ追跡ベンチマークを含む,さまざまなデータセットを用いて評価する。
  論文  参考訳（メタデータ） (2020-02-12T09:54:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。