論文の概要: Causal Optimal-Transport Attention: Positional Priors and Length Extrapolation

• arxiv url: http://arxiv.org/abs/2611.01472v1
• Date: Sun, 01 Nov 2026 03:02:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-11 09:45:37.463154
• Title: Causal Optimal-Transport Attention: Positional Priors and Length Extrapolation
• Title（参考訳）: Causal Optimal-Transport Attention: positional pres and Length Extrapolation
• Abstract要約: 因果マスクは、最適輸送(OT)注意で使用されるカラムバランスを阻害する。 我々は、位置エンコーディングを、その遠方の注意質量が1つから離れたままであるかどうかによって分類する。 CABLEは、3つのトレーニング期間で、各シードに対して評価時間YaRNでRoPEを上回ります。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Causal masking obstructs the column balancing used by optimal-transport (OT) attention. We study a prefix-consistent unbalanced operator and characterize the positional prior it induces. Under bounded scores, for any fixed balancing strength $ρ<1$, its fixed point dilutes attention: every fixed window receives a vanishing share as the context grows. For constant scores, we derive an exact scale-invariant prior. We then classify positional encodings by whether their distant attention mass remains bounded away from one. Discrete window-mass bounds quantify the finite-length dilution of summable log-distance priors near exponent one. Preregistered experiments with 25M- and 100M-parameter language models establish improved loss extrapolation over softmax; exploratory comparisons favor an explicit distance bias at a fraction of the cost. CABLE outperforms RoPE with evaluation-time YaRN on every seed at three training lengths. Changing only the bias beyond the training length moves long-context loss in the predicted direction on all 30 tested checkpoints. Even with exponents constrained above one, many heads approach the summability boundary during training. A margin selected by prior-only calculations for a specified window, length range and growth tolerance controls distant-mass growth in the tested setting. These results connect loss extrapolation to positional decay over the lengths actually evaluated.
• Abstract（参考訳）: 因果マスクは、最適輸送(OT)注意で使用されるカラムバランスを阻害する。 本研究では,プレフィックス一貫性のない非平衡演算子について検討し,それが引き起こす位置を特徴付ける。 有界スコアの下では、任意の固定バランス強度が$ρ<1$の場合、その固定点は注意を希薄にする。 定数スコアについては、前もって正確なスケール不変量を導出する。 次に、位置エンコーディングを、その遠方の注意質量が1から離れたままであるかどうかによって分類する。 離散窓質量境界は、最大対数距離先行値の有限長の希釈を指数関数の近傍で定量化する。 25M-および100M-パラメータ言語モデルによる事前登録実験では、ソフトマックスによる損失補間が改善された。 CABLEは、3つのトレーニング期間で、各シードに対して評価時間YaRNでRoPEを上回ります。 トレーニング長を超えるバイアスだけを変えることで、予測された方向の長いコンテキスト損失を、テストされた30のチェックポイントすべてに移動させる。 上から制約された指数であっても、訓練中に多くの頭が総和可能性境界に近づく。 所定の窓, 長さ範囲, 耐成長性に対する事前計算により選択されたマージンは, 試験条件下での遠方質量成長を制御する。 これらの結果は、実際に評価された長さにおける損失外挿と位置減衰を結びつける。

関連論文リスト

• Finite-Sample Optimal Conformal Prediction Sets under Covariate Shift [5.481094580406418]
  対象分布の最小長の予測集合を探索する。 各キャリブレーションサンプルサイズについて、逆条件密度スコアとランダム化された重み付き共役キャリブレーションを組み合わせたルールが、この予測長を最小化することを示す。 36の既知の密度設定と4つのパブリックレグレッションデータセットの実験は、カバレッジ、予測セットの長さ、ランタイムを既存のメソッドと比較する。
  論文  参考訳（メタデータ） (2026-10-27T19:11:25Z)
• One Patch, Three Roles: What Is Actually Coupled in Autoregressive Time-Series Forecasting? [49.84472730204669]
  凍結した親の軌道は, 軽量な平行出口で観測される未来よりも適合しやすいことを示す。 また、列車選択した周期的歴史方向に沿って補正可能な残射も見出す。 Tangentはこの修正を、ニューラルパラメータやTransformerコールを追加せずに適用する。
  論文  参考訳（メタデータ） (2026-09-20T14:54:35Z)
• Constrained Online Learning with Noisy Constraint Values [55.29259818039367]
  一般的な実現可能性の下では、我々のLEDGERアルゴリズムは、期待される損失$O(sqrt T)と期待される予算違反$O(sqrtTlog(eT))を達成します。 スレーター条件、フィードバックチャネル間の独立性、絶対的制約値境界は不要である。
  論文  参考訳（メタデータ） (2026-09-07T01:38:41Z)
• Delayed Optimizer-State Transport Shapes Short-Horizon Training Decisions [0.0]
  遅延輸送が短期的決定を変えるのに十分な大きさであるかどうかを検討する。 提案手法では,全モデル最適化状態から8ステップのAdamWを区別する。
  論文  参考訳（メタデータ） (2026-08-25T14:18:29Z)
• Feature Priming in Online Linear Regression: Sparse-Regret Lower Bounds and a Tight Univariate Rate [47.36630149538994]
  高次元のオンライン予測では、最良の予測子はいくつかの機能にのみ依存する可能性があるため、後悔は周囲の次元ではなく、疎らさでスケールすべきである。 WarmuthとAmidはCOLT 2023で、これらの3つのルールのいずれかが競合するオンライン後悔の保証を認めているかどうかを尋ねた。 安価なニュアンスは、リフィットが真の予測座標を過度に重くする原因となる。
  論文  参考訳（メタデータ） (2026-08-18T09:32:03Z)
• Supervising the Path to Fine Scales: GalerkinFlow for Scientific-Field and Image Super-Resolution [0.0]
  GalerkinFlowは方程式に依存しないフレームワークで、各粗いペアを再構築パス全体に沿って監督する。 Navier-StokesとDarcy Flowで評価された方程式に依存しないベースラインの中で、最も低い生空間誤差を達成する。
  論文  参考訳（メタデータ） (2026-08-17T13:18:58Z)
• The Cost of Adaptivity: Matching Lower Bounds Across Learning Problems [1.0742675209112622]
  我々はスライス正規化ミニマックス比を用いてニュアンス適応を定式化する。 また、事前発表された1つのガウスクエリから任意のポストホックインスペクションへ拡張するコストを定義する。
  論文  参考訳（メタデータ） (2026-08-09T17:19:11Z)
• Prefix-Guided On-Policy Distillation: Mining Golden Trajectories from Rollouts [48.550535291129584]
  Prefix-Guided On-Policy Distillation (PG-OPD) は、固定長プレフィックスを用いて、高価な長距離発生前に軌跡値を推定する単純なロールアウト・アロケーションフレームワークである。 AMC、AIME、HMMTベンチマークの様々な教師/学生の組み合わせで、PG-OPDはトレーニング時間を最大2.46倍にし、平均精度を4.80ポイントまで改善している。
  論文  参考訳（メタデータ） (2026-06-20T11:18:34Z)
• The Extrapolation Cliff in On-Policy Distillation of Near-Deterministic Structured Outputs [52.709361620508595]
  ListOPDは、パラメータの5分の1で8B-SFTベースラインで、学生をドメイン内に持ち込む。 Amazon Fashionでは、3つの事前登録テスト — 細粒度崖間隔テスト、小さなクリップのクロス予測 — がロックされた予測ウィンドウ内に落下し、グリッド解像度以下のクローズドフォーム予測に一致する小さなクリップ値が設定されている。
  論文  参考訳（メタデータ） (2026-05-09T06:48:00Z)
• Learning Temporal Distances: Contrastive Successor Features Can Provide a Metric Structure for Decision-Making [66.27188304203217]
  時間的距離は、計画、制御、強化学習のための多くのアルゴリズムの中心にある。 このような時間的距離を設定内で定義しようとする以前の試みは、重要な制限によって妨げられている。 比較学習によって学習された後継特徴が,三角形の不等式を満たす時間的距離を形成することを示す。
  論文  参考訳（メタデータ） (2024-06-24T19:36:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。