論文の概要: The Geometry of Sequential Learning: Lie-Bracket Prediction of Transfer Order

• arxiv url: http://arxiv.org/abs/2606.24993v1
• Date: Tue, 23 Jun 2026 15:39:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.085115
• Title: The Geometry of Sequential Learning: Lie-Bracket Prediction of Transfer Order
• Title（参考訳）: 逐次学習の幾何学:転送順序のリーブラケット予測
• Authors: John Sweeney,
• Abstract要約: シークエンシャルラーニングは、命令SFTとDPOへのパイルスタイルの次世代ドメイン適応から順に依存する。 局所順序効果は、勾配更新場のリーブラケット換算器である計算可能な幾何量によって支配されることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sequential learning is order-dependent: from Pile-style next-token domain adaptation to instruction-SFT and DPO, N candidate sources induce N! possible curricula. We show that the local order effect is governed by a computable geometric quantity, the Lie-bracket commutator of gradient update fields, yielding a pairwise score for whether A->B or B->A is better for a target domain. The pairwise bracket primitive also defines a Lie-Bracket Tournament: with a shared theta_0 target-gradient reference, Hessian symmetry gives Borda/row-sum scores from one Hessian-vector product per source, O(N) dot products, and an O(N log N) sort, without materializing the O(N^2) edge matrix. Empirically, the planner reaches 98.1%/98.9% pairwise accuracy at k=1 for instruction-SFT/DPO, remains at 73.1%/72.2% at k=20, and preserves the original pretraining-domain evidence with 82.4-92.0% accuracy across four LLMs and 91.1% on diffusion. At curriculum scale, it recovers the best of all 3! schedules in 87.5% of trials, ranks 85 Stack programming-language source domains for a Python target in the 99th sampled percentile, and reaches the 99.0-99.6th sampled percentile on 56 MMLU subjects, sharply above the reported descending gradient-norm baseline. These results reframe sequential learning as a geometric tournament problem: commutators provide both local pairwise order information and a scalable primitive for many-domain schedules.
• Abstract（参考訳）: Pile-style next-token domain adapt to instruction-SFT and DPO, N candidate source induce N! 局所的な順序効果は計算可能な幾何量、勾配更新フィールドのリーブラケット換算器によって制御され、A->B と B->A が対象領域に対してよいかどうかのペアのスコアが得られることを示す。 共通のtheta_0 目標勾配参照を持つヘッセン対称性は、O(N) ドット積、O(N) ドット積、およびO(N log N) ソートからボルダ/ローサムスコアを与えるが、O(N^2) エッジ行列は成立しない。 実証的に、プランナーはk=1で98.1%/98.9%、命令-SFT/DPOで73.1%/72.2%、k=20で残る。 カリキュラムの規模では、トライアルの87.5%で3!のスケジュールのベストを回復し、99番目のサンプルパーセンタイルでPythonターゲットの85のスタック言語ソースドメインをランク付けし、56 MMLUの被験者で99.0-99.6番目のサンプルパーセンタイルに達した。 これらの結果は、逐次学習を幾何学的なトーナメント問題として再編成し、複数のドメインのスケジュールに対して、局所的なペアの順序情報とスケーラブルなプリミティブの両方を提供する。

関連論文リスト

• Scheduling Thoughts: Learning the Order of Thought in Diffusion Language Models [51.21958617138889]
  自己認識スケジューリングは、軽量な順序ポリシーを学び、任意の順序と半自己回帰デコーディングの両方にシームレスに適用する。 1B MDMのスドクでは、SASはパズルの精度を82.0%(ベストスケジュール)から91.8%に改善し、第2ステージの微調整で97.5%に達する。 LLaDA-8Bの数学的推論では、ASSはGSM8Kのpass@1を64%から76%に改善し、MBPPは39.5%から41%に改善した。
  論文  参考訳（メタデータ） (2026-06-22T16:32:25Z)
• Automated Proving of Shannon-Type Entropy Inequalities via Fine-Tuned Language Models and Guided Tree Search [50.16356451328644]
  シャノン型エントロピーの不等式を証明することは情報理論の基本的な課題である。 我々は,原子実証のステップを微調整した小規模大規模言語モデルがこのプロセスを自動化することができるか検討する。 GPT-5.5は0ショットプロンプトで1.7%のサンプルを解き、Psitipは33.3%のサンプルを解いた。
  論文  参考訳（メタデータ） (2026-06-04T05:43:12Z)
• AXIOM: A Trust-First Neuro-Symbolic Execution Architecture for Verifiable Mathematical Reasoning [0.0]
  AXIOMは、自然言語の数学的推論のための信頼第一の神経象徴的実行アーキテクチャである。 累積正解率94.36%(2,592/2,747)の4MATHカテゴリーの実証結果について報告する。 アーキテクチャは、パブリックデプロイメントを通じて3万のプロダクションクエリを提供する。
  論文  参考訳（メタデータ） (2026-05-30T10:55:24Z)
• Improving Diffusion Language Model Decoding through Joint Search in Generation Order and Token Space [110.80564213032729]
  拡散言語モデル(DLM)は、多くの可能なデコード軌道を探索できる順序に依存しない生成を提供する。 生成順序とトークン値を共同で検索することで,この空間を探索する。
  論文  参考訳（メタデータ） (2026-01-28T07:55:07Z)
• iMatcher: Improve matching in point cloud registration via local-to-global geometric consistency learning [2.3985192761907643]
  iMatcherは、ポイントクラウド登録における機能マッチングのためのフレームワークである。 局所的および大域的整合性を用いて、ポイントワイドマッチング確率を予測する。 KITTIでは95%-97%、KITTI-360では94%-97%、3DMatchでは81.1%である。
  論文  参考訳（メタデータ） (2025-09-10T20:25:57Z)
• Learning nonparametric DAGs with incremental information via high-order HSIC [13.061477915002767]
  そこで本研究では,DAGを同定するために,親の判断したサブセットに基づく識別可能性条件を提案する。 最適相では、一階のヒルベルト最適独立基準(HSIC)に基づく最適化問題により、推定骨格が初期決定された親部分集合として与えられる。 チューニングフェーズでは、骨格は削除、追加、DAG形式化戦略によって局所的に調整される。
  論文  参考訳（メタデータ） (2023-08-11T07:07:21Z)
• Determinantal Point Processes in Randomized Numerical Linear Algebra [80.27102478796613]
  数値線形代数(RandNLA)は、科学計算、データサイエンス、機械学習などで発生する行列問題に対する改良されたアルゴリズムを開発するためにランダム性を使用する。 最近の研究により、DPPとRandNLAの間の深い実りある関係が明らかになり、新たな保証とアルゴリズムの改善につながった。
  論文  参考訳（メタデータ） (2020-05-07T00:39:52Z)
• L-Vector: Neural Label Embedding for Domain Adaptation [62.112885747045766]
  本研究では、未ペアデータを用いたディープニューラルネットワーク(DNN)音響モデルの領域適応のための新しいニューラルラベル埋め込み(NLE)手法を提案する。 NLEは1ホットラベルによる直接再トレーニングよりも14.1%の相対的な単語誤り率の低減を実現している。
  論文  参考訳（メタデータ） (2020-04-25T06:40:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。