論文の概要: The Power of Power Law: Asymmetry Enables Compositional Reasoning

• arxiv url: http://arxiv.org/abs/2604.22951v1
• Date: Fri, 24 Apr 2026 18:49:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:07.066797
• Title: The Power of Power Law: Asymmetry Enables Compositional Reasoning
• Title（参考訳）: パワーローの力:非対称性は構成推論を可能にする
• Authors: Zixuan Wang, Xingyu Dang, Jason D. Lee, Kaifeng Lyu,
• Abstract要約: パワーロー分布下での学習は、トレーニングデータを大幅に少なくすることを示す。 この結果は、トレーニングモデルに有効なデータ分散を構成するものについて、代替的な視点を提供する。
• 参考スコア（独自算出の注目度）: 76.90253944094773
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Natural language data follows a power-law distribution, with most knowledge and skills appearing at very low frequency. While a common intuition suggests that reweighting or curating data towards a uniform distribution may help models better learn these long-tail skills, we find a counterintuitive result: across a wide range of compositional reasoning tasks, such as state tracking and multi-step arithmetic, training under power-law distributions consistently outperforms training under uniform distributions. To understand this advantage, we introduce a minimalist skill-composition task and show that learning under a power-law distribution provably requires significantly less training data. Our theoretical analysis reveals that power law sampling induces a beneficial asymmetry that improves the pathological loss landscape, which enables models to first acquire high-frequency skill compositions with low data complexity, which in turn serves as a stepping stone to efficiently learn rare long-tailed skills. Our results offer an alternative perspective on what constitutes an effective data distribution for training models.
• Abstract（参考訳）: 自然言語データは、ほとんどの知識とスキルが非常に低い頻度で現れる、強力な法則の分布に従っている。 一般的な直観は、一様分布に対するデータの重み付けやキュレーションは、モデルがこれらの長い尾のスキルをよりよく学習するのに役立つことを示唆するが、その逆直観的な結果を見出す: 状態追跡や多段階算術といった幅広い構成的推論タスクにおいて、一様分布下でのトレーニングは、一様分布下でのトレーニングより一貫して優れている。 この利点を理解するため、我々は最小限のスキル構成タスクを導入し、力量分布下での学習にはトレーニングデータが非常に少ないことを示します。 筆者らの理論的分析から, 電力法サンプリングは, 病的損失状況を改善する有用な非対称性を誘導し, モデルがまず低データ複雑性の高周波スキルコンポジションを取得でき, ステップストーンとして機能し, 希少なロングテールスキルを効率的に学習することができることがわかった。 この結果は、トレーニングモデルに有効なデータ分散を構成するものについて、代替的な視点を提供する。

関連論文リスト

• SPaRFT: Self-Paced Reinforcement Fine-Tuning for Large Language Models [51.74498855100541]
  大規模言語モデル(LLM)は、強化学習(RL)による微調整時に強い推論能力を示す。 トレーニング対象のモデルの性能に基づいて,効率的な学習を可能にする自己評価学習フレームワークである textbfSPaRFT を提案する。
  論文  参考訳（メタデータ） (2025-08-07T03:50:48Z)
• DUMP: Automated Distribution-Level Curriculum Learning for RL-based LLM Post-training [25.91869315787235]
  本稿では,分布レベルの学習可能性の概念に基づくカリキュラム学習フレームワークを提案する。 我々のフレームワークは、高い平均的優位性(探索)または低いサンプル数(探索)で分布を優先順位付けする。 実験の結果,本フレームワークは収束速度と最終性能を大幅に改善することがわかった。
  論文  参考訳（メタデータ） (2025-04-13T20:10:27Z)
• Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
  細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。 近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。 本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-11T13:44:49Z)
• Agree to Disagree: Diversity through Disagreement for Better Transferability [54.308327969778155]
  本稿では,D-BAT(Diversity-By-dis-Agreement Training)を提案する。 我々は、D-BATが一般化された相違の概念から自然に現れることを示す。
  論文  参考訳（メタデータ） (2022-02-09T12:03:02Z)
• Adversarial Training Helps Transfer Learning via Better Representations [17.497590668804055]
  Transfer Learningは、ソースデータに事前トレーニングされたモデルを活用して、ターゲット設定に効率的に適応することを目的としている。 最近の研究は、情報源データにおける敵対的訓練が、新しいドメインへのモデル転送能力を向上させることを実証的に実証している。 本研究は, 情報源データにおける対角的学習により, より優れた表現が生成されることを示し, この表現を微調整することで, 対象データのより正確な予測が可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-18T15:41:07Z)
• Fair Densities via Boosting the Sufficient Statistics of Exponential Families [72.34223801798422]
  フェアネスのためのデータ前処理にブースティングアルゴリズムを導入する。 私たちのアプローチは、最小限の公平性を確保しながら、より良いデータフィッティングへとシフトします。 実世界のデータに結果の質を示す実験結果が提示される。
  論文  参考訳（メタデータ） (2020-12-01T00:49:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。