Fugu-MT 論文翻訳(概要): On the Smallness of the Large Language Models Scaling Exponents

論文の概要: On the Smallness of the Large Language Models Scaling Exponents

arxiv url: http://arxiv.org/abs/2606.24504v1
Date: Tue, 23 Jun 2026 12:31:39 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-24 22:16:48.943086
Title: On the Smallness of the Large Language Models Scaling Exponents
Title（参考訳）: 大規模言語モデルのスケーリング指数の小型化について
Abstract要約: 本稿では,現在のLarge Language Models (LLMs) アプリケーションのスケーリング指数が,エネルギー資源の観点からは持続不可能な状態を示していることを示す。また、無限データにおける損失関数の非ゼロ値の無視により、そのような指数の小さい値が数値バイアスに寄与することは、持続不可能性の問題を取り除くものではないことを示す。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We discuss reasons why the scaling exponents of current Large Language Models (LLMs) applications are indicating an unsustainable regime in terms of energy resources. We further show that attributing the smallness of such exponents to a numerical bias due to the neglect of a non-zero value of the loss function in the limit of infinite data (``pedestal effect") does not remove the unsustainability issue. Finally, the effects of the smoothness (roughness) of the data on the scaling exponents is commented upon based on an analogy with phenomenological models of fluid turbulence.
Abstract（参考訳）: 本稿では,現在のLarge Language Models (LLM) アプリケーションのスケーリング指数が,エネルギー資源の観点からは持続不可能な状態を示している理由について論じる。さらに,損失関数の非ゼロ値が無限データ(`pedestal effect')の極限で無視されることにより,そのような指数の小さい値が数値バイアスに寄与することは,持続不可能性の問題を取り除こうとしないことを示す。最後に, 流体乱流の現象モデルとの類似性に基づいて, データの滑らかさ(粗さ)がスケーリング指数に及ぼす影響についてコメントする。

関連論文リスト

SLAP: The Semantic Least Action Principle for Variational Video-Language Modeling [13.404415593709986]
生成幻覚(例えば、潜伏拡散)や自己回帰外挿は、しばしば長い地平線上での意味的一貫性を維持するのに失敗する。確率生成から変分力学へのパラダイムシフトをtextbfSemantic Least Action Principle (SLAP) を用いて提案する。
論文参考訳（メタデータ） (2026-05-29T02:28:33Z)
Unveiling the Visual Counting Bottleneck in Vision-Language Models [49.591496870141846]
この研究は視覚的数え上げを3つの認知段階(視覚的識別、大きさ認識、象徴的マッピング)に分解する。合成Go基板と線形プローブを用いて、視覚的バックボーンは、外挿系にしっかりと、線形に分離可能な量表現を保っていることを示す。我々は、崩壊をシンボルマッピングステージに向ける。そこでは、モデルがシンボルトークンに有効な視覚的大きさを投影することに失敗する。
論文参考訳（メタデータ） (2026-05-28T16:20:29Z)
Asymmetric Scaling Laws from Sparse Features [2.7838875470471858]
スパースアクティベーションの下でのニューラルスケーリング法則のモデルを導入する。テスト損失は、しばしばトレーニング入力で観測されない稀な座標によって支配される。本研究は, 非線形活性化下では, 疎水性による効果が持続することを示す。
論文参考訳（メタデータ） (2026-05-22T13:00:52Z)
NumPert: Numerical Perturbations to Probe Language Models for Veracity Prediction [7.856998585396422]
本稿では,数値クレームとエビデンスペアの精度予測のための最先端モデルの体系的評価を行う。その結果、プロプライエタリなシステムの先駆者でさえ、特定の摂動の下で最大62%の精度低下を経験していることが示唆された。これらの知見は、数値的な事実チェックにおける限界を浮き彫りにして、ロバスト性は現在の言語モデルにとってオープンな課題であり続けていることを示唆している。
論文参考訳（メタデータ） (2025-11-13T05:09:52Z)
Unveiling the Basin-Like Loss Landscape in Large Language Models [64.07900377968143]
事前学習により, テクストベース機能盆地が生成され, その後のアライメント微調整形式がテクスト固有機能盆地となることが観察された。その結果, 逆方向の微調整がほぼ最悪の方向に進行し, モデル性能が急速に低下することが判明した。
論文参考訳（メタデータ） (2025-05-23T09:06:40Z)
Contrastive losses as generalized models of global epistasis [0.5461938536945721]
適合関数は、生物列の大きな空間を興味のある性質にマッピングする。グローバルなエピスタシスモデルは、スパース潜伏関数が単調非線形性によって変換され、測定可能な適合度が生成されると仮定する。我々は,MSEが有効でない制度においても,限られたデータからランキング関数を正確に推定できることを示す。
論文参考訳（メタデータ） (2023-05-04T20:33:05Z)
Monotonicity and Double Descent in Uncertainty Estimation with Gaussian Processes [52.92110730286403]
限界確率はクロスバリデーションの指標を思い起こさせるべきであり、どちらもより大きな入力次元で劣化すべきである、と一般的に信じられている。我々は,ハイパーパラメータをチューニングすることにより,入力次元と単調に改善できることを証明した。また、クロスバリデーションの指標は、二重降下の特徴である質的に異なる挙動を示すことも証明した。
論文参考訳（メタデータ） (2022-10-14T08:09:33Z)
Emergent Abilities of Large Language Models [172.08007363384218]
より小さなモデルには存在しないが、より大きなモデルには存在しない場合、創発する能力を考える。このような出現の存在は、さらなるスケーリングが言語モデルの機能範囲をさらに拡大することを意味している。
論文参考訳（メタデータ） (2022-06-15T17:32:01Z)
Benign Overfitting in Classification: Provably Counter Label Noise with Larger Models [8.696962915720174]
我々は、ResNetモデルがCifar10に優越するが、ImageNetに優越しないことを示す。私たちの研究は、将来の方向性として不適合な体制における暗黙のバイアスを理解することの重要性を強調します。
論文参考訳（メタデータ） (2022-06-01T14:00:37Z)
A Numerical Proof of Shell Model Turbulence Closure [41.94295877935867]
本稿では, 統計誤差, ユーレリアおよびラグランジアン構造関数, エネルギーカスケードの断続統計を定量的に再現するディープリカレントニューラルネットワークに基づく閉包を提案する。本研究は,3次元ナビエ-ストークス乱流に対する類似した手法の開発を奨励するものである。
論文参考訳（メタデータ） (2022-02-18T16:31:57Z)
Improving Generalization via Uncertainty Driven Perturbations [107.45752065285821]
トレーニングデータポイントの不確実性による摂動について考察する。損失駆動摂動とは異なり、不確実性誘導摂動は決定境界を越えてはならない。線形モデルにおいて,UDPがロバスト性マージン決定を達成することが保証されていることを示す。
論文参考訳（メタデータ） (2022-02-11T16:22:08Z)
Structural Sieves [0.0]
特に, あるディープネットワークは, 近似回帰関数に対する非パラメトリックシーブとして好適であることを示す。このような制約は、潜在変数モデルの十分に柔軟なバージョンが、実際には未知の回帰関数を近似するために使用される場合、より簡単な方法で課されることを示す。
論文参考訳（メタデータ） (2021-12-01T16:37:02Z)
Deconfounded Score Method: Scoring DAGs with Dense Unobserved Confounding [101.35070661471124]
本研究では,観測データ分布に特徴的フットプリントが残っており,突発的・因果的影響を解消できることを示す。汎用ソルバで実装し,高次元問題へのスケールアップが可能なスコアベース因果検出アルゴリズムを提案する。
論文参考訳（メタデータ） (2021-03-28T11:07:59Z)
Efficient Causal Inference from Combined Observational and Interventional Data through Causal Reductions [68.6505592770171]
因果効果を推定する際の主な課題の1つである。そこで本研究では,任意の数の高次元潜入共創者を置き換える新たな因果還元法を提案する。パラメータ化縮小モデルを観測データと介入データから共同で推定する学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2021-03-08T14:29:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。