論文の概要: Better and Worse with Scale: How Contextual Entrainment Diverges with Model Size

• arxiv url: http://arxiv.org/abs/2604.13275v1
• Date: Tue, 14 Apr 2026 20:12:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-16 20:38:32.28401
• Title: Better and Worse with Scale: How Contextual Entrainment Diverges with Model Size
• Title（参考訳）: スケールによる改善と悪化 - モデルサイズによるコンテキスト適応の多様性
• Abstract要約: 我々は、この明らかなパラドックスを、文脈的エントレインメントのための最初のスケーリング法則によって定式化する。 エントレメントは予測可能なパワーロースケーリングに従っているが、コンテキストタイプによっては逆の傾向がある。 具体的には、最大のモデルは、最小の4倍の偽情報に対する耐性がある。
• 参考スコア（独自算出の注目度）: 44.634649562117744
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Larger language models become simultaneously better and worse at handling contextual information -- better at ignoring false claims, worse at ignoring irrelevant tokens. We formalize this apparent paradox through the first scaling laws for contextual entrainment, the tendency of models to favor tokens that appeared in context regardless of relevance. Analyzing the Cerebras-GPT (111M-13B) and Pythia (410M-12B) model families, we find entrainment follows predictable power-law scaling, but with opposite trends depending on context type: semantic contexts show decreasing entrainment with scale, while non-semantic contexts show increasing entrainment. Concretely, the largest models are four times more resistant to counterfactual misinformation than the smallest, yet simultaneously twice as prone to copying arbitrary tokens. These diverging trends, which replicate across model families, suggest that semantic filtering and mechanical copying are functionally distinct behaviors that scale in opposition -- scaling alone does not resolve context sensitivity, it reshapes it.
• Abstract（参考訳）: より大きな言語モデルは、コンテキスト情報を扱うこと -- 偽のクレームを無視すること、無関係なトークンを無視すること -- において、同時に改善され、さらに悪化します。 我々は、この明らかなパラドックスを、文脈的エントレインメントのための最初のスケーリング法則、関係によらず文脈に現れるトークンを好む傾向を通じて定式化する。 Cerebras-GPT (111M-13B) と Pythia (410M-12B) モデルファミリを解析したところ、エントレーニングは予測可能なパワー・ロー・スケーリングに従っているが、コンテキストによっては逆の傾向を示す。 具体的には、最大のモデルは、偽情報の偽造に4倍の抵抗性を持つが、任意のトークンをコピーする傾向にある。 モデルファミリ間で複製されるこれらの多様化傾向は、セマンティックフィルタリングとメカニカルコピーが、反対にスケールする機能的に異なる振る舞いであることを示唆している。

関連論文リスト

• The Illusion of Robustness: Aggregate Accuracy Hides Prediction Flips under Task-Irrelevant Context [76.36635039699112]
  大規模言語モデル(LLM)は、タスク入力に長く、部分的には関係のないコンテキストが伴うような、コンテキストに富んだ環境にますますデプロイされる。 現状のモデルはしばしば、集合レベルでのタスク非関連コンテキストに対して頑健に見える。 しかし、この集合安定性は、指数当たりの不安定性を著しくマスクする。
  論文  参考訳（メタデータ） (2026-07-14T17:01:12Z)
• Scale Dependent Data Duplication [29.59812821602787]
  セマンティック複製は、トレーニング中に正確に複製されるように、ますます機能します。 EmbeddingGemma-300mを使って、1億9200万のFineWeb-Edu-Dedupドキュメントを埋め込んだ。 我々は,事前学習コーパスの意味的特異性に制限があるため,実践者が期待するスケーリングから逸脱を推定できる明示的なスケーリング法を導出する。
  論文  参考訳（メタデータ） (2026-02-18T05:22:58Z)
• When Less is More: The LLM Scaling Paradox in Context Compression [14.27795208607174]
  圧縮機サイズの増大は、再構成されたコンテキストの忠実度を低下させる。 原因はパラメータ数ではなく,過剰な意味能力と,スケーリングに伴う生成の不確実性の増幅である。
  論文  参考訳（メタデータ） (2026-02-10T13:49:08Z)
• On the Entropy Calibration of Language Models [52.47557449370603]
  本研究では,言語モデルのエントロピーが人間のテキスト上でのログ損失と一致しているかを問うエントロピーキャリブレーションの問題について検討する。 観測されたスケーリングの挙動は、単純化された設定によって予測されるものと類似していることがわかった。 将来的なテキストのエントロピーを予測するために,モデルに適合するブラックボックスへのアクセスを前提にすれば,それが可能であることが証明できる。
  論文  参考訳（メタデータ） (2025-11-15T00:33:03Z)
• Mitigating Reversal Curse in Large Language Models via Semantic-aware Permutation Training [57.771940716189114]
  我々は、大きな言語モデル(LLM)が「逆の呪い」に苦しむことを示す。 逆の呪いの根本原因は、訓練と推論の段階で異なる単語順にある。 この問題に対処するために,SPT(Semantic-Aware Permutation Training)を提案する。
  論文  参考訳（メタデータ） (2024-03-01T18:55:20Z)
• Frequency Explains the Inverse Correlation of Large Language Models' Size, Training Data Amount, and Surprisal's Fit to Reading Times [15.738530737312335]
  近年の研究では、トランスフォーマーに基づく言語モデルが大きくなり、非常に大量のデータで訓練されているため、その推定結果が自然主義的な人間の読解時間に適合していることが示されている。 本稿では,これら2つの傾向の根底にある説明要因として,単語頻度が重要であることを示す一連の分析結果を示す。 その結果,トランスフォーマーをベースとした言語モデルによる推定は,稀な単語を予測するために学習する超人的に複雑な関連性から,人間の期待から逸脱していることがわかった。
  論文  参考訳（メタデータ） (2024-02-03T20:22:54Z)
• An Analysis and Mitigation of the Reversal Curse [70.13419502543915]
  最近の研究は、大型言語モデル(LLM)で注目すべき現象を観測している。 逆の呪文は、$a$と$b$の2つのエンティティを扱う場合、LLMは$aRb$,'という形式でシーケンスを処理するのに優れるが、$bR-1a$'を処理する場合の課題に直面することである。
  論文  参考訳（メタデータ） (2023-11-13T17:01:12Z)
• Training Trajectories of Language Models Across Scales [99.38721327771208]
  言語モデルのスケールアップは、前例のないパフォーマンス向上につながった。 異なるサイズの言語モデルは事前学習中にどのように学習するか? より大きな言語モデルはなぜ望ましい振る舞いを示すのか?
  論文  参考訳（メタデータ） (2022-12-19T19:16:29Z)
• Rarely a problem? Language models exhibit inverse scaling in their predictions following few-type quantifiers [0.6091702876917281]
  言語モデルにおいて特に課題となる「おもちゃのような2人の子供」のような「2つの」型の量化器に焦点をあてる。 人間の2つの神経言語実験から、異なる大きさの22個の自己回帰トランスフォーマーモデルまで、960の英語文刺激を提示する。
  論文  参考訳（メタデータ） (2022-12-16T20:01:22Z)
• Understanding Neural Abstractive Summarization Models via Uncertainty [54.37665950633147]
  seq2seq抽象要約モデルは、自由形式の方法でテキストを生成する。 モデルのトークンレベルの予測のエントロピー、すなわち不確実性について検討する。 要約とテキスト生成モデルをより広範囲に解析する上で,不確実性は有用であることを示す。
  論文  参考訳（メタデータ） (2020-10-15T16:57:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。