論文の概要: What a Cross-Model Fixed-Point Census Can and Cannot Arbitrate About Repetition

• arxiv url: http://arxiv.org/abs/2609.29507v1
• Date: Mon, 24 Aug 2026 18:08:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:56.050119
• Title: What a Cross-Model Fixed-Point Census Can and Cannot Arbitrate About Repetition
• Title（参考訳）: モデル横断で修正点の国勢調査が繰り返される理由
• Abstract要約: ニューラルテキストデジェネレーションの2つの説明が共存する。トレーニングデータの原因を特定する。 トレーニングされたネットワーク内のもう1つは、回路のコピーと繰り返し機能である。 我々は異なる通貨で観測的な測定を報告する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Two accounts of neural text degeneration coexist. One locates the cause in the training data -- repetition in the corpus produces repetition in the output, established by training on repetition-sorted data -- the other in the trained network, in copying circuits and repetition features. Neither has been arbitrated across a broad cohort of pretrained models: the causal work trains its own. We report an observational measurement in a different currency: the fixed-point structure of a model's own short-window argmax map, censused from 96 random two-token starts over 17 off-the-shelf models, always unprompted -- a companion paper shows nine tokens of conditioning move this readout across most of its range. The four-way class is stable across census seeds on 17 of 17. Three exhibits. At fixed corpus (The Pile), fixed scale and that fixed domain, the class is not determined: across two size-matched tiers, pythia is a funnel while RWKV, Mamba and a second transformer family are not, and both hold their class across an order of magnitude of scale. Six of seven models in that ladder reach the same endpoint token, and those concentrating on it most strongly are among those that never stay there -- what varies is not where trajectories go but whether the destination self-continues. The deduplicated Pythia suite does not change the class. And the corpus-side inflow term proposed for this phenomenon does not select our endpoints once frequency is controlled, in English and three other languages. This is observational and cannot refute a training intervention. Funnels are common: eight of seventeen models, seven families, five corpora -- so the limit is not that the phenomenon is one model's peculiarity, but that within the one corpus where training data can be held fixed only one available family funnels; that subset cannot show the split is corpus-independent.
• Abstract（参考訳）: ニューラルテキストデジェネレーションの2つの説明が共存する。 コーパス内の繰り返しは、繰り返しソートされたデータのトレーニングによって確立された出力に繰り返しを生成する。 どちらも、事前訓練されたモデルの幅広いコホートで仲裁されておらず、因果的作業はそれ自体で列車を運行している。 96個のランダムな2-tokenから検索したモデル自身の短いウィンドウのargmaxマップの固定点構造は、17個のオフザシェルフモデルから始まり、常に停止する。 4方向のクラスは17の国勢調査種で安定している。 3つの展示。 固定のコーパス(パイル)、固定のスケール、および固定の領域では、クラスは決定されない: 2つの大きさの整合層において、ピチアはファンネルであり、RWKV、マンバ、第二の変圧器ファミリーはそうではない。 そのはしごにある7つのモデルのうち6つは、同じエンドポイントトークンに到達し、最も強く集中しているモデルは、そこに留まらないものの中にあります。 重複したPythiaスイートはクラスを変更しない。 この現象に対して提案されるコーパス側インフロー項は、英語や他の3つの言語において、周波数が制御された時点ではエンドポイントを選択できない。 これは観察的であり、訓練の介入を否定することはできない。 ファンネルは一般的である: 17モデルのうち8モデル、7ファミリー、5コーパス -- なので、この現象が1モデルの特異性であるだけでなく、トレーニングデータを1つの利用可能なファミリーファンネルのみに固定できる1コーパス内では、分割がコーパスに依存しないことを示すサブセットは存在しない。

関連論文リスト

• A Fragility Spectrum for Recursive Language-Model Training [9.563027159959587]
  異なるモデルが同じプロセスで非常に異なる振る舞いをすることを示す。 5世代後のユニークな4グラムの結果は、チェックポイント毎に0.187から0.940まで様々である。 共有プールの構成を変更したり、人文で混合したりすることで、スピアマンの順序の相関は0.91--0.97に保たれる。
  論文  参考訳（メタデータ） (2026-09-10T06:56:22Z)
• Prompt-Model Interaction Reaches the Fixed Points: A deterministic, task-free structural readout -- and the factorizations of it that failed [0.0]
  ショートウィンドウ argmax map x_t+1 = argmax_x p(x | x_t-1, x_t) の固定点構造は96 から始まる。 6つのモデルのうち4つは、ウィンドウ16で完全に失われている。 第一に、相互作用は全等級でこの読み出しに達する:条件付けの9つのトークンは、そのほとんどにわたって固定点分数を動かす。
  論文  参考訳（メタデータ） (2026-08-21T17:25:18Z)
• What Iterated Self-Feeding Probes of Language Models Measure, and a test that separates the construction from the model [0.0]
  メソッドのクラスは、独自の出力を与えて言語モデルを探索する。 我々は、その問題を鋭くするために選ばれた工事において、そのような調査がどう対処するかを尋ねる。 答えは、見た目が似ている読書において、一度に2つの異なるものを測定することだ。
  論文  参考訳（メタデータ） (2026-08-11T14:40:35Z)
• Language Models Agree With Each Other, Not With Readers [1.8620637029128544]
  我々は、その目的のために構築された誰もいない人間の参照に対する収束を測定する。 120のWebドキュメントに2,523のリードマークがある。 読者が読むものよりも確実に読者に同意するモデルはない。
  論文  参考訳（メタデータ） (2026-07-31T10:44:10Z)
• Can Machines Really See Objects in Images? A Study Based on Syntactic Distance and Visual Self-Referential Instances [53.65561607407989]
  そのような局所的な手がかりが区別の安定な基盤を提供しない場合、モデルが依然として正しく分類できるかどうかを問う。 ResNetとVision Transformersの実験では、一貫した位相遷移現象が明らかになった。 結果は、汎用インテリジェンスは、既存の言語を再利用するのではなく、新しい言語を作成する必要があることを示唆している。
  論文  参考訳（メタデータ） (2026-06-28T14:27:40Z)
• Learning the Signature of Memorization in Autoregressive Language Models [3.6048665052465663]
  我々は,任意のコーパス上の任意のモデルを微調整することで,ラベル付きデータを無制限に生成する,最初のトランスファー可能な学習攻撃を導入する。 これにより、シャドーモデルボトルネックが取り除かれ、深層学習時代へのメンバシップ推論がもたらされる。
  論文  参考訳（メタデータ） (2026-04-03T17:17:51Z)
• Pretraining Language Models to Ponder in Continuous Space [50.52734567589996]
  単一のトークン生成ステップ内で,前処理を繰り返し呼び出すことによって,この思考プロセスを言語モデルに導入する。 人間のアノテーションを使わずに、自己教師付き学習を通じて、この方法でモデルを学習できることが示される。
  論文  参考訳（メタデータ） (2025-05-27T03:47:33Z)
• Training Trajectories of Language Models Across Scales [99.38721327771208]
  言語モデルのスケールアップは、前例のないパフォーマンス向上につながった。 異なるサイズの言語モデルは事前学習中にどのように学習するか? より大きな言語モデルはなぜ望ましい振る舞いを示すのか?
  論文  参考訳（メタデータ） (2022-12-19T19:16:29Z)
• Parameter Space Factorization for Zero-Shot Learning across Tasks and Languages [112.65994041398481]
  本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。 タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。 我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
  論文  参考訳（メタデータ） (2020-01-30T16:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。