論文の概要: The Announcement Carries the Cue: Markup, Boundaries, and the Notation of Pre-Training Corpora
- arxiv url: http://arxiv.org/abs/2608.09093v1
- Date: Mon, 10 Aug 2026 03:43:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:37.071918
- Title: The Announcement Carries the Cue: Markup, Boundaries, and the Notation of Pre-Training Corpora
- Title（参考訳）: 序文:マークアップ,境界,および事前学習コーパスの表記
- Abstract要約: ドキュメントのアレンジメントの書き方、表記法は、データセットカードの記録を持たないトレーニング変数である。
クリーン・ウインドウ・サバイバル(クリーン・ウインドウ・サバイバル)は、ストリームのどれだけがまだ境界推定を要求しているかを決定論的にカウントし、3つのフロントでの表記を計測する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: How a document's arrangement is written down, its notation, is a training variable that no dataset card records. The field has established that text-extraction choices change model behaviour, and has never once measured the notation of what those choices put into the corpus. We define clean-window survival, a deterministic count of how much of a stream still demands the boundary inference, and measure notation on three fronts. What corpora carry: a census of thirteen public corpora, where survival falls to 0.153 in a vision-converted PDF slice against 0.889 in C4; the scarce resource is not unmarked text but long unmarked text; a pre-registered supply test finds what remains institutional, not consumer. Our own pre-registered prediction failed: converters do not fabricate structure on prose, and that null forced the reliability mechanism that survives it. What readers use: across five base models spanning 0.6B to 8.2B and two pipelines, deleting a structural announcement makes the following prose measurably harder to predict, while swapping its notation moves nothing. That zero does not make notation unimportant; it relocates the variable: the operative cue is the announcement, not the sigil. What writers impose: a bounded null. Base models do not impose the marked register above the authored baseline, and handed prose with every announcement deleted they do not put one back, at a rate indistinguishable from zero against an authored reference of zero. We ship the format those measurements imply: the pure frame, paragraphs in authored order, every announcement deleted into a reversible sidecar, mixed against the marked copy over announcement presence rather than notation. Choose format operators by the capability they train, not by the fidelity they preserve, and record extractor identity and survival on data cards.
- Abstract（参考訳）: ドキュメントのアレンジメントの書き方、表記法は、データセットカードの記録を持たないトレーニング変数である。
この分野は、テキスト抽出の選択がモデル行動を変えることを確立しており、それらの選択がコーパスに何を入れるかの表記を一度も測定したことは一度もない。
クリーン・ウインドウ・サバイバル(クリーン・ウインドウ・サバイバル)は、ストリームのどれだけがまだ境界推定を要求しているかを決定論的にカウントし、3つのフロントでの表記を計測する。
コーパスが持つものは13の公営コーパスの国勢調査で、生存率は視力変換されたPDFスライスで0.153、C4で0.889、希少なリソースは無印のテキストではなく長い無印のテキストである。
コンバータは散文の構造を作らず、ヌルはそれを生き残るための信頼性メカニズムを強制する。
読者が使用するものは、0.6Bから8.2Bまでの5つのベースモデルと2つのパイプラインにまたがる。
ゼロは表記が重要でない; 変数を移動させる: 操作キューは告知であり、シジルではない。
ライターが主張するところは、有界なnullです。
ベースモデルは、認証されたベースラインの上にマークされたレジスタを強制せず、削除されたすべての発表で散文を送付する。
純粋なフレーム、許可された順序の段落、すべての発表が可逆的なサイドカーに削除され、表記よりも告知の存在に関するマークされたコピーと混同される。
フォーマット演算子を、保存する忠実さではなく、トレーニングする能力で選択し、データカードに抽出元のアイデンティティと生存率を記録する。
関連論文リスト
- A Memorization Floor for LLM Refinement of Decompiled Code [0.0]
我々は、LCM出力が入力から回復するものと、以前の出力から回復するものとを分離する内部制御を導入する。
比較はイテム内であるため、コーパスのコントリビューションは困難である。
12のコントラスト、2つのモデル、12のnullを再現します。
登録仮説は確認されず,その背後にあった5つの計器的障害を総括的に報告した。
論文 参考訳（メタデータ） (2026-09-15T14:15:08Z) - RelateAnything: Real-Time Open-Vocabulary Relation Prediction From Any Inputs [0.40611352512781873]
RelateAnythingは、任意のソースからイメージとリージョンを取得し、文字列として推論時に供給される述語語彙に関するスコア付き関係を返す。
19,103以上の述語を訓練するには、正のラベルなしの監督と、アントロニムを分離するテキストエンコーダが必要である。
3つのクロスデータセットのベンチマークと4番目のゼロショットでは、RelateAnythingは2.3-3.5倍の最大規模のオープンボキャブラリメソッドをリコールする。
論文 参考訳（メタデータ） (2026-09-11T07:57:41Z) - Clean Engineering, Unstable Measurement: A Preregistered Reliability Failure of Black-Box LLM Observers on Shared Endpoints [4.41537705949485]
言語モデル審査員は、トレーニングデータをゲートし、世代をスコアし、リーダーボードを駆動する。
我々は、事前登録された2つのキャンペーンにおいて、すべてのしきい値が事前に固定された状態で、その仮定を監査した。
52,988件の要求を監査し、スピアマン0.400で0.90と一致した。
証拠を3段階のスナップショット識別はしご、8つの設計ルール、レポートチェックリストに抽出する。
論文 参考訳（メタデータ） (2026-09-03T17:59:43Z) - VeriPhy: Agentic Physical Reasoning for World Model Evaluation and Refinement [57.86962208273888]
テキストのみのプランナが入力された物理義務にプロンプトをコンパイルする監査可能な物理検証システムを提案する。
それぞれのアクションは、ペイロードがタイプされた測定か、明示的にタグ付けされた学習状態である証明付きエビデンスレコードを返す。
我々は, 実発生障害を即時参照, 空間, 時間でローカライズする, 1500クリックの欠陥記録のコーパスにおいて, 評価をアンロックする。
論文 参考訳（メタデータ） (2026-09-02T20:36:45Z) - A Glyph Is Not a Letter, a Token Is Not a Word, a Space Is Not a Space: What the Units of Voynichese Are Not [45.88028371034407]
我々は、Voynichの原稿(Beinecke MS 408)を、一致した散文、暗号、擬似テキスト制御、クワイアレベルの再サンプリングで分析する。
ヴォイニチェの順序はトークンの端とそれらの間のグレードされた境界に置かれる。
公表されたVoynich-imitating暗号と自己励磁テキスト生成器はどちらも、校正置換攻撃による低エントロピー、単位スケール、弱いトークンオーダー、ヌル結果を再現する。
論文 参考訳（メタデータ） (2026-08-17T20:05:12Z) - Metaphor Tracer: A Theory-Informed Analysis of Hidden States [0.0]
1つのフォワードパスからトレーニングなしで、2つのプロパティですべてのトークン位置をスコア付けします。
aggregator*は、位置がテキスト全体を安定した構成に集約するかどうかを測定する。
differentiator* は、他のトークンがモデルが読み込むように、そのサブ空間に過渡的に変換されるかどうかを判断する。
論文 参考訳（メタデータ） (2026-07-30T16:12:13Z) - Measuring Alignment With Reader Highlights Net of Position and Length [1.8620637029128544]
120のウェブ文書(少なくとも12の独立した読者)では、言語モデルに重点を置くランキングが38.4%と一致した隣人の19.9%に対して群衆マーク付き文を維持している。
GPT-5.4 (+0.002 [-0.081, +0.088]) と区別できない 0.182 に到達し、5以下となる。
論文 参考訳（メタデータ） (2026-07-30T06:24:38Z) - Prompt Design at Scale: How Format, Instruction Count, and Context Length Shape Instruction Adherence and Hallucination in Large Language Models [0.0]
2つの実験は、保持された汚染のない合成コーパス上の3つの因子全てを横断する。
実験1では,規則数Nが10から160に増加するにつれて,命令追従減衰を測定する。
実験2では, 2k-to-512k-tokenのコンテキストラグ上での精度, 虚偽の前提条件, ファクトファクトファクトファクチャリングの測定を行った。
論文 参考訳（メタデータ） (2026-07-21T16:31:35Z) - Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。
ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。
3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI)
4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
論文 参考訳（メタデータ） (2026-07-19T22:27:00Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z) - Legible-by-Construction: Attention and End-to-End Transformers [0.2663471820643486]
トランスのフィードフォワード層は明示的なファジィ集合演算から再構築することができる。
隠れたユニットは言語モデルの品質を犠牲にすることなく、名前付き論理演算子として読み上げられた。
125Mパラメータの5つの特別なアテンション設計において、44から62%の値チャネルが正当性を持つ。
論文 参考訳（メタデータ） (2026-07-05T14:08:59Z) - Automated High-Precision Extraction and Forensic Verification of Data-Bearing Vector Figures [45.39546965981896]
科学と工学の量的記録は、テキストや表ではなく数字によってもたらされる。
図をグラフィックとして保存すると、そのデータは画像によって近似されず、エンコードされる。
これを3つのコントリビューションに変換します。
論文 参考訳（メタデータ） (2026-06-30T08:43:32Z) - Weave of Formal Thought [51.56484100374058]
WoFT(Weave of Formal Thought)は、厳密な構文的検証と学習された構造的表現を結合したパラダイムである。
本稿では,非終端文法記号を直接生成にインターリーブするために,言語モデルを訓練する潜時可変微調整法を提案する。
Pythonでは、RWS目的のStarCoder2-3Bを微調整することで、テキストのみのSFTベースラインと比較して、トーケン毎のクロスエントロピーが14.3%削減される。
論文 参考訳（メタデータ） (2026-06-24T15:58:11Z) - CoEval: Ranking Language Models for Custom Tasks Without Labeled Data or Trustworthy Benchmarks [47.027290803102666]
アンサンブル自己評価を通じて信頼性の高いタスク固有信号を提供するオープンフレームワークであるCoEvalを提案する。
モデルのプールは教師、学生、裁判官の3つの役割すべてを通して回転し、新鮮な汚染のないベンチマークを生成する。
論文 参考訳（メタデータ） (2026-06-02T13:41:43Z) - Not All Synthetic Data Is Yours to Learn From [68.13136636413601]
弱い自己学習は、事前訓練モデルにすでに存在する能力を増幅できることを示す。
我々はこれを、プロンプトフリーな無条件自己学習の最小設定で研究する。
論文 参考訳（メタデータ） (2026-05-29T10:34:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。