論文の概要: Data-Efficient Language Modeling: From Frontier Advancement to Principle-Guided Model Improvement
- arxiv url: http://arxiv.org/abs/2609.10702v1
- Date: Wed, 09 Sep 2026 18:00:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.102295
- Title: Data-Efficient Language Modeling: From Frontier Advancement to Principle-Guided Model Improvement
- Title（参考訳）: データ効率の良い言語モデリング:フロンティアの発展から原則駆動型モデルの改善へ
- Abstract要約: ケイシはBabyLM 2026 Strict-Small上で、長期にわたるエンドツーエンドの自律的な研究プログラムを実施した。
3つの段階がフロンティアの進歩、原理発見、原則誘導モデルの改善を結び付けた。
- 参考スコア（独自算出の注目度）: 17.36807692618427
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning from limited text requires models to use context, generalize to new inputs, and retain useful capabilities. Qiushi Engine conducted a long-horizon, end-to-end autonomous research program on BabyLM 2026 Strict-Small, within 10 million corpus words and 100 million cumulative word presentations. Three stages connected frontier advancement, principle discovery, and principle-guided model improvement. Stage I combined compact restatements, budget reinvestment, and residual incremental learning to build a frontier model. Stage II found that exact repetition and aligned restatement produce different patterns of context use, depending on target relations and prediction windows. In controlled tasks, recovering familiar performance did not ensure that unseen inputs could still use learned computations. These findings support a testable data-efficient learning principle: organize experience around the contextual dependencies needed for prediction; separately design visible information, supervision, and preservation; test learning, generalization, and retention. Stage III retained source text, masked more local clues, supervised selected targets, and preserved predictions on ordinarily masked inputs. Two continuation seeds from the same parent outperformed ordinary continuation on the complete nine-metric aggregate. Overall rose from 42.02 to 42.25 across two generations; the second achieved the highest Overall in the public Strict-Small snapshot of 8 September 2026. Further studies addressed compression, relational anchors, shared representations, and measurement. Models are available on Hugging Face; code and research records accompany the GitHub repository. Together, these stages illustrate Research RSI: recursive self-improvement of the research process. Scientific understanding and method innovations change subsequent questions and designs; new experiments test and refine them.
- Abstract（参考訳）: 限られたテキストから学ぶには、コンテキストを使用し、新しい入力に一般化し、有用な機能を保持するモデルが必要である。
Qiushi Engineは、BabyLM 2026 Strict-Small上で、1000万のコーパスワードと1億の累積語プレゼンテーションを含む、長期にわたるエンドツーエンドの自律的な研究プログラムを実行した。
3つの段階がフロンティアの進歩、原理発見、原則誘導モデルの改善を結び付けた。
ステージIでは、コンパクトなリベンション、予算の再投資、継続的な漸進的な学習を組み合わせて、フロンティアモデルを構築しました。
ステージIIでは、正確な反復と整列は、ターゲットの関係や予測ウィンドウによって異なるコンテキストの使用パターンを生成することがわかった。
制御されたタスクでは、慣れ親しんだパフォーマンスの回復は、未確認の入力が学習された計算を使い続けることを保証しなかった。
これらの知見は、予測に必要なコンテキスト依存に関する経験を整理し、可視情報、監督、保存を個別に設計し、テスト学習、一般化、保持する、テスト可能なデータ効率学習原則を支持する。
ステージIIIは、ソーステキストを保持し、よりローカルな手がかりを隠蔽し、選択されたターゲットを監督し、通常、マスクされた入力を保存した。
同じ親からの2つの連続種子は、完全な9次元集合体上で通常の連続よりも優れていた。
合計は2世代で42.02から42.25に上昇し、2回目は2026年9月8日のパブリック・ストリット・スモール・スナップショットで最高となった。
さらに、圧縮、リレーショナルアンカー、共有表現、測定について研究した。
モデルはHugging Faceで利用可能であり、コードと研究記録はGitHubリポジトリに添付されている。
これらの段階は、Research RSI: recursive self-improvement of the research processである。
科学的理解と手法の革新は、後の質問やデザインを変え、新しい実験でそれらをテストし、洗練する。
関連論文リスト
- A Dataset for Modeling Iterative Problem-Solving [26.98102675986399]
パラメトリック、シーケンシャル、生成の伝統にまたがるモデルを評価するベンチマークを構築します。
この設定では,モデルの符号化能力は,予測性能と逆関係であることがわかった。
論文 参考訳（メタデータ） (2026-09-01T09:00:55Z) - Combining Trained Models in Reinforcement Learning [0.0]
深層強化学習(DRL)は、AtariやGoといったドメインで大きな成果を上げているが、それでも高いサンプルコストとトレーニング環境を超えて、弱い移行に悩まされている。
一般的な反応は、転送、蒸留、アンサンブル法、フェデレーショントレーニングを通じて、以前に訓練されたモデルの情報を再利用することである。
本稿では、DRLにおける事前学習知識の再利用に関する実証的研究について、PRISMA指導による体系的レビューを行う。
論文 参考訳（メタデータ） (2026-05-04T02:37:55Z) - PrefixNLI: Detecting Factual Inconsistencies as Soon as They Arise [60.63315470285562]
MiniTruePrefixesは、テキストプレフィックスよりも事実上の矛盾をよりよく検出する、新しい特殊モデルである。
制御されたデコードフレームワークにMiniTruePrefixesを組み込むことで,抽象的な要約における現実の一貫性が大幅に向上することを示す。
論文 参考訳（メタデータ） (2025-11-03T09:07:44Z) - Detect Anything via Next Point Prediction [51.55967987350882]
Rex-Omniは最先端の物体認識性能を実現する3BスケールのMLLMである。
COCOやLVISのようなベンチマークでは、Rex-Omniは回帰ベースのモデルに匹敵するパフォーマンスを得る。
論文 参考訳（メタデータ） (2025-10-14T17:59:54Z) - Representation-Based Exploration for Language Models: From Test-Time to Post-Training [50.144031964319424]
強化学習(RL)は、言語モデルの能力を拡張することを約束する。
現在のRL技術が新しい行動の発見を促進するのか、あるいは単にベースモデルにすでに存在するものを研ぎ澄ましているのかは不明だ。
我々は、意図的な探索の価値を調査し、新しい多様な行動を発見するためのモデルを明確にインセンティブ付けする。
論文 参考訳（メタデータ） (2025-10-13T17:49:05Z) - Large Language Models Imitate Logical Reasoning, but at what Cost? [0.42970700836450487]
本稿では,18カ月間のフロンティア大言語モデルの推論能力を評価する。
我々は,2023年12月,2024年9月,2025年6月の3つの主要モデルの精度を,真偽の質問に対して測定した。
2023年から2024年までのパフォーマンス向上は、シークレットの隠された連鎖によるものである。
論文 参考訳（メタデータ） (2025-09-16T04:03:42Z) - Erasing Without Remembering: Implicit Knowledge Forgetting in Large Language Models [81.62767292169225]
我々は,その一般化に着目して,大規模言語モデルにおける知識の忘れについて検討する。
確率摂動に基づく新しいアンラーニングパラダイムであるPerMUを提案する。
TOFU、Harry Potter、ZsRE、WMDP、MUSEなど、さまざまなデータセットで実験が行われている。
論文 参考訳（メタデータ） (2025-02-27T11:03:33Z) - The Languini Kitchen: Enabling Language Modelling Research at Different
Scales of Compute [66.84421705029624]
本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。
私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。
この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
論文 参考訳（メタデータ） (2023-09-20T10:31:17Z) - Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [49.15931834209624]
実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。
我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。
さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
論文 参考訳（メタデータ） (2023-05-23T12:05:09Z) - NEVIS'22: A Stream of 100 Tasks Sampled from 30 Years of Computer Vision
Research [96.53307645791179]
我々は,100以上の視覚的分類タスクのストリームからなるベンチマークであるNever-Ending VIsual-classification Stream (NEVIS'22)を紹介する。
分類に制限されているにもかかわらず、OCR、テクスチャ分析、シーン認識など、様々なタスクが生成される。
NEVIS'22は、タスクの規模と多様性のために、現在のシーケンシャルな学習アプローチに対して前例のない課題を提起している。
論文 参考訳（メタデータ） (2022-11-15T18:57:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。