論文の概要: GRIP: Geometric Refinement and Adaptive Information Potential for Data Efficiency

• arxiv url: http://arxiv.org/abs/2603.00031v1
• Date: Wed, 04 Feb 2026 15:23:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 01:20:07.979035
• Title: GRIP: Geometric Refinement and Adaptive Information Potential for Data Efficiency
• Title（参考訳）: GRIP:データ効率のための幾何学的リファインメントと適応情報ポテンシャル
• Abstract要約: textbfGRIP (Geometric Refinement and Adaptive Information Potential) は、コーパスを情報密度幾何学空間としてモデル化することにより、これらの次元を統一するフレームワークである。 我々の研究は、大規模事前学習における適応データキュレーションのための堅牢な幾何学的基礎を確立する。
• 参考スコア（独自算出の注目度）: 28.832806758251607
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The performance of Large Language Models (LLMs) is increasingly governed by data efficiency rather than raw scaling volume. However, existing selection methods often decouple global distribution balancing from local instance selection, compromising the hierarchical integrity of the training set. We introduce \textbf{GRIP} (Geometric Refinement and Adaptive Information Potential), a framework that unifies these dimensions by modeling the corpus as an information-dense geometric space. GRIP employs a \textbf{Rapid Adaptation Probe (RAP)} to quantify the information potential of semantic clusters, dynamically re-allocating the sampling budget to regions with the highest representation deficits. Subsequently, we perform Intra-Cluster Selection using a \textbf{length-rectified geometric prior} to counteract embedding density artifacts and preserve long-tail logical sequences. Extensive evaluations on Mixture-of-Experts (MoE) models up to 300B tokens demonstrate that GRIP consistently outperforms state-of-the-art baselines, \textbf{surpassing the performance of models trained on $3\times$ larger uncurated datasets}. Our work establishes a robust geometric foundation for adaptive data curation in large-scale pre-training.
• Abstract（参考訳）: LLM(Large Language Models)の性能は、生のスケーリングボリュームよりもデータ効率に支配されている。 しかし、既存の選択方法は、しばしば局所的なインスタンス選択からグローバルな分散バランスを分離し、トレーニングセットの階層的な整合性を損なう。 本稿では,コーパスを情報密度幾何学空間としてモデル化することにより,これらの次元を統一するフレームワークであるtextbf{GRIP}(Geometric Refinement and Adaptive Information Potential)を紹介する。 GRIPは、意味クラスタの情報ポテンシャルを定量化するために、textbf{Rapid Adaptation Probe (RAP) を用いており、サンプリング予算を最も高い表現欠陥のある領域に動的に再割り当てする。 その後、埋め込み密度アーティファクトに対処し、長いテール論理列を保存するために、textbf{length-rectified geometry prior} を用いてクラスタ内選択を行う。 最大300BトークンまでのMixture-of-Experts(MoE)モデルに対する大規模な評価は、GRIPが一貫して最先端のベースラインを上回り、より大規模な未計算データセットでトレーニングされたモデルのパフォーマンスをパスしていることを示している。 我々の研究は、大規模事前学習における適応データキュレーションのための堅牢な幾何学的基礎を確立する。

関連論文リスト

• CuBAS: Information Geometric Curvature-Based Adaptive Sampling for Supervised Classification [52.452902154360565]
  CuBASは、教師付き分類における適応データ選択のための情報幾何学的フレームワークである。 ラベル付きデータセットは統計多様体と見なすことができ、局所曲率は2階と1階の観測されたフィッシャー情報の比率で推定され、データの分布の幾何学的複雑さを忠実にエンコードする。
  論文  参考訳（メタデータ） (2026-07-03T09:36:02Z)
• Geometry-Aware Dataset Condensation for Diffusion Model Training [103.45641113998839]
  幾何学的分布アライメント問題として,実部分集合選択を再構成することを提案する。 本手法は,一方的な部分的最適輸送を組み込むことで,コンパクトな部分集合を全データ分布に選択的に整列させる。 拡散変形, 部分集合サイズ, 画像解像度, 訓練ラウンドにおける実験により, 本手法が優れた忠実度と分布範囲を実現することを示す。
  論文  参考訳（メタデータ） (2026-06-04T08:53:58Z)
• SEMASIA: A Large-Scale Dataset of Semantically Structured Latent Representations [12.185380843937196]
  約1,700個の事前学習された視覚モデルから抽出した潜在表現の大規模コレクションであるSEMASIAを紹介する。 個々の潜在空間の概念的構造を解析し、一貫したプロトタイプのようなクラスタリングを示す。 プレトレーニングデータの複雑性,特殊化,伝達学習,拡張,モデルスケールが,埋め込みの幾何学的および探索的特性とどのように関係しているかを,大規模回帰分析により解析する。
  論文  参考訳（メタデータ） (2026-05-10T11:42:36Z)
• Tracing the Roots: A Multi-Agent Framework for Uncovering Data Lineage in Post-Training LLMs [81.43302841109349]
  学習後のデータは、大規模言語モデル(LLM)の機能を形成する上で重要な役割を果たす 本稿では,データセット開発における進化グラフを再構築する自動マルチエージェントフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-12T06:24:07Z)
• Persistence-Augmented Neural Networks [2.7309692684728613]
  局所勾配流領域とその階層的進化をエンコードする永続性に基づくデータ拡張フレームワークを提案する。 この表現は畳み込みニューラルネットワークとグラフニューラルネットワークの両方と互換性がある。 階層の基底レベルをプルーニングすると、競合性能を維持しながらメモリ使用量が減少することを示す。
  論文  参考訳（メタデータ） (2026-04-09T17:06:06Z)
• To Memorize or to Retrieve: Scaling Laws for RAG-Considerate Pretraining [24.61808957290675]
  本研究では,事前学習コーパスサイズと検索ストアサイズとのトレードオフを,広範囲のモデルとデータスケールで検討する。 モデルスケール全体にわたるパラメトリックのみのベースラインよりも,検索が一貫してパフォーマンスを向上させることが判明した。
  論文  参考訳（メタデータ） (2026-04-01T10:26:03Z)
• Optimizing the Landscape of LLM Embeddings with Dynamic Exploratory Graph Analysis for Generative Psychometrics: A Monte Carlo Study [0.0]
  本研究では、埋め込みを探索可能なランドスケープとして再編成し、動的探索グラフ解析(DynEGA)を横埋め込み座標に適用する。 大規模モンテカルロシミュレーションでは,OpenAIのテキスト埋め込み3-小モデルを用いて,五次元の壮大なナルシシズムを表す項目を埋め込んだ。 その結果,全エントロピーフィット指数 (TEFI) と正規化相互情報 (NMI) が,埋め込みランドスケープにおける競合する最適化トラジェクトリに繋がることが明らかとなった。
  論文  参考訳（メタデータ） (2026-01-14T14:40:14Z)
• Scalable Graph Generative Modeling via Substructure Sequences [50.32639806800683]
  本稿では,グラフ生成用トランスフォーマー事前学習フレームワークである生成グラフパターンマシン(G$2$PM)を紹介する。 G$2$PMはグラフインスタンス(ノード、エッジ、グラフ全体)をサブ構造のシーケンスとして表現する。 それは、一般化可能かつ伝達可能な表現を学ぶために、シーケンスに関する生成的事前学習を採用する。
  論文  参考訳（メタデータ） (2025-05-22T02:16:34Z)
• Exploring Training and Inference Scaling Laws in Generative Retrieval [50.82554729023865]
  生成検索は、検索を自己回帰生成タスクとして再構成し、大きな言語モデルがクエリから直接ターゲット文書を生成する。 生成的検索におけるトレーニングと推論のスケーリング法則を体系的に検討し,モデルのサイズ,トレーニングデータスケール,推論時間計算が協調的に性能に与える影響について検討した。
  論文  参考訳（メタデータ） (2025-03-24T17:59:03Z)
• Gaussian Ensemble Belief Propagation for Efficient Inference in High-Dimensional Systems [3.6773638205393198]
  高次元モデルにおける効率的な推論は、機械学習における中心的な課題である。 本稿では,Gaussian Ensemble Belief Propagation (GEnBP)アルゴリズムを紹介する。 本稿では,GEnBPが既存の信念手法よりも精度と計算効率で優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-13T03:31:36Z)
• RGM: A Robust Generalizable Matching Model [49.60975442871967]
  RGM(Robust Generalist Matching)と呼ばれる疎密マッチングのための深部モデルを提案する。 合成トレーニングサンプルと実世界のシナリオのギャップを狭めるために、我々は、疎対応基盤真理を持つ新しい大規模データセットを構築した。 さまざまな密集したスパースなデータセットを混ぜ合わせることができ、トレーニングの多様性を大幅に改善しています。
  論文  参考訳（メタデータ） (2023-10-18T07:30:08Z)
• SIGMA: Scale-Invariant Global Sparse Shape Matching [50.385414715675076]
  非剛体形状の正確なスパース対応を生成するための新しい混合整数プログラミング(MIP)法を提案する。 いくつかの挑戦的な3Dデータセットに対して,スパースな非剛性マッチングの最先端結果を示す。
  論文  参考訳（メタデータ） (2023-08-16T14:25:30Z)
• T1: Scaling Diffusion Probabilistic Fields to High-Resolution on Unified Visual Modalities [69.16656086708291]
  拡散確率場(DPF)は、距離空間上で定義された連続関数の分布をモデル化する。 本稿では,局所構造学習に着目したビューワイズサンプリングアルゴリズムによる新しいモデルを提案する。 モデルは、複数のモダリティを統一しながら、高解像度のデータを生成するためにスケールすることができる。
  論文  参考訳（メタデータ） (2023-05-24T03:32:03Z)
• Nearest Neighborhood-Based Deep Clustering for Source Data-absent Unsupervised Domain Adaptation [33.394228127643494]
  教師なしドメイン適応(UDA)の古典的な設定では、ラベル付きソースデータがトレーニングフェーズで利用可能である。 多くの実世界のシナリオでは、ソースデータはアクセス不能であり、ソースドメインでトレーニングされたモデルのみが利用可能です。 本稿では,この課題に対する新しいディープクラスタリング手法を提案する。
  論文  参考訳（メタデータ） (2021-07-27T04:13:59Z)
• Mix Dimension in Poincar\'{e} Geometry for 3D Skeleton-based Action Recognition [57.98278794950759]
  グラフ畳み込みネットワーク(GCN)はすでに、不規則なデータをモデル化する強力な能力を実証している。 本稿では,ポアンカー幾何学を用いて定義した空間時空間GCNアーキテクチャを提案する。 提案手法を,現在最大規模の2つの3次元データセット上で評価する。
  論文  参考訳（メタデータ） (2020-07-30T18:23:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。