論文の概要: HERMES: A Multi-Granularity Labeling Substrate for Pre-training Data Mixtures

• arxiv url: http://arxiv.org/abs/2607.02266v1
• Date: Thu, 02 Jul 2026 14:51:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-03 19:45:08.876814
• Title: HERMES: A Multi-Granularity Labeling Substrate for Pre-training Data Mixtures
• Title（参考訳）: HERMES: 事前学習データ混合のための多粒度ラベリング基板
• Abstract要約: ボトルネックはラベルシステムであって,ミキサーではなく,階層的なものだ,と私たちは主張する。 Hermes氏はデータミックスの設計を、固定されたラベルセットの中から選択することから、再利用可能なデータ由来の粒度階層をナビゲートすることまで再設計する。
• 参考スコア（独自算出の注目度）: 5.2826294472260935
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most data-mixing methods assume the corpus has already been partitioned into groups, and the choice of those groups determines what a mixer can express. Existing labels, including provenance, topic or format taxonomies, and flat embedding clusters, commit to one semantic axis at one granularity; changing the resolution rebuilds the labels. We argue the bottleneck is the label system, not the mixer, and provide a hierarchical one. HERMES is a data-derived labeling substrate: a Learned Semantic Transform followed by 3-stage residual vector quantization annotates each document once into a coarse-to-fine code whose prefix length controls granularity up to approximately 130k cells. At coarse granularity HERMES sits at a plateau with KMeans-family methods on standard clustering metrics, so the contribution is the substrate, not the clusterer. On 1B-parameter, 25B-token pre-training, the hierarchy exposes an interaction fixed-granularity pipelines cannot test: at one prefix length, a combined Stage-2 rule contrast, equal-subbucket coverage versus size-proportional within-bucket quality top-30%, lifts a 16-task capability macro-average by +0.0253; at the next finer level, the same rule loses its measurable edge as candidate pools contract approximately 5x. HERMES reframes data mixture design from choosing among fixed label sets to navigating a reusable, data-derived granularity hierarchy.
• Abstract（参考訳）: ほとんどのデータミキシング手法は、コーパスが既にグループに分割されており、それらのグループの選択がミキサーが表現できるものを決定すると仮定する。 既存のラベルには、証明、トピックまたはフォーマットの分類、フラットな埋め込みクラスタが含まれ、ひとつの粒度で1つのセマンティック軸にコミットする。 ボトルネックはラベルシステムであって,ミキサーではなく,階層的なものだ,と私たちは主張する。 HERMESはデータ由来のラベリング基板であり、学習されたセマンティック変換に続いて3段階の残留ベクトル量子化により、プレフィックス長が最大130kセルまで粒度を制御する粗いコードに各文書に注釈を付ける。 粗い粒度では、HERMESは標準クラスタリングメトリクス上のKMeansファミリーメソッドと高原に位置しており、コントリビューションはクラスタリングではなく基質である。 1Bパラメータ、25Bトークンの事前トレーニングでは、階層構造は、あるプレフィックス長において、Stage-2ルールのコントラスト、等しいサブバケットカバレッジ、サイズ-プロポーショナルな内部品質のトップ30%で、16タスク能力のマクロ平均を+0.0253まで引き上げる。 HERMESはデータミックスの設計を、固定されたラベルセットの中から選び、再利用可能なデータ由来の粒度階層をナビゲートする。

関連論文リスト

• Multi-Class vs. Multi-Label BERT for CVE-to-CWE Mapping: How Taxonomy Structure Shapes the Errors [0.1448851064537181]
  3つの入れ子ラベル空間で3つのトランスフォーマーエンコーダを評価する。 内部の混乱を許す階層的な評価は、マクロF1を$sim$81%から$sim$90%に上げる。 CySecは、統計学的に有意なゲインをマルチラベル設定に集中して、全体として最も強力な結果を得る。
  論文  参考訳（メタデータ） (2026-07-08T16:01:21Z)
• Towards a Pseudo-Labeling Workflow for Celltype-Classification from Explanted Brain Slice Recordings [0.0]
  本稿では,ヒト脳スライスMEA記録からの擬似ラベル細胞外スパイクを2種類の細胞タイプに分類するための教師なしワークフローを提案する。 データ取得システムからの生データを使用処理する。 前処理用パイプラインは、帯域通過フィルタリング、しきい値に基づくスパイク検出、フレームアライメント、正規化を含む。
  論文  参考訳（メタデータ） (2026-06-15T09:58:57Z)
• Neural Router: Semantic Content Matching for Agentic AI [41.39228253084888]
  大規模言語モデル(LLM)は、エージェントAIのためのコンテンツベースのパブリッシュ/サブスクライブブローカのセマンティックマッチングエンジンとして機能する。 3つの公開データセット上でオフラインのマルチラベル検索として評価され、我々の中心的な貢献は2つのクロスオーバーコストのキャラクタリゼーションである。
  論文  参考訳（メタデータ） (2026-05-25T10:58:53Z)
• Bringing Clustering to MLL: Weakly-Supervised Clustering for Partial Multi-Label Learning [17.455160786776336]
  PML(WSC-PML)のための新しいクラスタリング手法を提案する。 クラスタリングメンバシップ行列 $mathbfA$ を2つのコンポーネントに分解する: $mathbfA = mathbf odot mathbfF$。 この分解により、教師なしクラスタリングのシームレスな統合と、効果的なラベルノイズハンドリングのためのマルチラベル監視が可能となる。
  論文  参考訳（メタデータ） (2026-04-10T14:31:15Z)
• Mixing Configurations for Downstream Prediction [20.099477835723704]
  人間は、クラスタリングアルゴリズムがエミュレートしようとする認知メカニズムである類似性によってオブジェクトをグループ化する能力を持っている。 コミュニティ検出の最近の進歩により、ラベル付きデータを必要としない構成の発見が可能になった。 GraMixCは、構成を抽出し、リバースマージ/スプリット(Reverse Merge/Split, RMS)技術を使って調整し、アテンションヘッドを介してそれらを融合して、下流の予測器に転送するプラグイン・アンド・プレイモジュールである。
  論文  参考訳（メタデータ） (2025-10-22T05:09:53Z)
• CLIMB: CLustering-based Iterative Data Mixture Bootstrapping for Language Model Pre-training [63.07024608399447]
  本稿では,事前学習環境でデータ混合物を発見し,評価し,精製する自動フレームワークを提案する。 ClimbLabは、20のクラスタを研究用グラウンドとして、フィルタされた1.2トリリオントーケンコーパスであり、ClimbMixはコンパクトだが強力な400ビリオントーケンデータセットである。
  論文  参考訳（メタデータ） (2025-04-17T17:58:13Z)
• Multi-Level Label Correction by Distilling Proximate Patterns for Semi-supervised Semantic Segmentation [16.75278876840937]
  誤ラベルを訂正するアルゴリズムとして,MLLC (Multi-Level Label Correction) を提案する。 MLLCは、教師付きベースラインを大幅に改善し、CityscapesとPASCAL VOC 2012データセット上のさまざまなシナリオにおける最先端のアプローチより優れている。
  論文  参考訳（メタデータ） (2024-04-02T16:06:20Z)
• Generalized Category Discovery with Clustering Assignment Consistency [56.92546133591019]
  一般化圏発見(GCD)は、最近提案されたオープンワールドタスクである。 クラスタリングの一貫性を促進するための協調学習ベースのフレームワークを提案する。 提案手法は,3つの総合的なベンチマークと3つのきめ細かい視覚認識データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-10-30T00:32:47Z)
• S3: Supervised Self-supervised Learning under Label Noise [53.02249460567745]
  本稿では,ラベルノイズの存在下での分類の問題に対処する。 提案手法の核心は,サンプルのアノテートラベルと特徴空間内のその近傍のラベルの分布との整合性に依存するサンプル選択機構である。 提案手法は,CIFARCIFAR100とWebVisionやANIMAL-10Nなどの実環境ノイズデータセットの両方で,従来の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2021-11-22T15:49:20Z)
• GuidedMix-Net: Learning to Improve Pseudo Masks Using Labeled Images as Reference [153.354332374204]
  半教師付きセマンティックセマンティックセグメンテーションのための新しい手法である GuidedMix-Net を提案する。 まず、ラベル付きデータとラベルなしデータの間に特徴アライメントの目的を導入し、類似した画像対をキャプチャする。 MITransは、ラベルなしデータのさらなるプログレッシブな精細化のための強力な知識モジュールであることが示されている。 ラベル付きデータに対する教師付き学習とともに、ラベル付きデータの予測が生成した擬似マスクとともに学習される。
  論文  参考訳（メタデータ） (2021-06-29T02:48:45Z)
• Rank-Consistency Deep Hashing for Scalable Multi-Label Image Search [90.30623718137244]
  スケーラブルなマルチラベル画像検索のための新しいディープハッシュ法を提案する。 2つの空間の類似性順序を整列するために、新しい階数整合性目的を適用した。 強力な損失関数は、意味的類似性とハミング距離が一致しないサンプルをペナルティ化するように設計されている。
  論文  参考訳（メタデータ） (2021-02-02T13:46:58Z)
• Unsupervised Person Re-identification via Multi-label Classification [55.65870468861157]
  本稿では,教師なしのReIDを多ラベル分類タスクとして定式化し,段階的に真のラベルを求める。 提案手法は,まず,各人物画像に単一クラスラベルを割り当てることから始まり,ラベル予測のために更新されたReIDモデルを活用することで,多ラベル分類へと進化する。 マルチラベル分類におけるReIDモデルのトレーニング効率を高めるために,メモリベースマルチラベル分類損失(MMCL)を提案する。
  論文  参考訳（メタデータ） (2020-04-20T12:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。