論文の概要: TBDFiltering: Sample-Efficient Tree-Based Data Filtering

• arxiv url: http://arxiv.org/abs/2601.22016v1
• Date: Thu, 29 Jan 2026 17:22:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:50.040164
• Title: TBDFiltering: Sample-Efficient Tree-Based Data Filtering
• Title（参考訳）: TBDFiltering: サンプル効率の良いツリーベースデータフィルタリング
• Authors: Robert Istvan Busa-Fekete, Julian Zimmert, Anne Xiangyi Zheng, Claudio Gentile, Andras Gyorgy,
• Abstract要約: 機械学習モデルの質は、トレーニングデータに大きく依存する。 テキスト埋め込みに基づく階層的クラスタリング手法を提案し,評価対象の文書を適応的に選択する。 本手法は,少数の文書を問合せした後,各文書の品質を正確に予測できる。
• 参考スコア（独自算出の注目度）: 19.186418132888182
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The quality of machine learning models depends heavily on their training data. Selecting high-quality, diverse training sets for large language models (LLMs) is a difficult task, due to the lack of cheap and reliable quality metrics. While querying existing LLMs for document quality is common, this is not scalable to the large number (billions) of documents used in training. Instead, practitioners often use classifiers trained on sparse quality signals. In this paper, we propose a text-embedding-based hierarchical clustering approach that adaptively selects the documents to be evaluated by the LLM to estimate cluster quality. We prove that our method is query efficient: under the assumption that the hierarchical clustering contains a subtree such that each leaf cluster in the tree is pure enough (i.e., it mostly contains either only good or only bad documents), with high probability, the method can correctly predict the quality of each document after querying a small number of documents. The number of such documents is proportional to the size of the smallest subtree with (almost) pure leaves, without the algorithm knowing this subtree in advance. Furthermore, in a comprehensive experimental study, we demonstrate the benefits of our algorithm compared to other classifier-based filtering methods.
• Abstract（参考訳）: 機械学習モデルの質は、トレーニングデータに大きく依存する。 大規模言語モデル(LLM)のための高品質で多様なトレーニングセットの選択は、安価で信頼性の高い品質指標が欠如しているため、難しい作業である。 既存のLCMをドキュメント品質に問い合わせることは一般的であるが、これはトレーニングで使用する大量のドキュメント(ビリオン)に拡張性がない。 代わりに、実践者はスパース質の信号で訓練された分類器を使うことが多い。 本稿では,LLM が評価する文書を適応的に選択し,クラスタ品質を推定するテキスト埋め込みに基づく階層クラスタリング手法を提案する。 階層的クラスタリングは木の各葉クラスタが十分に純粋であるようなサブツリーを含んでいるという仮定(つまり、ほとんどが良質または悪質な文書のみを含む)を仮定し、高い確率で、少数の文書を照会した後、各文書の品質を正確に予測することができる。 このような文書の数は、(ほとんど)純粋な葉を持つ最小のサブツリーのサイズに比例する。 さらに、包括的実験において、他の分類器に基づくフィルタリング手法と比較して、アルゴリズムの利点を実証する。

関連論文リスト

• Hierarchical Retrieval: The Geometry and a Pretrain-Finetune Recipe [42.35197658021889]
  一致するクエリとドキュメントのペアを類似したベクトル表現に埋め込んだデュアルエンコーダ(DE)モデルは、情報検索に広く利用されている。 本稿では,階層的検索(HR)の文脈において,文書集合が階層構造を持ち,クエリに適合する文書がすべてその祖先であるような制約について検討する。 近い文書の性能を犠牲にすることなく、長距離検索を大幅に改善するプレトレインファインチューンレシピを提案する。
  論文  参考訳（メタデータ） (2025-09-19T20:35:58Z)
• ReTreever: Tree-based Coarse-to-Fine Representations for Retrieval [64.44265315244579]
  そこで本研究では,様々なレベルで参照文書を整理し,表現するためのツリーベース手法を提案する。 我々の手法はReTreeverと呼ばれ、クエリと参照ドキュメントが同様のツリーブランチに割り当てられるように、バイナリツリーの内部ノード毎のルーティング関数を共同で学習する。 我々の評価では、ReTreeverは一般的に完全な表現精度を保っている。
  論文  参考訳（メタデータ） (2025-02-11T21:35:13Z)
• Information-Theoretic Generative Clustering of Documents [24.56214029342293]
  文書の集合をクラスタリングするための生成クラスタリング(GC)を$mathrmX$で提示する。 大規模言語モデル(LLM)は確率分布を提供するため、2つの文書間の類似性を厳密に定義することができる。 我々はGCが最先端のパフォーマンスを達成し、従来のクラスタリング手法よりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2024-12-18T06:21:21Z)
• Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA [51.3033125256716]
  本研究では,小言語モデルで処理される条件生成タスクとして,サブグラフ検索タスクをモデル化する。 2億2千万のパラメータからなる基本生成部分グラフ検索モデルでは,最先端モデルと比較して競合検索性能が向上した。 LLMリーダを接続した最大の3Bモデルは、WebQSPとCWQベンチマークの両方で、SOTAのエンドツーエンドパフォーマンスを新たに設定します。
  論文  参考訳（メタデータ） (2024-10-08T15:22:36Z)
• PromptReps: Prompting Large Language Models to Generate Dense and Sparse Representations for Zero-Shot Document Retrieval [76.50690734636477]
  本稿では,PmptRepsを提案する。このPmptRepsは,トレーニングを必要とせず,コーパス全体から検索できる機能である。 検索システムは、高密度テキスト埋め込みとスパースバッグ・オブ・ワード表現の両方を利用する。
  論文  参考訳（メタデータ） (2024-04-29T04:51:30Z)
• Zero-Shot Listwise Document Reranking with a Large Language Model [58.64141622176841]
  本稿では,タスク固有の学習データを用いることなく,言語モデル(LRL)を用いたリスワイズ・リランカを提案する。 3つのTRECウェブサーチデータセットの実験により、LRLは第1段検索結果の再ランク付け時にゼロショットポイントワイズ法より優れるだけでなく、最終段再ランカとしても機能することが示された。
  論文  参考訳（メタデータ） (2023-05-03T14:45:34Z)
• Document Provenance and Authentication through Authorship Classification [5.2545206693029884]
  本稿では,単一文書と複数文書の分類のためのアンサンブルベースのテキスト処理フレームワークを提案する。 提案するフレームワークには,最先端のテキスト分類アルゴリズムがいくつか組み込まれている。 フレームワークは大規模なベンチマークデータセットで評価される。
  論文  参考訳（メタデータ） (2023-03-02T12:26:03Z)
• LeQua@CLEF2022: Learning to Quantify [76.22817970624875]
  LeQua 2022は、テキストデータセットで'を定量化する方法を評価するための新しい実験室である。 本研究の目的は、バイナリ設定とシングルラベルのマルチクラス設定の両方において、学習方法の比較評価のための設定を提供することである。
  論文  参考訳（メタデータ） (2021-11-22T14:54:20Z)
• Comparative Study of Long Document Classification [0.0]
  我々は、標準的な機械学習アプローチを用いて、長い文書分類を再考する。 単純なNaive Bayesから6つの標準テキスト分類データセット上の複雑なBERTまで、さまざまなアプローチをベンチマークする。
  論文  参考訳（メタデータ） (2021-11-01T04:51:51Z)
• Pre-training Tasks for Embedding-based Large-scale Retrieval [68.01167604281578]
  本稿では,大規模クエリ文書検索問題について考察する。 クエリ(例えば質問)が与えられたら、関連するドキュメントのセットを大きなドキュメントコーパスから返します。 本稿では, 組込み型トランスフォーマーモデルの学習の鍵となる要素が, 事前学習作業のセットであることを示す。
  論文  参考訳（メタデータ） (2020-02-10T16:44:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。