論文の概要: ROBE: Reversed-Order-Biased-Experts for Extracting Extreme Long-tail Events from Historical Texts

• arxiv url: http://arxiv.org/abs/2608.24268v1
• Date: Tue, 25 Aug 2026 08:56:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.9049
• Title: ROBE: Reversed-Order-Biased-Experts for Extracting Extreme Long-tail Events from Historical Texts
• Title（参考訳）: ROBE: 歴史資料から極端に長いイベントを抽出するためのリバース・オーダー・バイザード・エクスプロイト
• Abstract要約: 本稿では、17世紀から18世紀にかけてのオランダの歴史的コーパスから50種類以上のイベントを抽出する方法を提案する。 提案手法は, 長い尾の長い尾の抽出という, 不可能な課題に対処することを目的としている。 19世紀以前の歴史データは、それ自体が大規模言語モデルの事前訓練に含まれていないニッチな領域である。
• 参考スコア（独自算出の注目度）: 4.965980659999127
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper proposes methods to extract over 50 types of events from a Dutch historical corpus spanning the 17th and 18th centuries. The methods we propose aim to tackle the impossible: extracting the long-tail of the long-tail. Historic data from before the 19th century is in itself a niche domain not covered in the pre-training of Large Language Models, and we aim to extract events only very scarcely annotated in the training data available for this domain. We propose creating expert classifiers for subgroups of the events present in the training data. We make these groupings based on similar frequency in the training data or on semantic relatedness. Experts trained on underrepresented events are assigned higher priority when predicting to avoid being dominated by frequency biases. We refer to this new way of combining classifiers, specifically tailored to protect the long-tail, as ROBE: Reversed-Order-Biased-Experts. We also propose a controlled method to create domain-specific synthetic data. Our two implementations of ROBE outperform a simple fine-tuned encoder model with a .10 increase in recall and a .16 increase in precision respectively. The best model achieves a .10 increase in f1 for a group of long-tail classes in our niche data set.
• Abstract（参考訳）: 本稿では、17世紀から18世紀にかけてのオランダの歴史的コーパスから50種類以上のイベントを抽出する方法を提案する。 提案手法は, 長い尾の長い尾の抽出という, 不可能な課題に対処することを目的としている。 19世紀以前の歴史的データは、それ自体が大規模言語モデルの事前訓練に含まれていないニッチな領域であり、この領域で利用可能なトレーニングデータにはほとんど注釈が付けられていないイベントを抽出することを目的としている。 トレーニングデータに存在するイベントのサブグループに対して、専門家分類器を作成することを提案する。 トレーニングデータや意味的関連性に基づいて,これらのグループ化を行う。 頻度バイアスに支配されるのを避けるために、未表現のイベントで訓練されたエキスパートは、予測時により高い優先度が割り当てられる。 ROBE: Reversed-Order-Biased-Experts として、特にロングテールを保護するために調整された分類器を組み合わせる新しい方法を紹介します。 また,ドメイン固有の合成データを作成するための制御手法を提案する。 ROBEの2つの実装は、単純な微調整エンコーダモデルより優れているが、リコールは.10、精度は.16である。 最も優れたモデルは、ニッチデータセット内の長い尾のクラスのグループに対して、.10のf1の増加を達成する。

関連論文リスト

• CLIMB: CLustering-based Iterative Data Mixture Bootstrapping for Language Model Pre-training [63.07024608399447]
  本稿では,事前学習環境でデータ混合物を発見し,評価し,精製する自動フレームワークを提案する。 ClimbLabは、20のクラスタを研究用グラウンドとして、フィルタされた1.2トリリオントーケンコーパスであり、ClimbMixはコンパクトだが強力な400ビリオントーケンデータセットである。
  論文  参考訳（メタデータ） (2025-04-17T17:58:13Z)
• Accelerating Large Language Model Pretraining via LFR Pedagogy: Learn, Focus, and Review [50.78587571704713]
  Learn-Focus-Review(LFR)は、モデルの学習進捗に適応する動的トレーニングアプローチである。 LFRは、データブロック(トークンのシーケンス)にわたるモデルの学習パフォーマンスを追跡し、データセットの困難な領域を再検討する。 フルデータセットでトレーニングされたベースラインモデルと比較して、LFRは一貫して低いパープレキシティと高い精度を達成した。
  論文  参考訳（メタデータ） (2024-09-10T00:59:18Z)
• Improving Pretraining Data Using Perplexity Correlations [56.41097718862742]
  我々は,LLM学習を必要とせず,高品質な事前学習データを選択するフレームワークを提案する。 我々は,パープレキシティ-ベンチマーク相関の推定を中心に,データ選択のための新しい統計フレームワークを構築した。 提案手法は,DataComp-LMで見つかった最高のデータセレクタをマッチングしながら,各ベンチマークでDSIRより優れている。
  論文  参考訳（メタデータ） (2024-09-09T17:23:29Z)
• Evaluating the Role of Data Enrichment Approaches Towards Rare Event Analysis in Manufacturing [1.3980986259786223]
  希少な出来事は、一般的な通常の出来事よりもはるかに低い頻度で起こる出来事である。 製造業では、計画外のダウンタイム、設備寿命の短縮、高エネルギー消費につながるため、このような事象を予測することが特に重要である。 本稿では,データエンリッチメント技術と教師付き機械学習技術を組み合わせて,まれな事象の検出と予測を行う役割について検討する。
  論文  参考訳（メタデータ） (2024-07-01T00:05:56Z)
• On Evaluation Protocols for Data Augmentation in a Limited Data Scenario [11.09784120582206]
  古典的なデータ拡張(文を修飾する)は、単により優れた微調整を行う方法であることを示す。 さらに,ChatGPT や LLama2 のような対話型エージェントによるゼロショットDAでは,性能が向上することを示した。
  論文  参考訳（メタデータ） (2024-02-22T16:42:37Z)
• PAITS: Pretraining and Augmentation for Irregularly-Sampled Time Series [40.02860424817592]
  PAITSは、スパースおよび不規則サンプル時系列データセットに適した事前学習戦略を特定するためのフレームワークである。 このアプローチは、複数のデータセットやドメインにわたる事前トレーニングを継続的に改善する上で有効です。
  論文  参考訳（メタデータ） (2023-08-25T23:21:53Z)
• Boosting Long-tailed Object Detection via Step-wise Learning on Smooth-tail Data [60.64535309016623]
  カテゴリの長い尾の分布がスムーズに減衰し、ヘッドクラスに対するバイアスを補正するスムーズなテールデータを構築する。 我々は,ヘッドクラス支配的なリプレイデータに基づいて,事前学習したモデルのクラスに依存しないモジュールを微調整する。 我々は、すべてのカテゴリの正確な検出を保証するため、トップクラスエキスパートモデルから知識を伝達しながら、テールクラス支配的なリプレイデータ上で統一モデルを訓練する。
  論文  参考訳（メタデータ） (2023-05-22T08:53:50Z)
• Text Classification in the Wild: a Large-scale Long-tailed Name Normalization Dataset [32.41466058437854]
  まず、大規模機関名正規化データセットLoT-insts1を収集する。 大規模なマルチショットクラスから、少数ショットとゼロショットの学習シナリオを分離する。 本稿では,小ショットおよびゼロショットテストセット上での分布外一般化を改良したBERTモデルを提案する。
  論文  参考訳（メタデータ） (2023-02-19T08:44:21Z)
• Retrieval Enhanced Data Augmentation for Question Answering on Privacy Policies [74.01792675564218]
  本研究では,ラベルのないポリシー文書から関連するテキストセグメントを抽出する検索モデルに基づくデータ拡張フレームワークを開発する。 拡張データの多様性と品質を改善するために,複数の事前学習言語モデル(LM)を活用し,ノイズ低減フィルタモデルでそれらをカスケードする。 PrivacyQAベンチマークの強化データを使用して、既存のベースラインを大きなマージン(10% F1)に高め、新しい最先端のF1スコアを50%達成します。
  論文  参考訳（メタデータ） (2022-04-19T15:45:23Z)
• Effective Use of Graph Convolution Network and Contextual Sub-Tree forCommodity News Event Extraction [1.398696312226463]
  本稿では,コモディティニュースのイベントトラクションを改善するために,GCN(Graph Convolutional Networks)とPrunedDependency Parse Tree(コンテキストサブツリー)を効果的に利用することを提案する。 実験の結果,提案手法の効率はF1スコアが0.90までの既存手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-09-27T03:57:17Z)
• Domain-matched Pre-training Tasks for Dense Retrieval [68.07140087626637]
  モデルサイズがますます大きくなる大規模データセットでの事前トレーニングは、ほぼすべてのNLPタスクのパフォーマンス向上のための実証済みのレシピである。 適切な事前トレーニング設定で、この障壁を克服できることが示されています。 1)最近リリースされた6500万の合成された質問セットと、既存のReddit会話のデータセットから2億のポストコメンデーションペアをトレーニングすることで、これを実証する。
  論文  参考訳（メタデータ） (2021-07-28T19:13:00Z)
• Long-tailed Recognition by Routing Diverse Distribution-Aware Experts [64.71102030006422]
  我々は、RoutIng Diverse Experts (RIDE) と呼ばれる新しい長い尾の分類器を提案する。 複数の専門家とのモデルの分散を減らし、分布を考慮した多様性損失によるモデルバイアスを減らし、動的専門家ルーティングモジュールによる計算コストを削減します。 RIDEは、CIFAR100-LT、ImageNet-LT、iNaturalist 2018ベンチマークで最先端を5%から7%上回っている。
  論文  参考訳（メタデータ） (2020-10-05T06:53:44Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。