論文の概要: SciTBERT: A family of chronologically consistent language models for scientific and technological language processing

• arxiv url: http://arxiv.org/abs/2610.12207v1
• Date: Thu, 08 Oct 2026 15:57:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.147643
• Title: SciTBERT: A family of chronologically consistent language models for scientific and technological language processing
• Title（参考訳）: SciTBERT:科学的・技術的言語処理のための時系列一貫性のある言語モデルの一家系
• Abstract要約: SciTBERT(SciTBERT)は,学術論文や特許,高品質な教育用Webテキストから学習した,時系列的に一貫したBERT由来の言語モデルである。 これらのモデルは、コーパスの初年度制限によってトレーニングデータが制限された場合でも、従来のドメイン固有エンコーダモデルよりも一般的に優れていることがわかった。
• 参考スコア（独自算出の注目度）: 0.3549268276880846
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained transformer models are increasingly being used to study scientific and technological progress. Encoders tuned to paper or patent text outperform general-purpose models on downstream classification, regression, and proximity tasks within science and technology. However, the applicability of these models for studying time-dependent or archival properties of science, technology, and their interface is limited due to lookahead and domain biases inherent to these pre-trained models. These limitations arise from training on corpora with unconstrained chronological and text source distributions. We introduce SciTBERT: a family of chronologically consistent BERT-derived language models trained on text from scientific papers, patents, and high-quality educational web text with training data cutoff dates spanning each year between 2013 and 2025. We also post-train these models in a chronologically-consistent manner using paper and patent citations, creating SciTBERT-CI model family. We find that these models generally outperform predecessor domain-specific encoder models even when training data is limited by early year restrictions in the corpus. To further investigate the extent to which this class of models can learn representations that bridge science and technology, we introduce the PatRepEval benchmark, a suite of patent-related text embedding tasks at the science-technology interface. Performance in a variety of classification, regression, and retrieval tasks spanning papers and patents highlights the importance of aligning encoder model representations with the domain distributions of their downstream tasks, and chronologically consistent encoders can match or exceed models trained without temporal constraints.
• Abstract（参考訳）: 事前訓練されたトランスフォーマーモデルは、科学と技術の進歩を研究するためにますます使われてきている。 エンコーダは、科学や技術における下流の分類、回帰、近接タスクにおいて、論文や特許のテキストが汎用モデルより優れているように調整された。 しかしながら、これらのモデルが科学、技術、およびそれらのインターフェースの時間依存的または考古学的特性を研究するために適用可能であるのは、これらの事前訓練されたモデルに固有のルックアヘッドとドメインバイアスのためである。 これらの制限は、制約のない時系列およびテキストソースの分布を持つコーパスのトレーニングから生じる。 SciTBERT(SciTBERT)は,2013年から2025年にかけて,科学論文,特許,および高品質な教育用Webテキストからトレーニングされた,時系列的に一貫したBERT由来の言語モデルである。 また,SciTBERT-CIモデルファミリを作成した論文と特許引用を用いて,これらのモデルを時系列的にトレーニングした。 これらのモデルは、コーパスの初年度制限によってトレーニングデータが制限された場合でも、従来のドメイン固有エンコーダモデルよりも一般的に優れていることがわかった。 科学とテクノロジーを橋渡しする表現を学べるかをさらに調査するため,特許関連テキスト埋め込みタスクのスイートであるPatRepEvalベンチマークを科学技術インターフェースに導入した。 論文や特許にまたがる様々な分類、回帰、検索タスクのパフォーマンスは、エンコーダモデル表現を下流タスクのドメイン分布と整合させることの重要性を強調しており、時系列的に一貫性のあるエンコーダは時間的制約なしに訓練されたモデルに適合または超えることができる。

関連論文リスト

• Faithful, Enriched, and Precise: Benchmarking Natural-Science Illustration Generation by T2I models [49.93401412148884]
  FEPBenchは、慎重に選択された高品質な科学イラストから構築されたベンチマークである。 我々は,T2Iモデルについて,命令忠実度,推論エンリッチメント,意味的精度の3つの次元に沿って評価する。 その結果、GPT Image 2やNano Banana Proのような最先端のクローズドソースモデルでさえ、テキストレンダリングのボトルネック、推論のリッチ化の制限、生成のリッチネスと精度のバランスの難しさに悩まされていることがわかった。
  論文  参考訳（メタデータ） (2026-06-04T09:49:02Z)
• Scaling Point-in-Time Language Models [0.0]
  ポイント・イン・タイムの言語モデルは、各カレンダーの日付まで利用可能なテキストにのみ訓練される。 この性能ギャップはスケールによって著しく狭められることを示す。 我々は、ポイント・イン・タイム言語モデリングを可能にするデータセット構築を含む完全なパイプラインをリリースする。
  論文  参考訳（メタデータ） (2026-04-24T17:00:53Z)
• Large Language Models in the Task of Automatic Validation of Text Classifier Predictions [45.88028371034407]
  テキスト分類のための機械学習モデルは、与えられたテキストのクラスを予測するために訓練される。 これを行うには、トレーニングと検証のサンプルを用意し、各テキストにクラスを割り当てる必要がある。 人間のアノテーションは通常、特定の分類タスクによって異なる専門レベルを持つ人間のアノテーションによって割り当てられる。 本稿では,人間のアノテータを大規模言語モデルに置き換えるためのいくつかのアプローチを提案する。
  論文  参考訳（メタデータ） (2025-05-24T13:19:03Z)
• Dewey Long Context Embedding Model: A Technical Report [0.0]
  dewey_en_betaは、MTEB(Eng, v2)およびLongEmbedベンチマーク上で優れたパフォーマンスを実現する、新しいテキスト埋め込みモデルである。 本稿では,オープンソースのdewey_en_beta埋め込みモデルのトレーニング手法と評価結果について述べる。
  論文  参考訳（メタデータ） (2025-03-26T09:55:00Z)
• Towards understanding evolution of science through language model series [0.9831489366502298]
  AnnualBERTは、科学的テキストの時間的進化を捉えるために設計された一連の言語モデルである。 2008年まで発行された170万のarXiv論文の全文をスクラッチから事前訓練したRoBERTaモデルと、年間ベースでarXiv論文の漸進的に訓練されたモデルのコレクションで構成されている。
  論文  参考訳（メタデータ） (2024-09-15T07:15:05Z)
• Prompting Encoder Models for Zero-Shot Classification: A Cross-Domain Study in Italian [75.94354349994576]
  本稿では,より小型のドメイン固有エンコーダ LM と,特殊なコンテキストにおける性能向上手法の併用の可能性について検討する。 本研究は, イタリアの官僚的・法的言語に焦点をあて, 汎用モデルと事前学習型エンコーダのみのモデルの両方を実験する。 その結果, 事前学習したモデルでは, 一般知識の頑健性が低下する可能性があるが, ドメイン固有のタスクに対して, ゼロショット設定においても, より優れた適応性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-07-30T08:50:16Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• Twist Decoding: Diverse Generators Guide Each Other [116.20780037268801]
  様々なモデルの恩恵を受けながらテキストを生成するシンプルで一般的な推論アルゴリズムであるTwist decodingを導入する。 我々の方法は、語彙、トークン化、あるいは生成順序が共有されていると仮定しない。
  論文  参考訳（メタデータ） (2022-05-19T01:27:53Z)
• BERT got a Date: Introducing Transformers to Temporal Tagging [4.651578365545765]
  本稿では,RoBERTa言語モデルを用いたトランスフォーマー・エンコーダ・デコーダモデルを提案する。 我々のモデルは、特に稀なクラスにおいて、時間的タグ付けや型分類において、過去の研究を上回っている。
  論文  参考訳（メタデータ） (2021-09-30T08:54:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。