論文の概要: Domain Fine-Tuning FinBERT on Finnish Histopathological Reports: Train-Time Signals and Downstream Correlations

• arxiv url: http://arxiv.org/abs/2604.14815v1
• Date: Thu, 16 Apr 2026 09:36:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-17 21:29:31.828856
• Title: Domain Fine-Tuning FinBERT on Finnish Histopathological Reports: Train-Time Signals and Downstream Correlations
• Title（参考訳）: フィンランドの病理組織学報告におけるドメインファインチューニングファイバレット:列車時間信号と下流相関
• Authors: Rami Luisto, Liisa Petäinen, Tommi Grönholm, Jan Böhm, Maarit Ahtiainen, Tomi Lilja, Ilkka Pölönen, Sami Äyrämö,
• Abstract要約: フィンランドの医学テキストデータに基づいて,フィンランドのBERTモデルを微調整した結果を述べる。 フィンランドのBERTのドメイン特化事前学習のメリットを予測しようとする試みについて報告する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In NLP classification tasks where little labeled data exists, domain fine-tuning of transformer models on unlabeled data is an established approach. In this paper we have two aims. (1) We describe our observations from fine-tuning the Finnish BERT model on Finnish medical text data. (2) We report on our attempts to predict the benefit of domain-specific pre-training of Finnish BERT from observing the geometry of embedding changes due to domain fine-tuning. Our driving motivation is the common\situation in healthcare AI where we might experience long delays in acquiring datasets, especially with respect to labels.
• Abstract（参考訳）: ラベル付きデータがほとんど存在しないNLP分類タスクでは、ラベル付きデータ上の変圧器モデルのドメイン微調整が確立されたアプローチである。 本稿では2つの目的について述べる。 1)フィンランドの医学テキストデータに基づいて,フィンランドのBERTモデルを微調整した結果を述べる。 2)フィンランドのBERTのドメイン固有の事前学習の利点を,ドメイン微調整による埋め込み変化の幾何学的な観察から予測しようとする試みについて報告する。 私たちのドライブモチベーションは、特にラベルに関して、データセットの取得に長い遅延を経験する医療AIの共通性です。

関連論文リスト

• An Encoder-Integrated PhoBERT with Graph Attention for Vietnamese Token-Level Classification [0.0]
  トークンレベルの分類処理のために,事前学習されたトランスフォーマーエンコーダ(PhoBERT)とグラフ注意ネットワークを統合した,TextGraphFuseGATという新しいニューラルネットワークを提案する。 提案モデルは,PhoBERTが生成したトークン埋め込み上に完全に連結したグラフを構築し,GAT層が豊富なトークン間の依存関係をキャプチャすることを可能にする。 PhoNER-COVID19, PhoDisfluency, VietMed-NER, VietMed-NERの3つのベンチマークデータセットについて検討した。
  論文  参考訳（メタデータ） (2025-10-13T15:39:09Z)
• Importance-Aware Data Augmentation for Document-Level Neural Machine Translation [51.74178767827934]
  ドキュメントレベルのニューラルマシン翻訳(DocNMT)は、一貫性と結合性の両方を持つ翻訳を生成することを目的としている。 長い入力長とトレーニングデータの可用性が限られているため、DocNMTはデータスパシティーの課題に直面していることが多い。 本稿では,隠れ状態のノルムとトレーニング勾配から推定したトークン重要度情報に基づいてトレーニングデータを拡張するDocNMTのための新しいIADAアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-27T09:27:47Z)
• Towards Efficient Methods in Medical Question Answering using Knowledge Graph Embeddings [3.944219308229571]
  自然言語処理(NLP)では、機械読解(MRC)は与えられた文脈に基づいて質問に答えるタスクである。 医療領域における質問に対処するために、BioBERT、SciBERT、ChatGPTといった現代言語モデルは、膨大なドメイン内医療コーパスで訓練されている。 本稿では、そのようなドメイン固有の事前学習に頼ることなく、モデルにドメイン知識を注入するためのリソース効率のよいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-01-15T21:43:46Z)
• Diagnosing Transformers: Illuminating Feature Spaces for Clinical Decision-Making [14.377412942836143]
  事前訓練されたトランスフォーマーは、限られた臨床ノートを使用して臨床意思決定を支援するために微調整されることが多い。 モデルの解釈可能性は、特に医学のような高度な領域において、信頼を確立し、安全性を確保するために不可欠である。 本稿では,微調整型変換器の特徴空間の解釈可能性を高めるための体系的フレームワークであるSUFOを紹介する。
  論文  参考訳（メタデータ） (2023-05-27T22:15:48Z)
• Prior Knowledge-Guided Attention in Self-Supervised Vision Transformers [79.60022233109397]
  本研究では、未ラベル画像データセットにおける一貫した空間的・意味的構造を利用するフレームワークである空間的事前注意(SPAN)を提案する。 SPANは、アテンションマスクを別個のトランスフォーマーヘッドから正規化し、セマンティック領域の様々な先導に従う。 その結果,アテンションマスクは,ドメインに依存しない事前学習から得られるマスクよりも解釈可能であることが判明した。
  論文  参考訳（メタデータ） (2022-09-07T02:30:36Z)
• GERNERMED -- An Open German Medical NER Model [0.7310043452300736]
  医療データ分析の分野でのデータマイニングは、関連するデータを取得するために、構造化されていないデータの処理にのみ依存する必要があることが多い。 本研究では,ドイツのテキストデータにおける医学的実体型を検出するためのNERタスクのための,最初のオープンなニューラルNLPモデルであるGERNERMEDを提案する。
  論文  参考訳（メタデータ） (2021-09-24T17:53:47Z)
• Curriculum Graph Co-Teaching for Multi-Target Domain Adaptation [78.28390172958643]
  マルチターゲットドメイン適応(MTDA)における複数のドメインシフトを軽減するのに役立つ2つの重要な側面を同定する。 本論文では,二重分類器ヘッドを用いたCGCT(Curriculum Graph Co-Teaching)を提案する。そのうちの1つがグラフ畳み込みネットワーク(GCN)である。 ドメインラベルが利用可能になると、まずより簡単なターゲットドメインに適応し、続いて難しいドメインに適応する逐次適応戦略であるDomain-Aware Curriculum Learning (DCL)を提案する。
  論文  参考訳（メタデータ） (2021-04-01T23:41:41Z)
• Local Additivity Based Data Augmentation for Semi-supervised NER [59.90773003737093]
  名前付きエンティティ認識(NER)は、深層言語理解の第1段階の1つである。 現在のNERモデルは、人間の注釈付きデータに大きく依存している。 半教師付きNERのための局所付加性に基づくデータ拡張法(LADA)を提案する。
  論文  参考訳（メタデータ） (2020-10-04T20:46:26Z)
• Adapting Event Extractors to Medical Data: Bridging the Covariate Shift [3.7298568326039026]
  ラベル付きデータなしでイベント抽出器を新しいドメインに適用する作業に取り組む。 2つの医学領域から英語のテキストを用いて2つの新しいイベント抽出データセットを作成する。
  論文  参考訳（メタデータ） (2020-08-21T02:12:32Z)
• Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
  バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。 実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
  論文  参考訳（メタデータ） (2020-07-31T00:04:15Z)
• A Simple Baseline to Semi-Supervised Domain Adaptation for Machine Translation [73.3550140511458]
  State-of-the-art Neural Machine Translation (NMT)システムは、データハングリーであり、教師付きデータを持たない新しいドメインではパフォーマンスが良くない。 NMTの半教師付きドメイン適応シナリオに対する単純だが効果のあるアプローチを提案する。 このアプローチは、言語モデリング、バックトランスレーション、教師付き翻訳の3つのトレーニング目標を通じて、TransformerベースのNMTモデルを反復的にトレーニングする。
  論文  参考訳（メタデータ） (2020-01-22T16:42:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。