論文の概要: Extracting Problem and Method Sentence from Scientific Papers: A Context-enhanced Transformer Using Formulaic Expression Desensitization
- arxiv url: http://arxiv.org/abs/2606.26481v1
- Date: Thu, 25 Jun 2026 00:42:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 18:46:32.120636
- Title: Extracting Problem and Method Sentence from Scientific Papers: A Context-enhanced Transformer Using Formulaic Expression Desensitization
- Title（参考訳）: 科学論文から問題と方法文を抽出する:フォーミュラ式デセンシタイズを用いた文脈強調変換器
- Abstract要約: 本稿では,学術論文から問題や方法文を抽出することに焦点を当てる。
科学論文に注釈をつけることは労働集約的であり、結果として学習できる情報モデルの量を制限する小さなデータセットが作られる。
本稿では,3つの観点からの小規模データセットによる問題に対処する。
- 参考スコア（独自算出の注目度）: 4.673446727094768
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Billions of scientific papers lead to the need to identify essential parts from the massive text. Scientific research is an activity from putting forward problems to using methods. To learn the main idea from scientific papers, we focus on extracting problem and method sentences. Annotating sentences within scientific papers is labor-intensive, resulting in small-scale datasets that limit the amount of information models can learn. This limited information leads models to rely heavily on specific forms, which in turn reduces their generalization capabilities. This paper addresses the problems caused by small-scale datasets from three perspectives: increasing dataset scale, reducing dependence on specific forms, and enriching the information within sentences. To implement the first two ideas, we introduce the concept of formulaic expression (FE) desensitization and propose FE desensitization-based data augmenters to generate synthetic data and reduce models' reliance on FEs. For the third idea, we propose a context-enhanced transformer that utilizes context to measure the importance of words in target sentences and to reduce noise in the context. Furthermore, this paper conducts experiments using large language model (LLM) based in-context learning (ICL) methods. Quantitative and qualitative experiments demonstrate that our proposed models achieve a higher macro F1 score compared to the baseline models on two scientific paper datasets, with improvements of 3.71% and 2.67%, respectively. The LLM based ICL methods are found to be not suitable for the task of problem and method extraction.
- Abstract（参考訳）: 何十億もの科学論文が、大量のテキストから本質的な部分を特定する必要性に繋がる。
科学的研究は、問題を前進させることから手法を使う活動である。
科学論文から主案を学習するために,問題や方法文の抽出に焦点をあてる。
科学論文に注釈をつけることは労働集約的であり、結果として学習できる情報モデルの量を制限する小さなデータセットが作られる。
この制限された情報により、モデルは特定の形式に大きく依存するようになり、それによって一般化能力は低下する。
本稿では、データセットの規模を拡大し、特定の形式への依存を減らし、文中の情報を豊かにする、という3つの観点から、小規模データセットによって引き起こされる問題に対処する。
最初の2つのアイデアを実装するために、式式デセンシタイズ(FE)の概念を導入し、FEデセンシタイズに基づくデータ拡張器を提案し、合成データを生成し、FEへの依存を減らす。
第3のアイデアとして,ターゲット文における単語の重要度を計測し,文脈における雑音を低減するためにコンテキストを利用した文脈強調変換器を提案する。
さらに,大規模言語モデル (LLM) を用いたインコンテキスト学習 (ICL) 手法を用いた実験を行った。
定量的および定性的な実験により,提案モデルが2つの学術論文データセットのベースラインモデルと比較して高いマクロF1スコアを達成でき,それぞれ3.71%と2.67%の改善が得られた。
LLM に基づく ICL 法は,問題の解法や解法に適さない。
関連論文リスト
- Optimizing Small Transformer-Based Language Models for Multi-Label Sentiment Analysis in Short Texts [4.166512373146747]
短文の感情分類における小さなトランスフォーマーモデルの有効性を評価する。
データを拡張することで分類性能が向上するのに対し、拡張データセットの事前トレーニングは精度を向上するよりもノイズを発生させる可能性があることを示す。
論文 参考訳（メタデータ） (2025-09-05T10:08:14Z) - Survey on Abstractive Text Summarization: Dataset, Models, and Metrics [0.8184895397419141]
トランスフォーマーモデルは、それらの注意機構、一般的な知識に基づく事前訓練、下流タスクの微調整によって区別される。
本研究は,テキスト要約モデルにおける技術の現状を,抽象的要約アプローチに特化して検討する。
論文 参考訳（メタデータ） (2024-12-22T21:18:40Z) - Causal Micro-Narratives [62.47217054314046]
テキストから因果マイクロナラティブを分類する新しい手法を提案する。
これらの物語は、対象対象の因果関係と/または効果の文レベルの説明である。
論文 参考訳（メタデータ） (2024-10-07T17:55:10Z) - Enhancing SLM via ChatGPT and Dataset Augmentation [0.3844771221441211]
我々は,大言語モデル (LLMs) と小言語モデル (SLMs) のパフォーマンスギャップを埋めるために,知識蒸留技術と合成データセット拡張を用いている。
提案手法は,情報抽出と情報推論という2種類の理性生成を伴い,ANLIデータセットを充実させる。
その結果, 合成合理化によって自然言語の理解能力が向上し, ANLIデータセット上での分類精度が1.3%, 2.3%向上することが判明した。
論文 参考訳（メタデータ） (2024-09-19T09:24:36Z) - Classification and Clustering of Sentence-Level Embeddings of Scientific Articles Generated by Contrastive Learning [1.104960878651584]
提案手法は,科学論文から文レベルの埋め込みを生成するための微調整変換言語モデルで構成されている。
対照的な学習で3つのデータセットでモデルをトレーニングしました。
比較学習と下流タスクへの埋め込みを併用した微調整文変換器は,学術論文における文分類への実現可能なアプローチであることを示す。
論文 参考訳（メタデータ） (2024-03-30T02:52:14Z) - Enhancing Argument Structure Extraction with Efficient Leverage of
Contextual Information [79.06082391992545]
本稿では,コンテキスト情報を完全に活用する効率的なコンテキスト認識モデル(ECASE)を提案する。
文脈情報や議論情報を集約するために,シーケンスアテンションモジュールと距離重み付き類似度損失を導入する。
各種ドメインの5つのデータセットに対する実験により,我々のモデルが最先端の性能を達成することを示す。
論文 参考訳（メタデータ） (2023-10-08T08:47:10Z) - Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。
我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。
また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
論文 参考訳（メタデータ） (2023-01-22T18:22:55Z) - An Empirical Investigation of Commonsense Self-Supervision with
Knowledge Graphs [67.23285413610243]
大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。
本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
論文 参考訳（メタデータ） (2022-05-21T19:49:04Z) - Improving Classifier Training Efficiency for Automatic Cyberbullying
Detection with Feature Density [58.64907136562178]
言語支援の異なる特徴前処理手法を用いて特徴密度(FD)の有効性を検討した。
データセットの複雑さを推定することで、必要な実験の数を削減できると仮定する。
データセットの言語的複雑さの違いにより、言語的に支援された単語前処理の有効性を議論することが可能になる。
論文 参考訳（メタデータ） (2021-11-02T15:48:28Z) - GPT3Mix: Leveraging Large-scale Language Models for Text Augmentation [9.501648136713694]
GPT-3のような大規模言語モデルは優れた数ショット学習者であり、自然なテキストプロンプトで制御できる。
本稿では,大規模言語モデルを用いて現実的なテキストサンプルを生成する新しいデータ拡張手法を提案する。
論文 参考訳（メタデータ） (2021-04-18T11:39:33Z) - Data Augmentation for Spoken Language Understanding via Pretrained
Language Models [113.56329266325902]
音声言語理解(SLU)モデルの訓練は、しばしばデータ不足の問題に直面している。
我々は,事前学習言語モデルを用いたデータ拡張手法を提案し,生成した発話の変動性と精度を向上した。
論文 参考訳（メタデータ） (2020-04-29T04:07:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。