論文の概要: FLeW: Facet-Level and Adaptive Weighted Representation Learning of Scientific Documents
- arxiv url: http://arxiv.org/abs/2509.07531v1
- Date: Tue, 09 Sep 2025 09:08:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-10 14:38:27.24787
- Title: FLeW: Facet-Level and Adaptive Weighted Representation Learning of Scientific Documents
- Title（参考訳）: FLeW:科学文書のフェイスレベルと適応重み付き表現学習
- Authors: Zheng Dou, Deqing Wang, Fuzhen Zhuang, Jian Ren, Yanlin Hu,
- Abstract要約: より優れた表現のための3つのアプローチ、すなわちFLeWを統一する手法を提案する。
FLeWは3つのファセットレベルの埋め込みをタスク固有のドキュメント埋め込みに統合する。
実験は、以前のモデルと比較して、複数の科学的タスクや分野にわたるFLeWの適用性と堅牢性を示している。
- 参考スコア（独自算出の注目度）: 25.82731569190015
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Scientific document representation learning provides powerful embeddings for various tasks, while current methods face challenges across three approaches. 1) Contrastive training with citation-structural signals underutilizes citation information and still generates single-vector representations. 2) Fine-grained representation learning, which generates multiple vectors at the sentence or aspect level, requires costly integration and lacks domain generalization. 3) Task-aware learning depends on manually predefined task categorization, overlooking nuanced task distinctions and requiring extra training data for task-specific modules. To address these problems, we propose a new method that unifies the three approaches for better representations, namely FLeW. Specifically, we introduce a novel triplet sampling method that leverages citation intent and frequency to enhance citation-structural signals for training. Citation intents (background, method, result), aligned with the general structure of scientific writing, facilitate a domain-generalized facet partition for fine-grained representation learning. Then, we adopt a simple weight search to adaptively integrate three facet-level embeddings into a task-specific document embedding without task-aware fine-tuning. Experiments show the applicability and robustness of FLeW across multiple scientific tasks and fields, compared to prior models.
- Abstract（参考訳）: 科学的文書表現学習は、様々なタスクに強力な埋め込みを提供するが、現在の手法は3つのアプローチにまたがる課題に直面している。
1) 引用構造信号を用いたコントラスト訓練は, 引用情報を弱め, 単一ベクトル表現を生成する。
2) 文やアスペクトレベルで複数のベクトルを生成する細粒度表現学習には,コストのかかる統合が必要であり,ドメインの一般化が欠如している。
3)タスク認識学習は,タスク分類を手作業で事前に定義し,タスクの微妙な区別を見落とし,タスク固有のモジュールに余分なトレーニングデータを必要とする。
これらの問題に対処するため、より優れた表現のための3つのアプローチ、すなわちFLeWを統一する手法を提案する。
具体的には, 励振インテントと周波数を利用した新しいトリプルトサンプリング手法を導入し, 励振構造信号の訓練を行う。
引用意図(背景、方法、結果)は、科学的な文章の一般的な構造と一致し、きめ細かい表現学習のためのドメイン一般化されたファセット分割を促進する。
そして、簡単な重み探索を導入し、3つのファセットレベルの埋め込みをタスク固有の文書に適応的に組み込む。
実験は、以前のモデルと比較して、複数の科学的タスクや分野にわたるFLeWの適用性と堅牢性を示している。
関連論文リスト
- Task-Adapter++: Task-specific Adaptation with Order-aware Alignment for Few-shot Action Recognition [33.22316608406554]
本稿では,画像エンコーダとテキストエンコーダのパラメータ効率を両立させる手法を提案する。
具体的には,画像エンコーダのタスク固有の適応を設計し,特徴抽出時に最も識別性の高い情報をよく認識できるようにする。
我々は,視覚的特徴を意味的記述と同じ時間的段階に存在するように積極的にマッピングする,革新的な細粒度クロスモーダルアライメント戦略を開発した。
論文 参考訳（メタデータ） (2025-05-09T12:34:10Z) - Generative Compositor for Few-Shot Visual Information Extraction [60.663887314625164]
生成空間モデルとして生成空間モデル(Generative Generative Spacetor)を提案する。
ジェネレーティブジェネレーター(Generative Generative Spacetor)は、ソーステキストから単語を検索することでコンポジタの操作をエミュレートするハイブリッドポインタージェネレータネットワークである。
提案手法は,1ショット,5ショット,10ショットの設定において,ベースラインを上回りながら,フルサンプルトレーニングにおいて高い競争力を発揮する。
論文 参考訳（メタデータ） (2025-03-21T04:56:24Z) - Learning Task Representations from In-Context Learning [73.72066284711462]
大規模言語モデル(LLM)は、文脈内学習において顕著な習熟性を示している。
ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。
提案手法の有効性は,最後の隠れ状態の分布と最適に実行されたテキスト内学習モデルとの整合性に起因していることを示す。
論文 参考訳（メタデータ） (2025-02-08T00:16:44Z) - Boosting Short Text Classification with Multi-Source Information Exploration and Dual-Level Contrastive Learning [12.377363857246602]
短文分類のためのMI-DELIGHTという新しいモデルを提案する。
まず、スパーシリティの問題を軽減するために、マルチソース情報探索を行う。
次に,短いテキストの表現を学習するために,グラフ学習アプローチを採用する。
論文 参考訳（メタデータ） (2025-01-16T00:26:15Z) - Probing Representations for Document-level Event Extraction [30.523959637364484]
この研究は、文書レベルの情報抽出で学んだ表現に探索パラダイムを適用した最初のものである。
文書レベルのイベント抽出に関連するサーフェス,セマンティクス,イベント理解機能を分析するために,8つの埋め込みプローブを設計した。
これらのモデルからトレーニングされたエンコーダは、わずかに引数の検出とラベリングを改善することができるが、イベントレベルのタスクをわずかに強化するだけである。
論文 参考訳（メタデータ） (2023-10-23T19:33:04Z) - Pre-training Multi-task Contrastive Learning Models for Scientific
Literature Understanding [52.723297744257536]
事前学習言語モデル(LM)は、科学文献理解タスクにおいて有効であることを示す。
文献理解タスク間の共通知識共有を容易にするために,マルチタスクのコントラスト学習フレームワークであるSciMultを提案する。
論文 参考訳（メタデータ） (2023-05-23T16:47:22Z) - SciRepEval: A Multi-Format Benchmark for Scientific Document
Representations [52.01865318382197]
SciRepEvalは、科学文書表現のトレーニングと評価のための最初の総合的なベンチマークである。
SPECTERやSciNCLのような最先端のモデルが、タスクフォーマットをまたいだ一般化にどのように苦労しているかを示す。
ドキュメント毎に複数の埋め込みを学習する新しいアプローチは、それぞれ異なるフォーマットに合わせて、パフォーマンスを改善することができる。
論文 参考訳（メタデータ） (2022-11-23T21:25:39Z) - Fast Inference and Transfer of Compositional Task Structures for
Few-shot Task Generalization [101.72755769194677]
本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。
我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。
提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
論文 参考訳（メタデータ） (2022-05-25T10:44:25Z) - Improving Multi-task Generalization Ability for Neural Text Matching via
Prompt Learning [54.66399120084227]
最近の最先端のニューラルテキストマッチングモデル(PLM)は、様々なタスクに一般化することが難しい。
我々は、特殊化一般化訓練戦略を採用し、それをMatch-Promptと呼ぶ。
特殊化段階では、異なるマッチングタスクの記述はいくつかのプロンプトトークンにマッピングされる。
一般化段階において、テキストマッチングモデルは、多種多様なマッチングタスクを訓練することにより、本質的なマッチング信号を探索する。
論文 参考訳（メタデータ） (2022-04-06T11:01:08Z) - Grad2Task: Improved Few-shot Text Classification Using Gradients for
Task Representation [24.488427641442694]
本稿では,数ショットのテキスト分類のための条件付きニューラルプロセスに基づく新しいアプローチを提案する。
私たちのキーとなるアイデアは、ベースモデルからの勾配情報を使って各タスクを表現することです。
我々のアプローチは、従来の微調整、シーケンシャルトランスファーラーニング、そして最先端のメタラーニングアプローチよりも優れています。
論文 参考訳（メタデータ） (2022-01-27T15:29:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。