論文の概要: Enhancing AI Research Paper Analysis: Methodology Component Extraction
using Factored Transformer-based Sequence Modeling Approach
- arxiv url: http://arxiv.org/abs/2311.03401v1
- Date: Sun, 5 Nov 2023 16:33:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-08 18:29:38.090279
- Title: Enhancing AI Research Paper Analysis: Methodology Component Extraction
using Factored Transformer-based Sequence Modeling Approach
- Title(参考訳): ai研究論文分析の強化:ファクタードトランスフォーマティブに基づくシーケンスモデリングアプローチによる方法論成分抽出
- Authors: Madhusudan Ghosh, Debasis Ganguly, Partha Basuchowdhuri, Sudip Kumar
Naskar
- Abstract要約: 本稿では,方法論領域の幅広いカテゴリ情報を活用するシーケンスモデリングへの因子的アプローチを提案する。
シミュレーションされた時系列設定(トレーニングプロセス中に見えない新しい方法論)に従って実験を行う。
本実験により, 提案手法は, 数発設定の方法論抽出タスクにおいて, 9.257%のマージンで最先端のベースラインを上回り, 性能が向上することを示した。
- 参考スコア(独自算出の注目度): 10.060305577353633
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Research in scientific disciplines evolves, often rapidly, over time with the
emergence of novel methodologies and their associated terminologies. While
methodologies themselves being conceptual in nature and rather difficult to
automatically extract and characterise, in this paper, we seek to develop
supervised models for automatic extraction of the names of the various
constituents of a methodology, e.g., `R-CNN', `ELMo' etc. The main research
challenge for this task is effectively modeling the contexts around these
methodology component names in a few-shot or even a zero-shot setting. The main
contributions of this paper towards effectively identifying new evolving
scientific methodology names are as follows: i) we propose a factored approach
to sequence modeling, which leverages a broad-level category information of
methodology domains, e.g., `NLP', `RL' etc.; ii) to demonstrate the feasibility
of our proposed approach of identifying methodology component names under a
practical setting of fast evolving AI literature, we conduct experiments
following a simulated chronological setup (newer methodologies not seen during
the training process); iii) our experiments demonstrate that the factored
approach outperforms state-of-the-art baselines by margins of up to 9.257\% for
the methodology extraction task with the few-shot setup.
- Abstract(参考訳): 科学分野の研究は、新しい方法論とその関連する用語の出現とともに、しばしば急速に進化する。
本稿では, 方法論自体が概念的であり, 自動抽出や特徴付けが困難である一方で, 方法論の様々な構成成分を自動抽出するための教師付きモデル, 例えば 'R-CNN' や 'ELMo' などの開発を試みている。
このタスクの主な研究課題は、これらの方法論のコンポーネント名に関するコンテキストを、数ショットまたはゼロショットの設定で効果的にモデル化することである。
新たな科学的方法論を効果的に同定するための主な貢献は次のとおりである。
i) シークエンス・モデリングへの因子的アプローチを提案し, 方法論領域の幅広いカテゴリ情報(例えば 'NLP' や `RL' など)を活用する。
;
二 高速進化型AI文献の実践的な設定の下で方法論的コンポーネント名を特定するための提案手法の実現可能性を示すため、模擬時系列設定(トレーニング過程では見られない新しい手法)に従って実験を行う。
iii) 提案手法は, 手法抽出作業において最大9.257\%のマージンで最先端のベースラインを上回ることを実証する。
関連論文リスト
- Masked Modeling for Self-supervised Representation Learning on Vision
and Beyond [69.64364187449773]
仮面モデリングは、トレーニング中に比例的にマスキングされる元のデータの一部を予測する、独特なアプローチとして現れてきた。
マスクモデリングにおけるテクニックの詳細については,多様なマスキング戦略,ターゲット回復,ネットワークアーキテクチャなどについて詳述する。
我々は、現在の手法の限界について議論し、マスクモデリング研究を進めるためのいくつかの道のりを指摘した。
論文 参考訳(メタデータ) (2023-12-31T12:03:21Z) - Behind the Intent of Extract Method Refactoring: A Systematic Literature
Review [15.194527511076725]
コードは、ソースコードの理解性と保守性を改善するために不可欠なソフトウェアエンジニアリングプラクティスとして広く認識されている。
Extract Method は、開発者がコード品質を改善するためにしばしばそれを適用するため、適用性の "Swiss Army knife" と見なされている。
近年、いくつかの研究が抽出法を推奨し、実行可能なデータ駆動の洞察の収集、分析、啓示を可能にしている。
論文 参考訳(メタデータ) (2023-12-19T21:09:54Z) - Intrinsic Motivation in Model-based Reinforcement Learning: A Brief
Review [77.34726150561087]
本稿では,エージェントが獲得した世界モデルに基づいて,本質的な動機付けを決定するための既存の手法について考察する。
提案した統合フレームワークは,学習を改善するために,世界モデルと本質的なモチベーションを用いてエージェントのアーキテクチャを記述する。
論文 参考訳(メタデータ) (2023-01-24T15:13:02Z) - Latent Variable Representation for Reinforcement Learning [131.03944557979725]
モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。
状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。
特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-12-17T00:26:31Z) - Generalization Properties of Retrieval-based Models [50.35325326050263]
検索ベースの機械学習手法は、幅広い問題で成功をおさめた。
これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。
本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
論文 参考訳(メタデータ) (2022-10-06T00:33:01Z) - A Continual Development Methodology for Large-scale Multitask Dynamic ML
Systems [2.579908688646812]
提示された研究は、MLモデルをモジュラーおよびアンバウンドアーティファクトとして定義することで、新しいML開発方法論を導入することができるという直感に基づいている。
マルチタスクMLモデルを生成するための新しい手法を,拡張とマルチタスクのシーケンスとして定義する。
これにより、サイズと計算コストが向上し、アート品質の状態を達成した124のイメージ分類タスクを共同で解決できるMLモデルが生成される。
論文 参考訳(メタデータ) (2022-09-15T14:36:17Z) - A Review on Method Entities in the Academic Literature: Extraction,
Evaluation, and Application [15.217159196570108]
科学的研究において、この方法は科学的問題を解くのに必須の手段であり、重要な研究対象である。
方法の名称を反映した学術文献における重要な実体をメソッドエンティティと呼ぶ。
メソッドエンティティの進化は、分野の発展を明らかにし、知識発見を促進する。
論文 参考訳(メタデータ) (2022-09-08T10:12:21Z) - Partitioned Active Learning for Heterogeneous Systems [5.331649110169476]
本稿では,pgp(partitioned gp)モデルに基づく分断アクティブラーニング戦略を提案する。
グローバル検索は、アクティブラーニングの探索の側面を加速する。
ローカル検索は、ローカルGPモデルによって誘導されるアクティブ学習基準を利用する。
論文 参考訳(メタデータ) (2021-05-14T02:05:31Z) - A Survey on Deep Semi-supervised Learning [51.26862262550445]
まず,既存の手法を分類した深層半指導学習の分類法を提案する。
次に、損失の種類、貢献度、アーキテクチャの違いの観点から、これらのメソッドを詳細に比較します。
論文 参考訳(メタデータ) (2021-02-28T16:22:58Z) - Recent Progress in Appearance-based Action Recognition [73.6405863243707]
アクション認識は、ビデオ内の様々な人間の行動を特定するタスクである。
最近の外見に基づく手法は、正確な行動認識に向けて有望な進歩を遂げている。
論文 参考訳(メタデータ) (2020-11-25T10:18:12Z) - A Novel RL-assisted Deep Learning Framework for Task-informative Signals
Selection and Classification for Spontaneous BCIs [2.299749220980997]
一つの脳波検定からタスク関連時間信号セグメントを推定・選択する問題を定式化する。
本稿では,既存の深層学習に基づくBCI手法と組み合わせることができる新しい強化学習機構を提案する。
論文 参考訳(メタデータ) (2020-07-01T00:35:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。