論文の概要: Automated Mining of Leaderboards for Empirical AI Research
- arxiv url: http://arxiv.org/abs/2109.13089v1
- Date: Tue, 31 Aug 2021 10:00:52 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-03 12:44:09.679910
- Title: Automated Mining of Leaderboards for Empirical AI Research
- Title(参考訳): 実証AI研究のためのリーダーボードの自動マイニング
- Authors: Salomon Kabongo, Jennifer D'Souza, and S\"oren Auer
- Abstract要約: 本研究では,知識グラフに基づく学術情報組織のためのリーダーボード作成のための包括的アプローチを提案する。
具体的には,最先端のトランスフォーマーモデルであるViz. Bert, SciBert, XLNetを用いたリーダボードの自動構築の問題点について検討する。
その結果、実験的なAI研究の大部分を、知識グラフとして次世代デジタルライブラリにまとめることができる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the rapid growth of research publications, empowering scientists to keep
oversight over the scientific progress is of paramount importance. In this
regard, the Leaderboards facet of information organization provides an overview
on the state-of-the-art by aggregating empirical results from various studies
addressing the same research challenge. Crowdsourcing efforts like
PapersWithCode among others are devoted to the construction of Leaderboards
predominantly for various subdomains in Artificial Intelligence. Leaderboards
provide machine-readable scholarly knowledge that has proven to be directly
useful for scientists to keep track of research progress. The construction of
Leaderboards could be greatly expedited with automated text mining.
This study presents a comprehensive approach for generating Leaderboards for
knowledge-graph-based scholarly information organization. Specifically, we
investigate the problem of automated Leaderboard construction using
state-of-the-art transformer models, viz. Bert, SciBert, and XLNet. Our
analysis reveals an optimal approach that significantly outperforms existing
baselines for the task with evaluation scores above 90% in F1. This, in turn,
offers new state-of-the-art results for Leaderboard extraction. As a result, a
vast share of empirical AI research can be organized in the next-generation
digital libraries as knowledge graphs.
- Abstract(参考訳): 研究出版物の急速な成長により、科学者に科学の進歩を監督する権限が最重要視される。
この点に関して、leaderboards facet of information organizationは、同じ研究課題に取り組む様々な研究からの経験的な結果を集約することで、最先端の概観を提供している。
paperswithcodeなどのクラウドソーシングの取り組みは、主に人工知能のさまざまなサブドメインのためのリーダーボードの構築に費やされている。
リーダーボードは、科学者が研究の進捗を追跡するのに有用であることが証明された、機械可読な学術知識を提供する。
リーダーボードの構築は、自動テキストマイニングによって大幅に高速化することができた。
本研究では,知識グラフに基づく学術情報組織のためのリーダーボード作成のための包括的アプローチを提案する。
具体的には,最先端変圧器モデルであるvizを用いて,自動リーダボード構築の問題点について検討する。
bert、scibert、xlnet。
分析の結果,F1における評価スコアが90%を超えるタスクにおいて,既存のベースラインを大幅に上回る最適手法が明らかとなった。
これにより、Leaderboardの抽出に最先端の結果が新たに提供される。
その結果、実験的なAI研究の大部分を、知識グラフとして次世代デジタルライブラリにまとめることができる。
関連論文リスト
- On Responsible Machine Learning Datasets with Fairness, Privacy, and
Regulatory Norms [58.93352076927003]
AI技術の信頼性に関する深刻な懸念があった。
機械学習とディープラーニングのアルゴリズムは、開発に使用されるデータに大きく依存する。
本稿では,責任あるルーブリックを用いてデータセットを評価するフレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-24T14:01:53Z) - An approach based on Open Research Knowledge Graph for Knowledge
Acquisition from scientific papers [4.8951183832371]
Open Research Knowledge Graph (ORKG)は、研究論文から抽出されたキーインサイトを整理するコンピュータ支援ツールである。
現在、"食品情報工学"、"知識グラフマッチングへのタブラリデータ"、"クエストアンサーリング"研究問題、"Neuro-symbolic AI"ドメインの文書化に使用されている。
論文 参考訳(メタデータ) (2023-08-23T20:05:42Z) - A Bibliographic Study on Artificial Intelligence Research: Global
Panorama and Indian Appearance [2.9895330439073406]
この研究は、ニューラルネットワークとディープラーニングが、トップAI研究論文に含まれる主要なトピックであることを明らかにした。
この研究は、AI研究の観点からインドの研究者の相対的な位置についても調査している。
論文 参考訳(メタデータ) (2023-07-04T05:08:36Z) - ORKG-Leaderboards: A Systematic Workflow for Mining Leaderboards as a
Knowledge Graph [0.0]
Orkg-Leaderboardは人工知能(AI)における実証研究論文の集合からリーダーボードを抽出するように設計されている
このシステムはOpen Research Knowledge Graph (ORKG)プラットフォームと統合されており、機械操作可能な発見の公開を促進する。
我々の最良のモデルは、テキストリーダーボード抽出タスクで90%以上のF1を実行するので、Orkg-Leaderboardは現実世界での使用に実用的なツールであることが証明される。
論文 参考訳(メタデータ) (2023-05-10T13:19:18Z) - The Semantic Reader Project: Augmenting Scholarly Documents through
AI-Powered Interactive Reading Interfaces [54.2590226904332]
本稿では,研究論文を対象とした動的読解インタフェースの自動作成を目的としたセマンティック・リーダー・プロジェクトについて述べる。
10のプロトタイプインターフェースが開発され、300人以上の参加者と現実世界のユーザが読書体験を改善している。
本論文は,研究論文を読む際,学者と公衆の面を巡って構築する。
論文 参考訳(メタデータ) (2023-03-25T02:47:09Z) - Deep learning for table detection and structure recognition: A survey [49.09628624903334]
本調査の目的は,テーブル検出の分野での大きな進展を深く理解することである。
この分野における古典的アプリケーションと新しいアプリケーションの両方について分析する。
既存のモデルのデータセットとソースコードは、読者にこの膨大な文献のコンパスを提供するために組織されている。
論文 参考訳(メタデータ) (2022-11-15T19:42:27Z) - Citation Trajectory Prediction via Publication Influence Representation
Using Temporal Knowledge Graph [52.07771598974385]
既存のアプローチは主に学術論文の時間的データとグラフデータのマイニングに依存している。
本フレームワークは,差分保存グラフ埋め込み,きめ細かい影響表現,学習に基づく軌道計算という3つのモジュールから構成される。
APSアカデミックデータセットとAIPatentデータセットの両方で実験を行った。
論文 参考訳(メタデータ) (2022-10-02T07:43:26Z) - Researching Alignment Research: Unsupervised Analysis [14.699455652461726]
AIアライメント研究は、人工知能(AI)が人間に利益をもたらすことを保証することを目的としている。
このプロジェクトでは、既存のAIアライメント研究を収集、分析した。
フィールドは急速に成長しており、いくつかのサブフィールドが平行して出現している。
論文 参考訳(メタデータ) (2022-06-06T18:24:17Z) - CitationIE: Leveraging the Citation Graph for Scientific Information
Extraction [89.33938657493765]
引用論文と引用論文の参照リンクの引用グラフを使用する。
最先端技術に対するエンド・ツー・エンドの情報抽出の大幅な改善を観察する。
論文 参考訳(メタデータ) (2021-06-03T03:00:12Z) - Generating Knowledge Graphs by Employing Natural Language Processing and
Machine Learning Techniques within the Scholarly Domain [1.9004296236396943]
本稿では、自然言語処理と機械学習を利用して研究論文から実体や関係を抽出する新しいアーキテクチャを提案する。
本研究では,現在最先端の自然言語処理ツールとテキストマイニングツールを用いて,知識抽出の課題に取り組む。
セマンティックWebドメイン内の論文26,827件から抽出した109,105件のトリプルを含む科学知識グラフを作成した。
論文 参考訳(メタデータ) (2020-10-28T08:31:40Z) - Rapidly Deploying a Neural Search Engine for the COVID-19 Open Research
Dataset: Preliminary Thoughts and Lessons Learned [88.42878484408469]
我々は最新のニューラルネットワークランキングアーキテクチャを利用する検索エンジンであるNeural Covidexを紹介する。
本稿では、最初の取り組みについて述べ、その過程で学んだ教訓についていくつか考察する。
論文 参考訳(メタデータ) (2020-04-10T17:12:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。