論文の概要: ORKG-Leaderboards: A Systematic Workflow for Mining Leaderboards as a
Knowledge Graph
- arxiv url: http://arxiv.org/abs/2305.11068v1
- Date: Wed, 10 May 2023 13:19:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-21 10:26:40.655583
- Title: ORKG-Leaderboards: A Systematic Workflow for Mining Leaderboards as a
Knowledge Graph
- Title（参考訳）: ORKG-Leaderboards: ナレッジグラフとしてリーダボードをマイニングするためのシステムワークフロー
- Authors: Salomon Kabongo, Jennifer D'Souza and S\"oren Auer
- Abstract要約: Orkg-Leaderboardは人工知能(AI)における実証研究論文の集合からリーダーボードを抽出するように設計されている
このシステムはOpen Research Knowledge Graph (ORKG)プラットフォームと統合されており、機械操作可能な発見の公開を促進する。
我々の最良のモデルは、テキストリーダーボード抽出タスクで90%以上のF1を実行するので、Orkg-Leaderboardは現実世界での使用に実用的なツールであることが証明される。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The purpose of this work is to describe the Orkg-Leaderboard software
designed to extract leaderboards defined as Task-Dataset-Metric tuples
automatically from large collections of empirical research papers in Artificial
Intelligence (AI). The software can support both the main workflows of
scholarly publishing, viz. as LaTeX files or as PDF files. Furthermore, the
system is integrated with the Open Research Knowledge Graph (ORKG) platform,
which fosters the machine-actionable publishing of scholarly findings. Thus the
system output, when integrated within the ORKG's supported Semantic Web
infrastructure of representing machine-actionable 'resources' on the Web,
enables: 1) broadly, the integration of empirical results of researchers across
the world, thus enabling transparency in empirical research with the potential
to also being complete contingent on the underlying data source(s) of
publications; and 2) specifically, enables researchers to track the progress in
AI with an overview of the state-of-the-art (SOTA) across the most common AI
tasks and their corresponding datasets via dynamic ORKG frontend views
leveraging tables and visualization charts over the machine-actionable data.
Our best model achieves performances above 90% F1 on the \textit{leaderboard}
extraction task, thus proving Orkg-Leaderboards a practically viable tool for
real-world usage. Going forward, in a sense, Orkg-Leaderboards transforms the
leaderboard extraction task to an automated digitalization task, which has
been, for a long time in the community, a crowdsourced endeavor.
- Abstract（参考訳）: 本研究の目的は,人工知能(AI)における実証研究論文の大規模なコレクションから,タスクデータセット・メトリックタプルとして定義されたリーダボードを自動抽出するOrkg-Leaderboardソフトウェアを記述することである。
このソフトウェアは学術出版の主要なワークフロー、すなわちラテックスファイルやpdfファイルの両方をサポートすることができる。
さらに、このシステムは、学術的な研究成果の機械処理可能な公開を促進するOpen Research Knowledge Graph (ORKG)プラットフォームと統合されている。
したがって、orkgがサポートするセマンティックwebインフラストラクチャに統合された場合、web上でマシン操作可能な'リソース'を表現することができる。
1) 広く、世界中の研究者の実証結果の統合により、実証研究の透明性が実現され、出版物の基盤となるデータソース(s)に対する完全な帰属も可能となる。
2)特に、研究者は、最も一般的なaiタスクと対応するデータセット全体にわたる最先端(sota)の概要を、マシン操作可能なデータのテーブルと視覚化チャートを活用した動的orkgフロントエンドビューを通じて、aiの進捗を追跡することができる。
われわれのベストモデルでは,textit{ Leaderboard} 抽出タスクにおいて F1 の90% 以上の性能を実現している。
ある意味でOrkg-Leaderboardsは、リーダーボード抽出タスクを自動化されたデジタル化タスクに変換する。
関連論文リスト
- Capturing and Anticipating User Intents in Data Analytics via Knowledge Graphs [0.061446808540639365]
この研究は、人間中心の複雑な分析を捉えるための基本的なフレームワークとして、知識グラフ(KG)の使用について検討する。
生成されたKGに格納されたデータは、これらのシステムと対話するユーザーに補助(例えばレコメンデーション)を提供するために利用される。
論文 参考訳（メタデータ） (2024-11-01T20:45:23Z) - EDGE: Enhanced Grounded GUI Understanding with Enriched Multi-Granularity Synthetic Data [15.801018643716437]
本稿では,大規模視覚言語モデル(LVLM)のGUI理解と対話能力を,データ駆動型アプローチにより向上することを目的とする。
本稿では,Web上のWebページから大規模で粒度の高いトレーニングデータを自動的に生成する汎用データ合成フレームワークEDGEを提案する。
提案手法は,手動アノテーションへの依存を著しく低減し,研究者がWeb上で利用可能な膨大な公開リソースを活用して作業を進めることを可能にする。
論文 参考訳（メタデータ） (2024-10-25T10:46:17Z) - Leveraging Large Language Models for Semantic Query Processing in a Scholarly Knowledge Graph [1.7418328181959968]
本研究は,革新的なセマンティッククエリ処理システムを開発することを目的としている。
オーストラリア国立大学のコンピュータサイエンス(CS)研究者による研究成果に関する総合的な情報を得ることができる。
論文 参考訳（メタデータ） (2024-05-24T09:19:45Z) - Text-Augmented Open Knowledge Graph Completion via Pre-Trained Language
Models [53.09723678623779]
本稿では,高品質なクエリプロンプトを自動的に生成し,大規模テキストコーパスからサポート情報を取得するためのTAGREALを提案する。
その結果、TAGREALは2つのベンチマークデータセット上で最先端のパフォーマンスを達成することがわかった。
TAGREALは、限られたトレーニングデータであっても、既存の埋め込みベース、グラフベース、およびPLMベースの手法よりも優れた性能を有することが判明した。
論文 参考訳（メタデータ） (2023-05-24T22:09:35Z) - Scientific Paper Extractive Summarization Enhanced by Citation Graphs [50.19266650000948]
我々は、引用グラフを活用して、異なる設定下での科学的論文の抽出要約を改善することに重点を置いている。
予備的な結果は、単純な教師なしフレームワークであっても、引用グラフが有用であることを示している。
そこで我々は,大規模ラベル付きデータが利用可能である場合のタスクにおいて,より正確な結果を得るために,グラフベースのスーパービジョン・サムライゼーション・モデル(GSS)を提案する。
論文 参考訳（メタデータ） (2022-12-08T11:53:12Z) - Deep learning for table detection and structure recognition: A survey [49.09628624903334]
本調査の目的は,テーブル検出の分野での大きな進展を深く理解することである。
この分野における古典的アプリケーションと新しいアプリケーションの両方について分析する。
既存のモデルのデータセットとソースコードは、読者にこの膨大な文献のコンパスを提供するために組織されている。
論文 参考訳（メタデータ） (2022-11-15T19:42:27Z) - MONAI Label: A framework for AI-assisted Interactive Labeling of 3D
Medical Images [49.664220687980006]
注釈付きデータセットの欠如は、タスク固有の教師付き機械学習モデルをトレーニングする上で、大きなボトルネックとなる。
本稿では,人工知能(AI)モデルに基づくアプリケーション開発を支援する,フリーかつオープンソースなフレームワークであるmonAI Labelを紹介する。
論文 参考訳（メタデータ） (2022-03-23T12:33:11Z) - Automated Graph Machine Learning: Approaches, Libraries, Benchmarks and Directions [58.220137936626315]
本稿では,グラフ機械学習の自動手法について論じる。
当社の専用かつ世界初のグラフ機械学習のためのオープンソースライブラリであるAutoGLを紹介します。
また、統一的で再現性があり、効率的な評価をサポートする調整されたベンチマークについて述べる。
論文 参考訳（メタデータ） (2022-01-04T18:31:31Z) - SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。
しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
論文 参考訳（メタデータ） (2021-12-22T14:45:37Z) - Automated Mining of Leaderboards for Empirical AI Research [0.0]
本研究では,知識グラフに基づく学術情報組織のためのリーダーボード作成のための包括的アプローチを提案する。
具体的には,最先端のトランスフォーマーモデルであるViz. Bert, SciBert, XLNetを用いたリーダボードの自動構築の問題点について検討する。
その結果、実験的なAI研究の大部分を、知識グラフとして次世代デジタルライブラリにまとめることができる。
論文 参考訳（メタデータ） (2021-08-31T10:00:52Z) - Cardea: An Open Automated Machine Learning Framework for Electronic
Health Records [11.170152156043336]
Cardeaはオープンソースの自動機械学習フレームワークだ。
ユーザーは自分のデータを使って予測モデルを構築することができる。
我々はMIMIC-IIIおよびKaggleデータセット上の5つの予測タスクを通して、我々のフレームワークを実証する。
論文 参考訳（メタデータ） (2020-10-01T15:58:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。