論文の概要: Automated Mining of Leaderboards for Empirical AI Research

• arxiv url: http://arxiv.org/abs/2109.13089v1
• Date: Tue, 31 Aug 2021 10:00:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-03 12:44:09.679910
• Title: Automated Mining of Leaderboards for Empirical AI Research
• Title（参考訳）: 実証AI研究のためのリーダーボードの自動マイニング
• Authors: Salomon Kabongo, Jennifer D'Souza, and S\"oren Auer
• Abstract要約: 本研究では,知識グラフに基づく学術情報組織のためのリーダーボード作成のための包括的アプローチを提案する。 具体的には,最先端のトランスフォーマーモデルであるViz. Bert, SciBert, XLNetを用いたリーダボードの自動構築の問題点について検討する。 その結果、実験的なAI研究の大部分を、知識グラフとして次世代デジタルライブラリにまとめることができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the rapid growth of research publications, empowering scientists to keep oversight over the scientific progress is of paramount importance. In this regard, the Leaderboards facet of information organization provides an overview on the state-of-the-art by aggregating empirical results from various studies addressing the same research challenge. Crowdsourcing efforts like PapersWithCode among others are devoted to the construction of Leaderboards predominantly for various subdomains in Artificial Intelligence. Leaderboards provide machine-readable scholarly knowledge that has proven to be directly useful for scientists to keep track of research progress. The construction of Leaderboards could be greatly expedited with automated text mining. This study presents a comprehensive approach for generating Leaderboards for knowledge-graph-based scholarly information organization. Specifically, we investigate the problem of automated Leaderboard construction using state-of-the-art transformer models, viz. Bert, SciBert, and XLNet. Our analysis reveals an optimal approach that significantly outperforms existing baselines for the task with evaluation scores above 90% in F1. This, in turn, offers new state-of-the-art results for Leaderboard extraction. As a result, a vast share of empirical AI research can be organized in the next-generation digital libraries as knowledge graphs.
• Abstract（参考訳）: 研究出版物の急速な成長により、科学者に科学の進歩を監督する権限が最重要視される。 この点に関して、leaderboards facet of information organizationは、同じ研究課題に取り組む様々な研究からの経験的な結果を集約することで、最先端の概観を提供している。 paperswithcodeなどのクラウドソーシングの取り組みは、主に人工知能のさまざまなサブドメインのためのリーダーボードの構築に費やされている。 リーダーボードは、科学者が研究の進捗を追跡するのに有用であることが証明された、機械可読な学術知識を提供する。 リーダーボードの構築は、自動テキストマイニングによって大幅に高速化することができた。 本研究では,知識グラフに基づく学術情報組織のためのリーダーボード作成のための包括的アプローチを提案する。 具体的には,最先端変圧器モデルであるvizを用いて,自動リーダボード構築の問題点について検討する。 bert、scibert、xlnet。 分析の結果,F1における評価スコアが90%を超えるタスクにおいて,既存のベースラインを大幅に上回る最適手法が明らかとなった。 これにより、Leaderboardの抽出に最先端の結果が新たに提供される。 その結果、実験的なAI研究の大部分を、知識グラフとして次世代デジタルライブラリにまとめることができる。

関連論文リスト

• O1 Replication Journey: A Strategic Progress Report -- Part 1 [52.062216849476776]
  本稿では,O1 Replication Journeyに具体化された人工知能研究の先駆的アプローチを紹介する。 我々の方法論は、長期化したチームベースのプロジェクトの不規則性を含む、現代のAI研究における重要な課題に対処する。 本稿では,モデルにショートカットだけでなく,完全な探索プロセスの学習を促す旅行学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-10-08T15:13:01Z)
• Are Large Language Models Good Classifiers? A Study on Edit Intent Classification in Scientific Document Revisions [62.12545440385489]
  大規模言語モデル(LLM)は、テキスト生成の大幅な進歩をもたらしたが、分類タスクの強化の可能性はまだ未検討である。 生成と符号化の両方のアプローチを含む分類のための微調整LDMを徹底的に研究するためのフレームワークを提案する。 我々はこのフレームワークを編集意図分類(EIC)においてインスタンス化する。
  論文  参考訳（メタデータ） (2024-10-02T20:48:28Z)
• Efficient Performance Tracking: Leveraging Large Language Models for Automated Construction of Scientific Leaderboards [67.65408769829524]
  科学的リーダーボードは、競争方法の評価と比較を容易にする標準化されたランキングシステムである。 出版物の増加により、これらのリーダーボードを手動で構築し維持することは不可能になった。 手作業の削減の解決策として リーダーボードの 自動構築が登場しました
  論文  参考訳（メタデータ） (2024-09-19T11:12:27Z)
• Generative AI in Evidence-Based Software Engineering: A White Paper [10.489725182789885]
  1年足らずで、実践者や研究者は、生成人工知能の迅速かつ広範な実装を目撃した。 テキストGAI機能により、研究者は世界中で新しい生成シナリオを探索し、すべての時間を要するテキスト生成と分析タスクを簡素化し、急ぐことができる。 現在の調査に基づいて、EBSE研究者を効果的に支援する包括的モデルスイートの作成と実証検証を行う。
  論文  参考訳（メタデータ） (2024-07-24T17:16:17Z)
• MASSW: A New Dataset and Benchmark Tasks for AI-Assisted Scientific Workflows [58.56005277371235]
  我々は,Multi-Aspect Summarization of ScientificAspectsに関する総合テキストデータセットであるMASSWを紹介する。 MASSWには過去50年間にわたる17の主要なコンピュータサイエンスカンファレンスから152,000以上の査読論文が含まれている。 我々は、この新しいデータセットを用いてベンチマーク可能な、複数の新しい機械学習タスクを通じて、MASSWの有用性を実証する。
  論文  参考訳（メタデータ） (2024-06-10T15:19:09Z)
• Autonomous LLM-driven research from data to human-verifiable research papers [0.0]
  完全なステップワイズプロセスを通じてインタラクションをガイドする自動化プラットフォームを構築しています。 注釈付きデータのみを提供するモードでは、データペーパーは仮説を立て、計画を立て、分析コードを書き、解釈し、結果を生成し、解釈した。 我々は、トレーサビリティ、透明性、妥当性を高めながら、AIによる科学的発見の加速の可能性を示す。
  論文  参考訳（メタデータ） (2024-04-24T23:15:49Z)
• A Bibliographic Study on Artificial Intelligence Research: Global Panorama and Indian Appearance [2.9895330439073406]
  この研究は、ニューラルネットワークとディープラーニングが、トップAI研究論文に含まれる主要なトピックであることを明らかにした。 この研究は、AI研究の観点からインドの研究者の相対的な位置についても調査している。
  論文  参考訳（メタデータ） (2023-07-04T05:08:36Z)
• ORKG-Leaderboards: A Systematic Workflow for Mining Leaderboards as a Knowledge Graph [0.0]
  Orkg-Leaderboardは人工知能(AI)における実証研究論文の集合からリーダーボードを抽出するように設計されている このシステムはOpen Research Knowledge Graph (ORKG)プラットフォームと統合されており、機械操作可能な発見の公開を促進する。 我々の最良のモデルは、テキストリーダーボード抽出タスクで90%以上のF1を実行するので、Orkg-Leaderboardは現実世界での使用に実用的なツールであることが証明される。
  論文  参考訳（メタデータ） (2023-05-10T13:19:18Z)
• Citation Trajectory Prediction via Publication Influence Representation Using Temporal Knowledge Graph [52.07771598974385]
  既存のアプローチは主に学術論文の時間的データとグラフデータのマイニングに依存している。 本フレームワークは,差分保存グラフ埋め込み,きめ細かい影響表現,学習に基づく軌道計算という3つのモジュールから構成される。 APSアカデミックデータセットとAIPatentデータセットの両方で実験を行った。
  論文  参考訳（メタデータ） (2022-10-02T07:43:26Z)
• Generating Knowledge Graphs by Employing Natural Language Processing and Machine Learning Techniques within the Scholarly Domain [1.9004296236396943]
  本稿では、自然言語処理と機械学習を利用して研究論文から実体や関係を抽出する新しいアーキテクチャを提案する。 本研究では,現在最先端の自然言語処理ツールとテキストマイニングツールを用いて,知識抽出の課題に取り組む。 セマンティックWebドメイン内の論文26,827件から抽出した109,105件のトリプルを含む科学知識グラフを作成した。
  論文  参考訳（メタデータ） (2020-10-28T08:31:40Z)
• Rapidly Deploying a Neural Search Engine for the COVID-19 Open Research Dataset: Preliminary Thoughts and Lessons Learned [88.42878484408469]
  我々は最新のニューラルネットワークランキングアーキテクチャを利用する検索エンジンであるNeural Covidexを紹介する。 本稿では、最初の取り組みについて述べ、その過程で学んだ教訓についていくつか考察する。
  論文  参考訳（メタデータ） (2020-04-10T17:12:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。