論文の概要: Five Years of SciCap: What We Learned and Future Directions for Scientific Figure Captioning
- arxiv url: http://arxiv.org/abs/2512.21789v1
- Date: Thu, 25 Dec 2025 21:39:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-29 20:48:41.978662
- Title: Five Years of SciCap: What We Learned and Future Directions for Scientific Figure Captioning
- Title（参考訳）: SciCapの5年 - 私たちが学んだことと科学的フィギュアキャプションの今後の方向性
- Authors: Ting-Hao K. Huang, Ryan A. Rossi, Sungchul Kim, Tong Yu, Ting-Yao E. Hsu, Ho Yin, Ng, C. Lee Giles,
- Abstract要約: SciCapプロジェクトは、ペンシルバニア州の小さなシード資金によるアイデアから、科学的なフィギュアキャプションの風景を形作る中心的な取り組みへと成長した。
この5年間で、我々はarXivの論文から大量のフィギュア・キャプション・ペアを収集し、リリースし、継続的に更新した。
SciCapの最初の5年間を振り返って、私たちが学んだ重要な技術的、方法論的な教訓を要約します。
- 参考スコア（独自算出の注目度）: 47.682237295499306
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Between 2021 and 2025, the SciCap project grew from a small seed-funded idea at The Pennsylvania State University (Penn State) into one of the central efforts shaping the scientific figure-captioning landscape. Supported by a Penn State seed grant, Adobe, and the Alfred P. Sloan Foundation, what began as our attempt to test whether domain-specific training, which was successful in text models like SciBERT, could also work for figure captions expanded into a multi-institution collaboration. Over these five years, we curated, released, and continually updated a large collection of figure-caption pairs from arXiv papers, conducted extensive automatic and human evaluations on both generated and author-written captions, navigated the rapid rise of large language models (LLMs), launched annual challenges, and built interactive systems that help scientists write better captions. In this piece, we look back at the first five years of SciCap and summarize the key technical and methodological lessons we learned. We then outline five major unsolved challenges and propose directions for the next phase of research in scientific figure captioning.
- Abstract（参考訳）: 2021年から2025年の間、SciCapプロジェクトはペンシルバニア州立大学(ペンシルベニア州立大学)の小さなシード資金によるアイデアから、科学的な人物像の風景を形作る中心的な取り組みの1つへと成長した。
ペンシルバニア州のシード助成金、Adobe、およびAlfred P. Sloan Foundationの支援を受けて、SciBERTのようなテキストモデルで成功したドメイン固有のトレーニングが、複数の機関のコラボレーションに拡張されたフィギュアキャプションでも機能するかどうかをテストするために始まった。
この5年間で、我々は、arXiv論文から大量のフィギュア・キャプション・ペアを収集、リリースし、継続的に更新し、生成されたキャプションと著者によるキャプションの両方に対して、広範囲に自動的および人為的評価を行い、大規模言語モデル(LLM)の急激な台頭をナビゲートし、年次課題を打ち出し、科学者がより良いキャプションを書くのに役立つインタラクティブなシステムを構築しました。
この記事では、SciCapの最初の5年間を振り返り、私たちが学んだ重要な技術と方法論の教訓を要約します。
次に,5つの未解決課題について概説し,科学図のキャプションにおける次の研究の方向性を提案する。
関連論文リスト
- SciReasoner: Laying the Scientific Reasoning Ground Across Disciplines [112.78540935201558]
我々は、自然言語と異質な科学的表現を整合させる科学的推論基盤モデルを提案する。
このモデルは、科学的なテキスト、純粋なシーケンス、シーケンスとテキストのペアにまたがる206Bのコーパスで事前訓練され、4000万の命令でSFTを介してアライメントされる。
i) テキストと科学形式間の忠実な翻訳、(ii) テキスト/知識抽出、(iii) プロパティの予測、(iv) プロパティの分類、(v) 条件なしおよび条件付きシーケンスの生成と設計。
論文 参考訳（メタデータ） (2025-09-25T17:52:06Z) - Do Large Multimodal Models Solve Caption Generation for Scientific Figures? Lessons Learned from SciCap Challenge 2023 [33.089795292870186]
2023年、初のSciCap Challengeが開催され、世界中のチームがSciCapデータセットを使用して、さまざまな学術分野のさまざまなフィギュアタイプをキャプションするモデルを開発するよう呼びかけた。
本稿では,第1回SciCap Challengeの概要を述べるとともに,そのデータ上での各種モデルの性能について詳述し,フィールド状態のスナップショットを撮影する。
プロの編集者は、GPT-4Vが生成した文字キャプションを他の全てのモデルや著者のオリジナルのキャプションよりも圧倒的に好んだ。
論文 参考訳（メタデータ） (2025-01-31T18:02:19Z) - SciRIFF: A Resource to Enhance Language Model Instruction-Following over Scientific Literature [97.31347312130119]
SciRIFF(Scientific Resource for Instruction-Following and Finetuning)は、トレーニングと評価のための137K命令フォローインスタンスのデータセットで、54のタスクをカバーする。
これらのタスクは、情報抽出、要約、質問応答、クレーム検証、分類の5つの中核的な科学文献理解能力にまたがる。
SciRIFFは、さまざまな科学分野にわたる研究文献から情報を抽出し、合成するための、完全に専門家によって書かれた高品質な命令追跡データセットである。
論文 参考訳（メタデータ） (2024-06-10T21:22:08Z) - MASSW: A New Dataset and Benchmark Tasks for AI-Assisted Scientific Workflows [58.56005277371235]
我々は,Multi-Aspect Summarization of ScientificAspectsに関する総合テキストデータセットであるMASSWを紹介する。
MASSWには過去50年間にわたる17の主要なコンピュータサイエンスカンファレンスから152,000以上の査読論文が含まれている。
我々は、この新しいデータセットを用いてベンチマーク可能な、複数の新しい機械学習タスクを通じて、MASSWの有用性を実証する。
論文 参考訳（メタデータ） (2024-06-10T15:19:09Z) - SciCapenter: Supporting Caption Composition for Scientific Figures with Machine-Generated Captions and Ratings [28.973082312034343]
本稿では,科学的な図形キャプションのための最先端AI技術を統合する対話型システムであるSciCapenterを紹介する。
SciCapenterは学術論文で各人物の様々なキャプションを生成し、キャプションの品質を評価するためのスコアと包括的なチェックリストを提供する。
Ph.D.の学生によるユーザスタディによると、SciCapenterは字幕作成の認知負荷を著しく低下させる。
論文 参考訳（メタデータ） (2024-03-26T15:16:14Z) - SciCap+: A Knowledge Augmented Dataset to Study the Challenges of
Scientific Figure Captioning [18.94446071846939]
図のキャプション生成は、科学文書のモデル理解をテキストを超えて移動させるのに役立つ。
大規模なSciCapデータセットを拡張し、参照パラグラフ(図を参照するパラグラフ)とOCRトークンを含む。
以上の結果から,参照パラグラフが文脈知識として機能し,画像の自動キャプション評価スコアが大幅に向上することが示唆された。
論文 参考訳（メタデータ） (2023-06-06T08:16:16Z) - Summaries as Captions: Generating Figure Captions for Scientific
Documents with Automated Text Summarization [31.619379039184263]
図文キャプション生成は、科学文書におけるテキスト要約タスクとして、より効果的に取り組むことができる。
図式参照段落を具体的に要約するために,事前学習した抽象要約モデルであるPEGを微調整した。
大規模arXiv図を用いた実験により,本手法は,自動評価と人的評価の両方において,先行視覚法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2023-02-23T20:39:06Z) - The Semantic Scholar Open Data Platform [92.2948743167744]
セマンティック・スカラー(Semantic Scholar、S2)は、学術文献の発見と理解を支援することを目的としたオープンデータプラットフォームおよびウェブサイトである。
我々は、学術的なPDFコンテンツ抽出と知識グラフの自動構築のための最先端技術を用いて、パブリックおよびプロプライエタリなデータソースを組み合わせる。
このグラフには、構造解析されたテキスト、自然言語要約、ベクトル埋め込みなどの高度な意味的特徴が含まれている。
論文 参考訳（メタデータ） (2023-01-24T17:13:08Z) - A Computational Inflection for Scientific Discovery [48.176406062568674]
我々は科学的な発見の軌跡において、かなりの屈折の足元に立っている。
社会が急速に成長するデジタルトランスフォーメーションを継続するにつれて、人類の集団的な科学的知識も同様である。
コンピュータ科学は科学プロセス自体に革命を起こそうとしている。
論文 参考訳（メタデータ） (2022-05-04T11:36:54Z) - SciCap: Generating Captions for Scientific Figures [20.696070723932866]
SCICAPは,2010年から2020年にかけて発行されたコンピュータサイエンスarXiv論文をベースとした大規模フィギュアキャプションデータセットである。
前処理後、SCICAPは290,000件以上の論文から200万件以上を抽出した。
グラフプロットをキャプションするベースラインモデルを構築した(19.2%)。
論文 参考訳（メタデータ） (2021-10-22T07:10:41Z) - From Show to Tell: A Survey on Image Captioning [48.98681267347662]
視覚と言語を結びつけることは、ジェネレーティブ・インテリジェンスにおいて重要な役割を担っている。
画像キャプションの研究はまだ結論に達していない。
本研究の目的は,画像キャプション手法の包括的概要と分類を提供することである。
論文 参考訳（メタデータ） (2021-07-14T18:00:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。