論文の概要: Time Travel: A Comprehensive Benchmark to Evaluate LMMs on Historical and Cultural Artifacts
- arxiv url: http://arxiv.org/abs/2502.14865v1
- Date: Thu, 20 Feb 2025 18:59:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-21 14:28:50.689392
- Title: Time Travel: A Comprehensive Benchmark to Evaluate LMMs on Historical and Cultural Artifacts
- Title（参考訳）: タイムトラベル: 歴史的・文化的アーティファクトのLMM評価のための総合ベンチマーク
- Authors: Sara Ghaboura, Ketan More, Ritesh Thawkar, Wafa Alghallabi, Omkar Thawakar, Fahad Shahbaz Khan, Hisham Cholakkal, Salman Khan, Rao Muhammad Anwer,
- Abstract要約: TimeTravelは、10つの主要な歴史的地域にわたる266の異なる文化にまたがる10,250のエキスパート認定サンプルのベンチマークである。
TimeTravelは、原稿、アートワーク、碑文、考古学的発見のAIによる分析のために設計されている。
我々は、TimeTravelで現代のAIモデルを評価し、その強みを強調し、改善すべき領域を特定する。
- 参考スコア（独自算出の注目度）: 65.90535970515266
- License:
- Abstract: Understanding historical and cultural artifacts demands human expertise and advanced computational techniques, yet the process remains complex and time-intensive. While large multimodal models offer promising support, their evaluation and improvement require a standardized benchmark. To address this, we introduce TimeTravel, a benchmark of 10,250 expert-verified samples spanning 266 distinct cultures across 10 major historical regions. Designed for AI-driven analysis of manuscripts, artworks, inscriptions, and archaeological discoveries, TimeTravel provides a structured dataset and robust evaluation framework to assess AI models' capabilities in classification, interpretation, and historical comprehension. By integrating AI with historical research, TimeTravel fosters AI-powered tools for historians, archaeologists, researchers, and cultural tourists to extract valuable insights while ensuring technology contributes meaningfully to historical discovery and cultural heritage preservation. We evaluate contemporary AI models on TimeTravel, highlighting their strengths and identifying areas for improvement. Our goal is to establish AI as a reliable partner in preserving cultural heritage, ensuring that technological advancements contribute meaningfully to historical discovery. Our code is available at: \url{https://github.com/mbzuai-oryx/TimeTravel}.
- Abstract（参考訳）: 歴史的および文化的アーティファクトを理解するには、人間の専門知識と高度な計算技術が必要であるが、そのプロセスは複雑で時間を要する。
大規模なマルチモーダルモデルは有望なサポートを提供するが、その評価と改善には標準ベンチマークが必要である。
これを解決するために,10の歴史的地域にわたる266の異なる文化にまたがる10,250のエキスパート検証サンプルのベンチマークであるTimeTravelを紹介した。
原稿、アートワーク、碑文、考古学的発見のAI駆動分析のために設計されたTimeTravelは、分類、解釈、歴史的理解におけるAIモデルの能力を評価するための構造化データセットと堅牢な評価フレームワークを提供する。
歴史的研究とAIを統合することで、TimeTravelは、歴史学者、考古学者、研究者、文化観光客のためのAIツールを育成し、テクノロジーが歴史的発見と文化遺産保存に有意義に貢献することを保証するとともに、貴重な洞察を抽出する。
我々は、TimeTravelで現代のAIモデルを評価し、その強みを強調し、改善すべき領域を特定する。
我々のゴールは、文化遺産を保存するための信頼できるパートナーとしてAIを確立することであり、技術的進歩が歴史的発見に有意義に寄与することを保証することです。
我々のコードは以下の通りである。
関連論文リスト
- Grand Challenges in Immersive Technologies for Cultural Heritage [6.678822458675665]
没入型技術の統合は、文化遺産の提示方法を変えてきた。
これらのテクノロジの採用は、さまざまな課題や潜在的なリスクをもたらします。
論文 参考訳（メタデータ） (2024-12-03T21:39:01Z) - O1 Replication Journey: A Strategic Progress Report -- Part 1 [52.062216849476776]
本稿では,O1 Replication Journeyに具体化された人工知能研究の先駆的アプローチを紹介する。
我々の方法論は、長期化したチームベースのプロジェクトの不規則性を含む、現代のAI研究における重要な課題に対処する。
本稿では,モデルにショートカットだけでなく,完全な探索プロセスの学習を促す旅行学習パラダイムを提案する。
論文 参考訳（メタデータ） (2024-10-08T15:13:01Z) - CulturalTeaming: AI-Assisted Interactive Red-Teaming for Challenging LLMs' (Lack of) Multicultural Knowledge [69.82940934994333]
我々は、人間とAIのコラボレーションを活用して、挑戦的な評価データセットを構築するインタラクティブなレッドチームシステムであるCulturalTeamingを紹介する。
我々の研究は、CulturalTeamingの様々なAI支援モードが、文化的な質問の作成においてアノテータを支援することを明らかにした。
CULTURALBENCH-V0.1は、ユーザのリピートの試みにより、コンパクトだが高品質な評価データセットである。
論文 参考訳（メタデータ） (2024-04-10T00:25:09Z) - CHisIEC: An Information Extraction Corpus for Ancient Chinese History [12.41912979618724]
我々は,中国歴史情報抽出コーパス(CHis IEC)データセットを提示する。
CHis IECは、NERおよびREタスクの開発と評価のために設計された、精巧にキュレートされたデータセットである。
データセットは4つの異なるエンティティタイプと12のリレーショナルタイプを含み、慎重にラベル付けされたデータセットとなる。
論文 参考訳（メタデータ） (2024-03-22T10:12:10Z) - Massively Multi-Cultural Knowledge Acquisition & LM Benchmarking [48.21982147529661]
本稿では,多文化知識獲得のための新しいアプローチを提案する。
本手法は,文化トピックに関するウィキペディア文書からリンクページの広範囲なネットワークへ戦略的にナビゲートする。
私たちの仕事は、AIにおける文化的格差のギャップを深く理解し、橋渡しするための重要なステップです。
論文 参考訳（メタデータ） (2024-02-14T18:16:54Z) - Insightful analysis of historical sources at scales beyond human
capabilities using unsupervised Machine Learning and XAI [4.593752628215474]
この研究は、1472年から1650年までのヨーロッパの大学における天文学に関する359の近代版教科書のデジタル化コレクションである「サクロボスコ・コレクション」における知識の進化に焦点を当てている。
これらの表のMLに基づく分析は、当時の数学天文学の分野における知識と革新の時間的進化の重要な側面を明らかにするのに役立つ。
論文 参考訳（メタデータ） (2023-10-13T13:22:05Z) - Exploration with Principles for Diverse AI Supervision [88.61687950039662]
次世代の予測を用いた大規模トランスフォーマーのトレーニングは、AIの画期的な進歩を生み出した。
この生成AIアプローチは印象的な結果をもたらしたが、人間の監督に大きく依存している。
この人間の監視への強い依存は、AIイノベーションの進歩に重大なハードルをもたらす。
本稿では,高品質なトレーニングデータを自律的に生成することを目的とした,探索型AI(EAI)という新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2023-10-13T07:03:39Z) - ScrollTimes: Tracing the Provenance of Paintings as a Window into
History [35.605930297790465]
考古学や美術史において、文化遺産の遺物、遺産の相続と保存の研究が重要な意味を持つ。
美術史家らと共同で、歴史資料の豊富な資料を提供する伝統的な中国の絵画形式である「ハンズクロル」を調査した。
本報告では,ハンドクロルのための「バイオグラフィー」を作成するために,アーティファクト,コンテキスト,および証明レベルを包含する3段階の方法論を提案する。
論文 参考訳（メタデータ） (2023-06-15T03:38:09Z) - Learning Robust Real-Time Cultural Transmission without Human Data [82.05222093231566]
人工知能エージェントにおけるゼロショット、高リコール文化伝達を生成する方法を提案する。
我々のエージェントは、事前に収集された人間のデータを使わずに、新しい文脈で人間からリアルタイムの文化的伝達に成功した。
これは、人工知能を開発するアルゴリズムとしての文化進化の道を開くものである。
論文 参考訳（メタデータ） (2022-03-01T19:32:27Z) - The computerization of archaeology: survey on AI techniques [6.985152632198481]
本論文は, 人工知能技術の考古学分野及びより具体的には, a) 展示の組織化のための創造的刺激としてのソフトウェアツールの利用について分析する。
遺跡出土の破片の分類及び陶器の復元
人類のカタログ化と研究は、属する社会的・歴史的文脈を理解するためである。
人類が到達できない深部に位置する海洋考古学遺跡の探査のための調査の設計は、自由に探索可能な3Dバージョンの構築を通じて行われた。
論文 参考訳（メタデータ） (2020-05-05T17:09:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。