論文の概要: ADAM: A Diverse Archive of Mankind for Evaluating and Enhancing LLMs in Biographical Reasoning

• arxiv url: http://arxiv.org/abs/2509.22991v1
• Date: Fri, 26 Sep 2025 23:04:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:18.968399
• Title: ADAM: A Diverse Archive of Mankind for Evaluating and Enhancing LLMs in Biographical Reasoning
• Title（参考訳）: ADAM: バイオロジカル推論におけるLDMの評価と強化のための人類の多面的アーカイブ
• Authors: Jasin Cekinmez, Omid Ghahroodi, Saad Fowad Chandle, Dhiman Gupta, Ehsaneddin Asgari,
• Abstract要約: 文献的推論におけるマルチモーダル大言語モデル(MLLM)の評価と改善のためのフレームワークであるADAMを紹介する。 AdamDBは、地理、時間、職業にわたって400万人以上の個人をカバーする多言語およびマルチモーダルのデータセットである。 アダムベンチはブルームの分類に基づいて認知的に構造化された評価を提供しており、英語と母語の両方で6つの推論レベルにまたがっている。 AdamRAG(アダムラグ)は、生物学的文脈に合わせた検索拡張生成システムである。
• 参考スコア（独自算出の注目度）: 2.272562941954652
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce ADAM (A Diverse Archive of Mankind), a framework for evaluating and improving multimodal large language models (MLLMs) in biographical reasoning. To the best of our knowledge, this is the first work to systematically examine LLM capabilities in biography, a critical yet underexplored dimension of factual knowledge. At its core, AdamDB is a multilingual and multimodal dataset covering over 4 million individuals across geography, time, and profession, while AdamBench provides cognitively structured evaluations based on Bloom's taxonomy, spanning six reasoning levels in both English and native languages. To address hallucinations, particularly for lesser-known individuals, we propose AdamRAG, a retrieval-augmented generation system tailored to biographical contexts. Experiments show that AdamRAG substantially improves open-source models and modestly benefits closed-source ones, with the largest gains on lower-order reasoning. Popularity strongly mediates accuracy, and multimodal input via face images offers smaller, less consistent improvements than retrieval. ADAM establishes the first benchmark and framework for cognitively, culturally, and multimodally grounded biographical evaluation, advancing the development of multilingual, accurate, and hallucination-resistant MLLMs.
• Abstract（参考訳）: 本稿では,多モーダル大規模言語モデル (MLLM) の評価と改善のためのフレームワークであるADAM (A Diverse Archive of Mankind) を紹介する。 我々の知識を最大限に活用するために、これは伝記におけるLCMの能力を体系的に検証する最初の研究である。 中心となるAdamDBは、地理、時間、職業にわたって400万人以上の個人をカバーする多言語およびマルチモーダルのデータセットであり、AdamBenchはブルームの分類に基づいて認知的に構造化された評価を提供しており、英語とネイティブ言語の両方で6つの推論レベルにまたがっている。 幻覚,特にあまり知られていない個人に対処するために,文献的文脈に合わせた検索強化生成システムAdamRAGを提案する。 実験によると、AdamRAGはオープンソースモデルを大幅に改善し、クローズドソースモデルに適度に恩恵を与える。 人気度は精度を強く媒介し、顔画像によるマルチモーダル入力は、検索よりも小さく、一貫性の低い改善を提供する。 ADAMは、認知的、文化的、マルチモーダルに基礎を置いた伝記評価のための最初のベンチマークとフレームワークを確立し、多言語、正確、幻覚耐性MLLMの開発を進めた。

関連論文リスト

• Evaluating Large Language Model with Knowledge Oriented Language Specific Simple Question Answering [73.73820209993515]
  KoLasSimpleQAは,Large Language Models (LLMs) の多言語事実能力を評価する最初のベンチマークである。 既存の研究に触発されて、単一知識点カバレッジ、絶対的客観性、独特な答え、時間的安定性といった特徴を備えた質問セットを作成しました。 その結果,2つの領域間に大きな性能差が認められた。
  論文  参考訳（メタデータ） (2025-05-22T12:27:02Z)
• VisuLogic: A Benchmark for Evaluating Visual Reasoning in Multi-modal Large Language Models [121.03333569013148]
  VisuLogicは、6つのカテゴリにまたがる1,000の人間認証された問題のベンチマークです。 これらの質問は、複数の視点からMLLMの視覚的推論能力を評価するために評価することができる。 ほとんどのモデルは精度が30%以下で、25%のランダムベースラインよりわずかに高く、人間によって達成された51.4%よりはるかに低い。
  論文  参考訳（メタデータ） (2025-04-21T17:59:53Z)
• How does a Multilingual LM Handle Multiple Languages? [0.0]
  本研究では,多言語理解,意味表現,言語間知識伝達の能力について批判的に検討する。 コサイン類似性を用いた一貫性のための多言語単語埋め込みの分析により意味的類似性を評価する。 BLOOM-1.7B と Qwen2 を Named Entity Recognition と文類似性タスクを通して調べ、それらの言語構造を理解する。
  論文  参考訳（メタデータ） (2025-02-06T18:08:14Z)
• Adapting Multilingual LLMs to Low-Resource Languages with Knowledge Graphs via Adapters [3.7273829129985305]
  本稿では,言語から多言語大モデル(LLM)へのグラフ知識の統合について検討する。 我々は、感情分析(SA)および名前付きエンティティ認識(NER)における低リソース言語(LRL)の性能向上のために、言語固有のアダプタを使用している。 構造化グラフ知識が,SA および NER における LRL の多言語 LLM の性能に与える影響を評価する。
  論文  参考訳（メタデータ） (2024-07-01T15:56:24Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• Towards Building Multilingual Language Model for Medicine [54.1382395897071]
  6つの主要言語を含む約25.5Bトークンを含む多言語医療コーパスを構築した。 MMedBench と呼ばれる有理性を持つ多言語医療用多言語質問応答ベンチマークを提案する。 我々の最終モデルであるMMed-Llama 3は、8Bパラメータしか持たないが、MMedBenchおよび英語ベンチマークの他のすべてのオープンソースモデルと比較して優れた性能が得られる。
  論文  参考訳（メタデータ） (2024-02-21T17:47:20Z)
• OMGEval: An Open Multilingual Generative Evaluation Benchmark for Large Language Models [59.54423478596468]
  OMGEvalは、オープンソースの多言語生成テストセットであり、異なる言語におけるLLMの能力を評価することができる。 各言語について、OMGEvalは804のオープンエンド質問を提供し、LLMの重要な機能を幅広くカバーしている。 具体的には、OMGEvalの現在のバージョンには5つの言語(Zh, Ru, Fr, Es, Ar)が含まれている。
  論文  参考訳（メタデータ） (2024-02-21T04:42:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。