論文の概要: ClimRetrieve: A Benchmarking Dataset for Information Retrieval from Corporate Climate Disclosures

• arxiv url: http://arxiv.org/abs/2406.09818v3
• Date: Tue, 01 Oct 2024 08:55:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 22:08:58.659997
• Title: ClimRetrieve: A Benchmarking Dataset for Information Retrieval from Corporate Climate Disclosures
• Title（参考訳）: ClimRetrieve: 企業気候情報公開からの情報検索のためのベンチマークデータセット
• Authors: Tobias Schimanski, Jingwei Ni, Roberto Spacey, Nicola Ranger, Markus Leippold,
• Abstract要約: 本研究は,持続可能性分析の典型的な課題を,気候に関する詳細な16の質問を含む30のサステナビリティレポートを用いてシミュレートする。 異なるレベルの関連性によってラベル付けされた8.5K以上のユニークな質問ソースと回答のペアを持つデータセットを得る。 本研究は,知識を組み込んだ情報検索における専門家の知識の統合を検討するために,データセットを用いたユースケースを開発する。
• 参考スコア（独自算出の注目度）: 3.348779089844034
• License:
• Abstract: To handle the vast amounts of qualitative data produced in corporate climate communication, stakeholders increasingly rely on Retrieval Augmented Generation (RAG) systems. However, a significant gap remains in evaluating domain-specific information retrieval - the basis for answer generation. To address this challenge, this work simulates the typical tasks of a sustainability analyst by examining 30 sustainability reports with 16 detailed climate-related questions. As a result, we obtain a dataset with over 8.5K unique question-source-answer pairs labeled by different levels of relevance. Furthermore, we develop a use case with the dataset to investigate the integration of expert knowledge into information retrieval with embeddings. Although we show that incorporating expert knowledge works, we also outline the critical limitations of embeddings in knowledge-intensive downstream domains like climate change communication.
• Abstract（参考訳）: 企業の気候コミュニケーションで生成される大量の定性的データを扱うために、利害関係者はますますレトリーバル増強世代(RAG)システムに依存している。 しかし、ドメイン固有の情報検索(回答生成の基礎)を評価する際には、大きなギャップが残っている。 この課題に対処するために、この研究は、気候に関する16の詳細な質問を含む30のサステナビリティレポートを調べることで、サステナビリティアナリストの典型的なタスクをシミュレートする。 その結果、異なるレベルの関連性によってラベル付けされた8.5K以上のユニークな質問ソース-回答ペアを持つデータセットが得られた。 さらに,情報検索と埋め込みに専門家の知識が組み合わさることを検討するために,データセットを用いたユースケースを開発する。 専門家の知識を取り入れることが重要であるが、気候変動コミュニケーションのような知識集約的な下流ドメインへの埋め込みの限界についても概説する。

関連論文リスト

• Building Better Datasets: Seven Recommendations for Responsible Design from Dataset Creators [0.5755004576310334]
  我々は、この分野の現状について、主要なデータセット作成者18人にインタビューした。 私たちは、データセット作成者が直面している課題と考慮事項に光を当てました。 責任あるデータセット作成を改善するための7つの中心的なレコメンデーションを共有します。
  論文  参考訳（メタデータ） (2024-08-30T20:52:19Z)
• Towards Robust Evaluation: A Comprehensive Taxonomy of Datasets and Metrics for Open Domain Question Answering in the Era of Large Language Models [0.0]
  自然言語処理におけるオープンドメイン質問回答(ODQA)は,大規模知識コーパスを用いて,事実質問に回答するシステムを構築する。 高品質なデータセットは、現実的なシナリオでモデルをトレーニングするために使用されます。 標準化されたメトリクスは、異なるODQAシステム間の比較を容易にする。
  論文  参考訳（メタデータ） (2024-06-19T05:43:02Z)
• Analyzing Human Questioning Behavior and Causal Curiosity through Natural Queries [91.70689724416698]
  NatQuest(ナットクエスト)は、3つの異なるソースから自然発生の質問13,500件のコレクションである。 分析の結果,データセット内には因果的疑問(最大42%)が有意な存在であることが判明した。
  論文  参考訳（メタデータ） (2024-05-30T17:55:28Z)
• Data Collection of Real-Life Knowledge Work in Context: The RLKWiC Dataset [4.388282062290401]
  本稿では,コンテキストにおける実生活知識労働の新たなデータセットであるRLKWiCについて述べる。 RLKWiCは、多くの必須情報次元を提供する最初の公開データセットである。
  論文  参考訳（メタデータ） (2024-04-16T12:23:59Z)
• Automatic Question-Answer Generation for Long-Tail Knowledge [65.11554185687258]
  テールエンティティのための特別なQAデータセットを生成するための自動アプローチを提案する。 我々は,新たに生成された長尾QAデータセットに事前学習したLLMを用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-03-03T03:06:31Z)
• Query of CC: Unearthing Large Scale Domain-Specific Knowledge from Public Corpora [104.16648246740543]
  大規模言語モデルに基づく効率的なデータ収集手法を提案する。 この方法は、大きな言語モデルを通してシード情報をブートストラップし、公開コーパスから関連データを検索する。 特定のドメインに関する知識関連のデータを収集するだけでなく、潜在的な推論手順でデータを抽出する。
  論文  参考訳（メタデータ） (2024-01-26T03:38:23Z)
• UNK-VQA: A Dataset and a Probe into the Abstention Ability of Multi-modal Large Models [55.22048505787125]
  本稿ではUNK-VQAと呼ばれる包括的データセットを提案する。 まず、画像または疑問について意図的に摂動することで、既存のデータを拡大する。 そこで我々は,新たなマルチモーダル大規模モデルのゼロショット性能と少数ショット性能を広範囲に評価した。
  論文  参考訳（メタデータ） (2023-10-17T02:38:09Z)
• ExpertQA: Expert-Curated Questions and Attributed Answers [51.68314045809179]
  我々は,様々な属性と事実の軸に沿って,いくつかの代表システムからの応答を人為的に評価する。 我々は32分野にわたる484人の被験者から専門家による質問を収集し、同じ専門家に自身の質問に対する反応を評価する。 分析の結果は,32分野にまたがる2177の質問と,回答の検証とクレームの属性を備えた高品質な長文QAデータセットであるExpertQAである。
  論文  参考訳（メタデータ） (2023-09-14T16:54:34Z)
• Collect, Measure, Repeat: Reliability Factors for Responsible AI Data Collection [8.12993269922936]
  AIのデータ収集は責任ある方法で行うべきだと我々は主張する。 本稿では,データ収集をメトリクスの集合でガイドするResponsible AI(RAI)手法を提案する。
  論文  参考訳（メタデータ） (2023-08-22T18:01:27Z)
• Enhancing Human-like Multi-Modal Reasoning: A New Challenging Dataset and Comprehensive Framework [51.44863255495668]
  マルチモーダル推論は、人間のような知性を示す人工知能システムの追求において重要な要素である。 提案するマルチモーダル推論(COCO-MMR)データセットは,オープンエンド質問の集合を包含する新しいデータセットである。 画像とテキストエンコーダを強化するために,マルチホップ・クロスモーダル・アテンションや文レベルのコントラスト学習などの革新的な手法を提案する。
  論文  参考訳（メタデータ） (2023-07-24T08:58:25Z)
• CLIMATE-FEVER: A Dataset for Verification of Real-World Climate Claims [4.574830585715129]
  気候変動関連クレームを検証するための新しいデータセットであるCLIMATE-FEVERを紹介する。 人工的に設計されたクレームの最大のデータセットであるFEVER [1]の方法論を,インターネットから収集した実生活クレームに適用する。 我々は、textscfeverフレームワーク内での現実世界の気候関連クレームをモデル化する、驚くべき、微妙な複雑さについて論じる。
  論文  参考訳（メタデータ） (2020-12-01T16:32:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。