論文の概要: If the Sources Could Talk: Evaluating Large Language Models for Research Assistance in History

• arxiv url: http://arxiv.org/abs/2310.10808v1
• Date: Mon, 16 Oct 2023 20:12:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-18 18:56:15.451722
• Title: If the Sources Could Talk: Evaluating Large Language Models for Research Assistance in History
• Title（参考訳）: 情報源が語るなら:歴史研究支援のための大規模言語モデルの評価
• Authors: Giselle Gonzalez Garcia, Christian Weilbach
• Abstract要約: 高度に専門化された学術資料からのベクトル埋め込みによる大規模言語モデルの拡大により,人文科学の歴史家や他の研究者が会話の方法論を利用できることを示す。 メタデータや全文検索など,デジタルカタログの確立された検索インタフェースと比較して,2種類のタスクのパフォーマンスに対して,LLMのよりリッチな会話スタイルを評価する。
• 参考スコア（独自算出の注目度）: 1.3325600043256554
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The recent advent of powerful Large-Language Models (LLM) provides a new conversational form of inquiry into historical memory (or, training data, in this case). We show that by augmenting such LLMs with vector embeddings from highly specialized academic sources, a conversational methodology can be made accessible to historians and other researchers in the Humanities. Concretely, we evaluate and demonstrate how LLMs have the ability of assisting researchers while they examine a customized corpora of different types of documents, including, but not exclusive to: (1). primary sources, (2). secondary sources written by experts, and (3). the combination of these two. Compared to established search interfaces for digital catalogues, such as metadata and full-text search, we evaluate the richer conversational style of LLMs on the performance of two main types of tasks: (1). question-answering, and (2). extraction and organization of data. We demonstrate that LLMs semantic retrieval and reasoning abilities on problem-specific tasks can be applied to large textual archives that have not been part of the its training data. Therefore, LLMs can be augmented with sources relevant to specific research projects, and can be queried privately by researchers.
• Abstract（参考訳）: 近年の強力なLarge-Language Models (LLM) の出現は、歴史記憶(この場合、トレーニングデータ)に関する新たな会話形式の調査を提供する。 高度に専門化された学術資料からベクター埋め込みによるLSMの強化により,人文科学史家や他の研究者が会話の方法論を利用できることを示す。 具体的には, llm が研究者を支援する能力を評価, 実証し, (1) に限らず, 様々な種類の文書をカスタマイズしたコーパスについて検討した。 主な資料は(2)。 専門家による二次資料,(3) これら2つの組み合わせです メタデータや全文検索などのデジタルカタログの確立された検索インタフェースと比較し,2つの主なタスクの性能について,よりリッチな会話スタイルのllmを評価した。 question-anwering と (2) データの抽出と整理です 本稿では,問題特定タスクにおけるllmsの意味検索と推論能力が,そのトレーニングデータの一部ではない大規模テキストアーカイブに適用可能であることを実証する。 したがって、LSMは特定の研究プロジェクトに関連するソースで拡張することができ、研究者によってプライベートにクエリすることができる。

関連論文リスト

• What is the Role of Large Language Models in the Evolution of Astronomy Research? [0.0]
  ChatGPTや他の最先端の大規模言語モデル(LLM)は、急速に複数のフィールドを変換している。 これらのモデルは、一般に広大なデータセットに基づいて訓練され、人間のようなテキスト生成能力を示す。
  論文  参考訳（メタデータ） (2024-09-30T12:42:25Z)
• LLMs Assist NLP Researchers: Critique Paper (Meta-)Reviewing [106.45895712717612]
  大規模言語モデル(LLM)は、様々な生成タスクにおいて顕著な汎用性を示している。 本研究は,NLP研究者を支援するLLMの話題に焦点を当てる。 私たちの知る限りでは、このような包括的な分析を提供するのはこれが初めてです。
  論文  参考訳（メタデータ） (2024-06-24T01:30:22Z)
• ResearchArena: Benchmarking LLMs' Ability to Collect and Organize Information as Research Agents [21.17856299966841]
  大規模言語モデル (LLM) は自然言語処理において様々なタスクで顕著な性能を示した。 我々はLLMエージェントが学術調査を行う能力を測定するベンチマーク「ResearchArena」を開発した。
  論文  参考訳（メタデータ） (2024-06-13T03:26:30Z)
• CHIQ: Contextual History Enhancement for Improving Query Rewriting in Conversational Search [67.6104548484555]
  我々は,オープンソースの大規模言語モデル(LLM)の機能を活用して,クエリ書き換え前の会話履歴の曖昧さを解消する2段階の手法であるCHIQを紹介する。 我々は、CHIQがほとんどの設定で最先端の結果をもたらす、よく確立された5つのベンチマークを実証する。
  論文  参考訳（メタデータ） (2024-06-07T15:23:53Z)
• PromptReps: Prompting Large Language Models to Generate Dense and Sparse Representations for Zero-Shot Document Retrieval [76.50690734636477]
  本稿では,PmptRepsを提案する。このPmptRepsは,トレーニングを必要とせず,コーパス全体から検索できる機能である。 検索システムは、高密度テキスト埋め込みとスパースバッグ・オブ・ワード表現の両方を利用する。
  論文  参考訳（メタデータ） (2024-04-29T04:51:30Z)
• Cross-Data Knowledge Graph Construction for LLM-enabled Educational Question-Answering System: A Case Study at HCMUT [2.8000537365271367]
  大規模言語モデル(LLM)は活発な研究トピックとして現れている。 LLMはイベントの記憶、新しい情報の導入、ドメイン固有の問題や幻覚への対処において課題に直面している。 本稿では,複数のデータソースから知識グラフを自動的に構築する手法を提案する。
  論文  参考訳（メタデータ） (2024-04-14T16:34:31Z)
• UFO: a Unified and Flexible Framework for Evaluating Factuality of Large Language Models [73.73303148524398]
  大規模言語モデル(LLM)は、人間の知識との整合性に欠けるテキストを生成し、事実的不正確さやテキスト・ハロシン化をもたらす。 プラグアンドプレイのファクトソースに対する事実を検証するための,LLMに基づく統一的かつ柔軟な評価フレームワークである textttUFO を提案する。
  論文  参考訳（メタデータ） (2024-02-22T16:45:32Z)
• Quantitative knowledge retrieval from large language models [4.155711233354597]
  大規模言語モデル(LLM)は、説得力のある自然言語配列を生成する能力について広く研究されている。 本稿では,データ解析作業を支援するための定量的知識検索のメカニズムとして,LLMの実現可能性について検討する。
  論文  参考訳（メタデータ） (2024-02-12T16:32:37Z)
• Exploring the Potential of Large Language Models in Computational Argumentation [54.85665903448207]
  大規模言語モデル (LLM) は、文脈を理解し、自然言語を生成するという印象的な能力を実証している。 この研究は、ChatGPT、Flanモデル、LLaMA2モデルなどのLLMをゼロショットと少数ショットの両方で評価することを目的としている。
  論文  参考訳（メタデータ） (2023-11-15T15:12:15Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。