論文の概要: If the Sources Could Talk: Evaluating Large Language Models for Research
Assistance in History
- arxiv url: http://arxiv.org/abs/2310.10808v1
- Date: Mon, 16 Oct 2023 20:12:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-18 18:56:15.451722
- Title: If the Sources Could Talk: Evaluating Large Language Models for Research
Assistance in History
- Title(参考訳): 情報源が語るなら:歴史研究支援のための大規模言語モデルの評価
- Authors: Giselle Gonzalez Garcia, Christian Weilbach
- Abstract要約: 高度に専門化された学術資料からのベクトル埋め込みによる大規模言語モデルの拡大により,人文科学の歴史家や他の研究者が会話の方法論を利用できることを示す。
メタデータや全文検索など,デジタルカタログの確立された検索インタフェースと比較して,2種類のタスクのパフォーマンスに対して,LLMのよりリッチな会話スタイルを評価する。
- 参考スコア(独自算出の注目度): 1.3325600043256554
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: The recent advent of powerful Large-Language Models (LLM) provides a new
conversational form of inquiry into historical memory (or, training data, in
this case). We show that by augmenting such LLMs with vector embeddings from
highly specialized academic sources, a conversational methodology can be made
accessible to historians and other researchers in the Humanities. Concretely,
we evaluate and demonstrate how LLMs have the ability of assisting researchers
while they examine a customized corpora of different types of documents,
including, but not exclusive to: (1). primary sources, (2). secondary sources
written by experts, and (3). the combination of these two. Compared to
established search interfaces for digital catalogues, such as metadata and
full-text search, we evaluate the richer conversational style of LLMs on the
performance of two main types of tasks: (1). question-answering, and (2).
extraction and organization of data. We demonstrate that LLMs semantic
retrieval and reasoning abilities on problem-specific tasks can be applied to
large textual archives that have not been part of the its training data.
Therefore, LLMs can be augmented with sources relevant to specific research
projects, and can be queried privately by researchers.
- Abstract(参考訳): 近年の強力なLarge-Language Models (LLM) の出現は、歴史記憶(この場合、トレーニングデータ)に関する新たな会話形式の調査を提供する。
高度に専門化された学術資料からベクター埋め込みによるLSMの強化により,人文科学史家や他の研究者が会話の方法論を利用できることを示す。
具体的には, llm が研究者を支援する能力を評価, 実証し, (1) に限らず, 様々な種類の文書をカスタマイズしたコーパスについて検討した。
主な資料は(2)。
専門家による二次資料,(3)
これら2つの組み合わせです
メタデータや全文検索などのデジタルカタログの確立された検索インタフェースと比較し,2つの主なタスクの性能について,よりリッチな会話スタイルのllmを評価した。
question-anwering と (2)
データの抽出と整理です
本稿では,問題特定タスクにおけるllmsの意味検索と推論能力が,そのトレーニングデータの一部ではない大規模テキストアーカイブに適用可能であることを実証する。
したがって、LSMは特定の研究プロジェクトに関連するソースで拡張することができ、研究者によってプライベートにクエリすることができる。
関連論文リスト
- Cross-Data Knowledge Graph Construction for LLM-enabled Educational Question-Answering System: A~Case~Study~at~HCMUT [2.8000537365271367]
大規模言語モデル(LLM)は活発な研究トピックとして現れている。
LLMはイベントの記憶、新しい情報の導入、ドメイン固有の問題や幻覚への対処において課題に直面している。
本稿では,複数のデータソースから知識グラフを自動的に構築する手法を提案する。
論文 参考訳(メタデータ) (2024-04-14T16:34:31Z) - Harnessing Multi-Role Capabilities of Large Language Models for
Open-Domain Question Answering [40.2758450304531]
オープンドメイン質問応答 (ODQA) は情報システムにおいて重要な研究スポットライトとなっている。
本稿では,ODQA処理をクエリ拡張,文書選択,回答生成という3つの基本ステップに定式化するフレームワークを提案する。
我々は,ロールプレイングプロンプトを洗練するための新しいプロンプト最適化アルゴリズムを導入し,高品質なエビデンスと回答を生成する。
論文 参考訳(メタデータ) (2024-03-08T11:09:13Z) - UFO: a Unified and Flexible Framework for Evaluating Factuality of Large
Language Models [73.73303148524398]
大規模言語モデル(LLM)は、人間の知識との整合性に欠けるテキストを生成し、事実的不正確さやテキスト・ハロシン化をもたらす。
プラグアンドプレイのファクトソースに対する事実を検証するための,LLMに基づく統一的かつ柔軟な評価フレームワークである textttUFO を提案する。
論文 参考訳(メタデータ) (2024-02-22T16:45:32Z) - Quantitative knowledge retrieval from large language models [4.155711233354597]
大規模言語モデル(LLM)は、説得力のある自然言語配列を生成する能力について広く研究されている。
本稿では,データ解析作業を支援するための定量的知識検索のメカニズムとして,LLMの実現可能性について検討する。
論文 参考訳(メタデータ) (2024-02-12T16:32:37Z) - Generative Multi-Modal Knowledge Retrieval with Large Language Models [75.70313858231833]
マルチモーダル知識検索のための革新的なエンドツーエンド生成フレームワークを提案する。
我々のフレームワークは,大規模言語モデル(LLM)が仮想知識ベースとして効果的に機能するという事実を生かしている。
強いベースラインと比較すると,すべての評価指標に対して3.0%から14.6%の大幅な改善が見られた。
論文 参考訳(メタデータ) (2024-01-16T08:44:29Z) - Exploring the Potential of Large Language Models in Computational Argumentation [54.85665903448207]
計算的議論に関する研究は、主に議論マイニングと議論生成の2つのタイプのタスクを含む。
大規模言語モデルは、文脈を理解し、自然言語を生成する強力な能力を示している。
既存のタスクを6つの主要なカテゴリに分類し、14のオープンソースデータセットのフォーマットを標準化します。
さらに,LLMのエンドツーエンド性能を総合的に評価することを目的とした,対向音声生成のための新しいベンチマークデータセットを提案する。
論文 参考訳(メタデータ) (2023-11-15T15:12:15Z) - DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain
Question Answering over Knowledge Base and Text [73.68051228972024]
大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。
検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
論文 参考訳(メタデータ) (2023-10-31T04:37:57Z) - Towards an Understanding of Large Language Models in Software
Engineering Tasks [32.09925582943177]
大規模言語モデル(LLM)は、テキスト生成や推論といったタスクにおける驚くべき性能のために、広く注目され、研究されている。
本論文は, LLMとソフトウェア工学を組み合わせた研究・製品について, 総合的に調査し, 検討した最初の論文である。
我々は7つの主流データベースから関連文献を広範囲に収集し、分析のために123の論文を選択した。
論文 参考訳(メタデータ) (2023-08-22T12:37:29Z) - Synergistic Interplay between Search and Large Language Models for
Information Retrieval [141.18083677333848]
InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。
InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
論文 参考訳(メタデータ) (2023-05-12T11:58:15Z) - AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。
本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。
我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
論文 参考訳(メタデータ) (2023-03-29T17:03:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。