論文の概要: A Proposed Large Language Model-Based Smart Search for Archive System
- arxiv url: http://arxiv.org/abs/2501.07024v1
- Date: Mon, 13 Jan 2025 02:53:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-14 21:19:24.958197
- Title: A Proposed Large Language Model-Based Smart Search for Archive System
- Title(参考訳): 大規模言語モデルに基づくアーカイブシステムのためのスマート検索の提案
- Authors: Ha Dung Nguyen, Thi-Hoang Anh Nguyen, Thanh Binh Nguyen,
- Abstract要約: 本研究では,デジタルアーカイブシステムにおけるスマート検索のための新しいフレームワークを提案する。
Retrieval-Augmented Generation (RAG) アプローチを用いることで、自然言語クエリの処理を可能にする。
本稿では,システムのアーキテクチャと実装について述べるとともに,その性能を4つの実験で評価する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This study presents a novel framework for smart search in digital archival systems, leveraging the capabilities of Large Language Models (LLMs) to enhance information retrieval. By employing a Retrieval-Augmented Generation (RAG) approach, the framework enables the processing of natural language queries and transforming non-textual data into meaningful textual representations. The system integrates advanced metadata generation techniques, a hybrid retrieval mechanism, a router query engine, and robust response synthesis, the results proved search precision and relevance. We present the architecture and implementation of the system and evaluate its performance in four experiments concerning LLM efficiency, hybrid retrieval optimizations, multilingual query handling, and the impacts of individual components. Obtained results show significant improvements over conventional approaches and have demonstrated the potential of AI-powered systems to transform modern archival practices.
- Abstract(参考訳): 本研究は,Large Language Models (LLMs) の機能を活用して,デジタルアーカイブシステムにおけるスマート検索のための新しいフレームワークを提案する。
Retrieval-Augmented Generation (RAG) アプローチを用いることで、自然言語クエリの処理を可能にし、非テキストデータを意味のあるテキスト表現に変換する。
このシステムは,高度なメタデータ生成技術,ハイブリッド検索機構,ルータクエリエンジン,ロバスト応答合成を統合し,検索精度と妥当性を実証した。
本稿では,LLM効率,ハイブリッド検索最適化,多言語クエリ処理,各コンポーネントの影響に関する4つの実験において,システムのアーキテクチャと実装について述べる。
得られた結果は、従来のアプローチよりも大幅に改善され、現代の考古学的プラクティスを変革するためのAI駆動システムの可能性を示している。
関連論文リスト
- Context-Guided Dynamic Retrieval for Improving Generation Quality in RAG Models [2.9687381456164004]
意味理解と知識スケジューリングの効率化を図るための状態認識型動的知識検索機構を提案する。
提案した構造は, GPT-4, GPT-4o, DeepSeek など,様々な大規模モデルで徹底的に評価されている。
このアプローチはまた、意味的あいまいさとマルチドキュメント融合を含むタスクにおいて、強い堅牢性と生成一貫性を示す。
論文 参考訳(メタデータ) (2025-04-28T02:50:45Z) - Simplifying Data Integration: SLM-Driven Systems for Unified Semantic Queries Across Heterogeneous Databases [0.0]
本稿では,Small Language Model(SLM)をベースとした,軽量な検索・拡張生成(RAG)とセマンティック・アウェアなデータ構造化の進歩を相乗化するシステムを提案する。
SLMを用いた構造化データ抽出にMiniRAGのセマンティック・アウェア・ヘテロジニアス・グラフインデックスとトポロジ・エンハンス・検索を統合し,従来の手法の限界に対処する。
実験結果は精度と効率性において優れた性能を示し、教師なし評価指標としてのセマンティックエントロピーの導入はモデルの不確実性に対する堅牢な洞察を提供する。
論文 参考訳(メタデータ) (2025-04-08T03:28:03Z) - RALLRec: Improving Retrieval Augmented Large Language Model Recommendation with Representation Learning [24.28601381739682]
大規模言語モデル (LLM) は、ユーザの振る舞いを理解するためのレコメンデーションシステムに統合されている。
既存のRAGメソッドは主にテキストのセマンティクスに依存しており、しばしば最も関連性の高い項目を組み込むことができない。
検索強化大言語モデル推薦(RALLRec)のための表現学習を提案する。
論文 参考訳(メタデータ) (2025-02-10T02:15:12Z) - Enhancing Retrieval-Augmented Generation: A Study of Best Practices [16.246719783032436]
我々は,クエリ拡張,新しい検索戦略,新しいコントラシティブ・インコンテクスト学習RAGを取り入れた高度なRAGシステム設計を開発する。
本研究は,言語モデルのサイズ,プロンプトデザイン,文書チャンクサイズ,知識ベースサイズ,検索ストライド,クエリ拡張手法,文レベルでのコンテキスト検索など,重要な要素を体系的に検討する。
本研究は,RAGシステムの開発に有効な知見を提供し,文脈的豊かさと検索・生成効率のバランスを図った。
論文 参考訳(メタデータ) (2025-01-13T15:07:55Z) - WeKnow-RAG: An Adaptive Approach for Retrieval-Augmented Generation Integrating Web Search and Knowledge Graphs [10.380692079063467]
本稿では,Web検索と知識グラフを統合したWeKnow-RAGを提案する。
まず,知識グラフの構造化表現と高次ベクトル検索の柔軟性を組み合わせることで,LLM応答の精度と信頼性を向上させる。
提案手法は,情報検索の効率と精度を効果的にバランスさせ,全体の検索プロセスを改善する。
論文 参考訳(メタデータ) (2024-08-14T15:19:16Z) - Retrieval-Enhanced Machine Learning: Synthesis and Opportunities [60.34182805429511]
検索エンハンスメントは機械学習(ML)の幅広い範囲に拡張できる
この研究は、MLの様々な領域の文献を、現在の文献から欠落している一貫した表記で合成することで、このパラダイムの正式なフレームワークであるRetrieval-Enhanced Machine Learning (REML)を導入する。
本研究の目的は、様々な分野の研究者に対して、検索強化モデルの包括的、正式に構造化された枠組みを付与し、学際的な将来の研究を促進することである。
論文 参考訳(メタデータ) (2024-07-17T20:01:21Z) - Engineering Conversational Search Systems: A Review of Applications, Architectures, and Functional Components [4.262342157729123]
本研究では,対話型検索システムの理論的研究と技術的実装の関連について検討する。
階層型アーキテクチャフレームワークを提案し,対話型検索システムの中核機能について説明する。
我々は,大規模言語モデルの急速な進歩を踏まえ,その能力,限界,今後の研究の方向性について考察する。
論文 参考訳(メタデータ) (2024-07-01T06:24:11Z) - ACE: A Generative Cross-Modal Retrieval Framework with Coarse-To-Fine Semantic Modeling [53.97609687516371]
我々は、エンドツーエンドのクロスモーダル検索のための先駆的なジェネリッククロスモーダル rEtrieval framework (ACE) を提案する。
ACEは、クロスモーダル検索における最先端のパフォーマンスを達成し、Recall@1の強いベースラインを平均15.27%上回る。
論文 参考訳(メタデータ) (2024-06-25T12:47:04Z) - Leveraging Large Language Models for Semantic Query Processing in a Scholarly Knowledge Graph [1.7418328181959968]
本研究は,革新的なセマンティッククエリ処理システムを開発することを目的としている。
オーストラリア国立大学のコンピュータサイエンス(CS)研究者による研究成果に関する総合的な情報を得ることができる。
論文 参考訳(メタデータ) (2024-05-24T09:19:45Z) - Comparative Analysis of Retrieval Systems in the Real World [0.0]
本研究の目的は,その性能を精度と効率の観点から評価・比較することである。
この分析では、Azure Cognitive Search RetrieverとGPT-4、PineconeのCanopyフレームワーク、LangchainとPineconeのさまざまな言語モデルなど、さまざまなテクノロジの組み合わせについて検討している。
この分析の動機は、様々な領域における堅牢で応答性の高い質問応答システムに対する需要の増加から生じる。
論文 参考訳(メタデータ) (2024-05-03T12:30:01Z) - Self-Retrieval: End-to-End Information Retrieval with One Large Language Model [97.71181484082663]
本稿では,新たなLLM駆動情報検索アーキテクチャであるSelf-Retrievalを紹介する。
自己検索は、自己教師付き学習を通じて検索コーパスを内部化し、検索プロセスをシーケンシャルな通過生成に変換し、再ランク付けのための関連性評価を行う。
論文 参考訳(メタデータ) (2024-02-23T18:45:35Z) - Large Search Model: Redefining Search Stack in the Era of LLMs [63.503320030117145]
我々は,1つの大言語モデル(LLM)で検索タスクを統一することにより,従来の検索スタックを再定義する,大規模検索モデルと呼ばれる新しい概念的フレームワークを導入する。
全てのタスクは自動回帰テキスト生成問題として定式化され、自然言語のプロンプトを使ってタスクをカスタマイズできる。
提案フレームワークは,LLMの強力な言語理解と推論能力を活用し,既存の検索スタックを簡素化しつつ,検索結果の質を向上させる能力を提供する。
論文 参考訳(メタデータ) (2023-10-23T05:52:09Z) - Large Language Models for Information Retrieval: A Survey [58.30439850203101]
情報検索は、項ベースの手法から高度なニューラルモデルとの統合へと進化してきた。
近年の研究では、大規模言語モデル(LLM)を活用してIRシステムの改善が試みられている。
LLMとIRシステムの合流点を探索し、クエリリライト、リトリバー、リランカー、リーダーといった重要な側面を含む。
論文 参考訳(メタデータ) (2023-08-14T12:47:22Z) - Enhancing Retrieval-Augmented Large Language Models with Iterative
Retrieval-Generation Synergy [164.83371924650294]
検索と生成を反復的に同期させるIter-RetGenと呼ばれる手法により,高い性能が得られることを示す。
モデル出力は、タスクを完了するために必要なものを示し、より関連する知識を取得するための情報的コンテキストを提供する。
Iter-RetGenプロセスは、すべての知識を全体として取得し、構造的な制約なしに生成時の柔軟性をほとんど保持します。
論文 参考訳(メタデータ) (2023-05-24T16:17:36Z) - Synergistic Interplay between Search and Large Language Models for
Information Retrieval [141.18083677333848]
InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。
InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
論文 参考訳(メタデータ) (2023-05-12T11:58:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。