論文の概要: Exploring new Approaches for Information Retrieval through Natural Language Processing
- arxiv url: http://arxiv.org/abs/2505.02199v1
- Date: Sun, 04 May 2025 17:37:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-06 18:49:35.481141
- Title: Exploring new Approaches for Information Retrieval through Natural Language Processing
- Title(参考訳): 自然言語処理による情報検索の新しいアプローチ
- Authors: Manak Raj, Nidhi Mishra,
- Abstract要約: 本稿では、自然言語処理(NLP)に応用された情報検索(IR)の最近の進歩と新しいアプローチについて述べる。
本稿では, ブール, ベクトル空間, 確率, 推論ネットワークモデルなどの従来のIRモデルについて検討し, 深層学習, 強化学習, BERTのような事前学習型トランスフォーマーモデルなど, 最新の技術を強調した。
スパース, 密度, ハイブリッド検索法の比較分析を行い, ウェブ検索エンジン, 言語間IR, 引数マイニング, プライベート情報検索, ヘイトスピーチ検出への応用について述べる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This review paper explores recent advancements and emerging approaches in Information Retrieval (IR) applied to Natural Language Processing (NLP). We examine traditional IR models such as Boolean, vector space, probabilistic, and inference network models, and highlight modern techniques including deep learning, reinforcement learning, and pretrained transformer models like BERT. We discuss key tools and libraries - Lucene, Anserini, and Pyserini - for efficient text indexing and search. A comparative analysis of sparse, dense, and hybrid retrieval methods is presented, along with applications in web search engines, cross-language IR, argument mining, private information retrieval, and hate speech detection. Finally, we identify open challenges and future research directions to enhance retrieval accuracy, scalability, and ethical considerations.
- Abstract(参考訳): 本稿では、自然言語処理(NLP)に適用された情報検索(IR)の最近の進歩と新しいアプローチについて述べる。
本稿では, ブール, ベクトル空間, 確率, 推論ネットワークモデルなどの従来のIRモデルについて検討し, 深層学習, 強化学習, BERTのような事前学習型トランスフォーマーモデルなど, 最新の技術を強調した。
効率的なテキストインデクシングと検索のための重要なツールやライブラリ、Lucene、Anserini、Pyseriniについて論じる。
スパース, 密度, ハイブリッド検索法の比較分析を行い, ウェブ検索エンジン, 言語間IR, 引数マイニング, プライベート情報検索, ヘイトスピーチ検出への応用について述べる。
最後に,検索精度,拡張性,倫理的考察を高めるために,オープンな課題と今後の研究方向を特定する。
関連論文リスト
- From Web Search towards Agentic Deep Research: Incentivizing Search with Reasoning Agents [96.65646344634524]
推論とエージェント能力を備えた大規模言語モデル(LLM)は、エージェントディープリサーチ(Agenic Deep Research)と呼ばれる新しいパラダイムを取り入れている。
静的なWeb検索から,計画,探索,学習を行う対話型エージェントベースのシステムへの進化を辿ります。
我々はエージェントディープリサーチが既存のアプローチを著しく上回るだけでなく、将来の情報探索において支配的なパラダイムになることを実証する。
論文 参考訳(メタデータ) (2025-06-23T17:27:19Z) - Crafting Knowledge: Exploring the Creative Mechanisms of Chat-Based
Search Engines [3.5845457075304368]
本研究の目的は,LLMを利用した検索エンジン,特にBing Chatが応答情報ソースを選択するメカニズムを解明することである。
Bing Chatは読みやすく、形式的に構造化されたコンテンツを好むだけでなく、より低いパープレキシティレベルを示す。
本調査では,RAG技術が引用するWebサイトと従来の検索エンジンの上位のWebサイトとの類似性を比較検討した。
論文 参考訳(メタデータ) (2024-02-29T18:20:37Z) - Utilizing BERT for Information Retrieval: Survey, Applications,
Resources, and Challenges [4.588192657854766]
本調査は、情報検索(IR)にBERTのような事前訓練されたトランスフォーマーエンコーダを適用するアプローチに焦点を当てる。
i) 長文処理, (ii) 意味情報の統合, (iii) 有効性と効率のバランス, (iv) 用語の重み付け予測, (v) クエリ拡張, (vi) 文書拡張の6つの高レベルカテゴリに分類した。
特定のタスクに対して、細かな調整されたBERTエンコーダは依然としてパフォーマンスが良く、デプロイメントコストも低いことが分かりました。
論文 参考訳(メタデータ) (2024-02-18T23:22:40Z) - Navigating the Knowledge Sea: Planet-scale answer retrieval using LLMs [0.0]
情報検索は、技術と技術の継続的な改良によって特徴づけられる。
本稿では,従来の探索手法と解答の新たなパラダイムとのギャップを埋める上で,Large Language Models (LLMs) の役割に焦点を当てる。
論文 参考訳(メタデータ) (2024-02-07T23:39:40Z) - RegaVAE: A Retrieval-Augmented Gaussian Mixture Variational Auto-Encoder
for Language Modeling [79.56442336234221]
可変オートエンコーダ(VAE)に基づく検索拡張言語モデルであるRegaVAEを紹介する。
テキストコーパスを潜在空間にエンコードし、ソースとターゲットの両方のテキストから現在と将来の情報をキャプチャする。
各種データセットに対する実験結果から,テキスト生成品質と幻覚除去の大幅な改善が示された。
論文 参考訳(メタデータ) (2023-10-16T16:42:01Z) - Large Language Models for Information Retrieval: A Survey [58.30439850203101]
情報検索は、項ベースの手法から高度なニューラルモデルとの統合へと進化してきた。
近年の研究では、大規模言語モデル(LLM)を活用してIRシステムの改善が試みられている。
LLMとIRシステムの合流点を探索し、クエリリライト、リトリバー、リランカー、リーダーといった重要な側面を含む。
論文 参考訳(メタデータ) (2023-08-14T12:47:22Z) - Synergistic Interplay between Search and Large Language Models for
Information Retrieval [141.18083677333848]
InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。
InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
論文 参考訳(メタデータ) (2023-05-12T11:58:15Z) - Explainability of Text Processing and Retrieval Methods: A Critical
Survey [1.5320737596132752]
本稿では,自然言語処理と情報検索手法の説明可能性と解釈可能性について概説する。
具体的には、単語埋め込み、シーケンスモデリング、アテンションモジュール、トランスフォーマー、BERT、文書ランキングの説明に応用されたアプローチについて調査する。
論文 参考訳(メタデータ) (2022-12-14T09:25:49Z) - CorpusBrain: Pre-train a Generative Retrieval Model for
Knowledge-Intensive Language Tasks [62.22920673080208]
単一ステップ生成モデルは、検索プロセスを劇的に単純化し、エンドツーエンドで最適化することができる。
我々は、事前学習された生成検索モデルをCorpsBrainと名付け、コーパスに関する全ての情報が、追加のインデックスを構築することなく、そのパラメータにエンコードされる。
論文 参考訳(メタデータ) (2022-08-16T10:22:49Z) - A New Neural Search and Insights Platform for Navigating and Organizing
AI Research [56.65232007953311]
我々は、古典的なキーワード検索とニューラル検索を組み合わせた新しいプラットフォームであるAI Research Navigatorを導入し、関連する文献を発見し整理する。
本稿では,システム全体のアーキテクチャの概要と,文書分析,質問応答,検索,分析,専門家検索,レコメンデーションの構成要素について概説する。
論文 参考訳(メタデータ) (2020-10-30T19:12:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。