論文の概要: A Survey of Model Architectures in Information Retrieval

• arxiv url: http://arxiv.org/abs/2502.14822v2
• Date: Tue, 26 Aug 2025 23:10:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-28 14:51:02.918861
• Title: A Survey of Model Architectures in Information Retrieval
• Title（参考訳）: 情報検索におけるモデルアーキテクチャの検討
• Authors: Zhichao Xu, Fengran Mo, Zhiqi Huang, Crystina Zhang, Puxuan Yu, Bei Wang, Jimmy Lin, Vivek Srikumar,
• Abstract要約: 2019年から現在までの期間は、情報検索(IR)と自然言語処理(NLP)における最大のパラダイムシフトの1つとなっている。 従来の用語ベースの手法から現代のニューラルアプローチまで,特にトランスフォーマーベースのモデルとそれに続く大規模言語モデル(LLM)の影響が注目されている。 今後の課題と今後の方向性について、先見的な議論で締めくくります。
• 参考スコア（独自算出の注目度）: 59.61734783818073
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The period from 2019 to the present has represented one of the biggest paradigm shifts in information retrieval (IR) and natural language processing (NLP), culminating in the emergence of powerful large language models (LLMs) from 2022 onward. Methods leveraging pretrained encoder-only models (e.g., BERT) and LLMs have outperformed many previous approaches, particularly excelling in zero-shot scenarios and complex reasoning tasks. This work surveys the evolution of model architectures in IR, focusing on two key aspects: backbone models for feature extraction and end-to-end system architectures for relevance estimation. The review intentionally separates architectural considerations from training methodologies to provide a focused analysis of structural innovations in IR systems. We trace the development from traditional term-based methods to modern neural approaches, particularly highlighting the impact of transformer-based models and subsequent large language models (LLMs). We conclude with a forward-looking discussion of emerging challenges and future directions, including architectural optimizations for performance and scalability, handling of multimodal, multilingual data, and adaptation to novel application domains such as autonomous search agents that is beyond traditional search paradigms.
• Abstract（参考訳）: 2019年から現在までの期間は、情報検索(IR)と自然言語処理(NLP)における最大のパラダイムシフトの1つであり、2022年以降の強力な大規模言語モデル(LLM)の出現を決定づけている。 事前訓練されたエンコーダのみのモデル(例えばBERT)とLLMの手法は、特にゼロショットシナリオや複雑な推論タスクにおいて、多くの従来の手法よりも優れている。 本研究は、IRにおけるモデルアーキテクチャの進化を調査し、特徴抽出のためのバックボーンモデルと妥当性推定のためのエンドツーエンドシステムアーキテクチャの2つの重要な側面に焦点を当てた。 このレビューは、IRシステムにおける構造的革新の集中分析を提供するために、アーキテクチャ的考察とトレーニング方法論を意図的に分離する。 従来の用語ベースの手法から現代のニューラルアプローチまで,特にトランスフォーマーベースのモデルとそれに続く大規模言語モデル(LLM)の影響が注目されている。 我々は、パフォーマンスとスケーラビリティのアーキテクチャ最適化、マルチモーダル、多言語データの処理、従来の検索パラダイムを超えた自律検索エージェントのような新しいアプリケーションドメインへの適応など、新たな課題と今後の方向性について、先見的な議論をまとめて締めくくる。

関連論文リスト

• AutoMerge: Search-Based Model Merging Framework for Effective Model Reuse [8.950520457150178]
  近年,大規模言語モデル (LLM) の分野において,学習自由なアプローチとしてモデルマージが出現している。 このようなアプローチが他のディープラーニングモデルに効果的に適用できるかどうかを体系的に検討する以前の研究はない。 3つの異なるモデルアーキテクチャ上で5つのモデルマージ手法を評価する。
  論文  参考訳（メタデータ） (2026-01-30T09:27:01Z)
• The Evolution of Reranking Models in Information Retrieval: From Heuristic Methods to Large Language Models [0.0]
  リランクは情報検索システムにおいて重要な段階であり、ユーザが提示した最終結果の関連性を改善している。 本論文は,リランカーの景観変化を概観するガイドであり,リグレード手法の進歩を概観するものである。
  論文  参考訳（メタデータ） (2025-12-18T06:29:37Z)
• A Survey on Generative Recommendation: Data, Model, and Tasks [55.36322811257545]
  ジェネレーティブ・レコメンデーションは、差別的なスコアではなく、世代としてのレコメンデーションを再認識する。 この調査は、データ、モデル、タスク次元にまたがる統合された三部構成のフレームワークを通じて包括的な調査を提供する。 世界知識の統合、自然言語理解、推論能力、スケーリング法則、創造的生成の5つの主要な利点を特定します。
  論文  参考訳（メタデータ） (2025-10-31T04:02:58Z)
• Speed Always Wins: A Survey on Efficient Architectures for Large Language Models [51.817121227562964]
  大規模言語モデル(LLM)は、言語理解、生成、推論、マルチモーダルモデルの能力境界の押し付けにおいて、素晴らしい結果をもたらしている。 トランスフォーマーモデルは、現代のLLMの基礎として、優れたスケーリング特性を備えた強力なベースラインを提供する。 従来のトランスフォーマーアーキテクチャは、相当な計算を必要とし、大規模なトレーニングと実践的なデプロイメントに重大な障害を生じさせる。
  論文  参考訳（メタデータ） (2025-08-13T14:13:46Z)
• Foundation Models and Transformers for Anomaly Detection: A Survey [2.3264194695971656]
  調査では、VADメソッドを再構築ベース、機能ベース、ゼロ/フェーショットアプローチに分類した。 トランスフォーマーとファンデーションモデルは、より堅牢で、解釈可能で、スケーラブルな異常検出ソリューションを可能にする。
  論文  参考訳（メタデータ） (2025-07-21T12:01:04Z)
• Mixture of Experts in Large Language Models [3.1494372222592224]
  MoEアーキテクチャは、最小の計算オーバーヘッドを維持しながら、モデルパフォーマンスを大幅に向上させる。 本分析では,モデルキャパシティの向上,タスク固有性能の向上,モデルキャパシティの効率向上など,MoEの重要なメリットを明らかにした。 このレビューでは、現在の研究の制限、オープンな課題、将来的な方向性について概説し、MoEアーキテクチャとそのアプリケーションにおける継続的なイノベーションの基礎を提供する。
  論文  参考訳（メタデータ） (2025-07-15T10:36:43Z)
• Continual Learning for Generative AI: From LLMs to MLLMs and Beyond [56.29231194002407]
  本稿では,主流生成型AIモデルに対する連続学習手法の総合的な調査を行う。 これらのアプローチをアーキテクチャベース、正規化ベース、リプレイベースという3つのパラダイムに分類する。 我々は、トレーニング目標、ベンチマーク、コアバックボーンを含む、異なる生成モデルに対する連続的な学習設定を分析する。
  論文  参考訳（メタデータ） (2025-06-16T02:27:25Z)
• A Survey on Mechanistic Interpretability for Multi-Modal Foundation Models [74.48084001058672]
  基礎モデルの台頭は機械学習の研究に変化をもたらした。 マルチモーダル・ファンデーション・モデル(MMFM)は、ユニモーダル・フレームワークを超えて、ユニークな解釈可能性の課題を提起する。 本研究は,(1)多モーダルモデルへのLLM解釈可能性法の適応,(2)単モーダル言語モデルとクロスモーダルシステムとの機械的差異の理解の2つの重要な側面について考察する。
  論文  参考訳（メタデータ） (2025-02-22T20:55:26Z)
• Generalized Factor Neural Network Model for High-dimensional Regression [50.554377879576066]
  複素・非線形・雑音に隠れた潜在低次元構造を持つ高次元データセットをモデル化する課題に取り組む。 我々のアプローチは、非パラメトリック回帰、因子モデル、高次元回帰のためのニューラルネットワークの概念のシームレスな統合を可能にする。
  論文  参考訳（メタデータ） (2025-02-16T23:13:55Z)
• Redefining Data-Centric Design: A New Approach with a Domain Model and Core Data Ontology for Computational Systems [2.872069347343959]
  本稿では,新しい情報ドメインモデルを導入することにより,計算システムを設計するための革新的なデータ中心パラダイムを提案する。 提案モデルは従来のノード中心のフレームワークから離れ、オブジェクト、イベント、コンセプト、アクションを組み込んだマルチモーダルアプローチを使用して、データ中心の分類に焦点を当てている。
  論文  参考訳（メタデータ） (2024-09-01T22:34:12Z)
• Vision Foundation Models in Remote Sensing: A Survey [6.036426846159163]
  ファンデーションモデルは、前例のない精度と効率で幅広いタスクを実行することができる大規模で事前訓練されたAIモデルである。 本調査は, 遠隔センシングにおける基礎モデルの開発と応用を継続するために, 進展のパノラマと将来性のある経路を提供することによって, 研究者や実践者の資源として機能することを目的としている。
  論文  参考訳（メタデータ） (2024-08-06T22:39:34Z)
• iNNspector: Visual, Interactive Deep Model Debugging [8.997568393450768]
  本研究では,ディープラーニング実験のデータ空間を構造化する概念的枠組みを提案する。 我々のフレームワークは設計の次元を捉え、このデータを探索可能かつ抽出可能にするためのメカニズムを提案する。 我々は、ディープラーニング実験の追跡を可能にし、データのインタラクティブな可視化を提供するiNNspectorシステムを提案する。
  論文  参考訳（メタデータ） (2024-07-25T12:48:41Z)
• Retrieval-Enhanced Machine Learning: Synthesis and Opportunities [60.34182805429511]
  検索エンハンスメントは機械学習(ML)の幅広い範囲に拡張できる この研究は、MLの様々な領域の文献を、現在の文献から欠落している一貫した表記で合成することで、このパラダイムの正式なフレームワークであるRetrieval-Enhanced Machine Learning (REML)を導入する。 本研究の目的は、様々な分野の研究者に対して、検索強化モデルの包括的、正式に構造化された枠組みを付与し、学際的な将来の研究を促進することである。
  論文  参考訳（メタデータ） (2024-07-17T20:01:21Z)
• Generalist Multimodal AI: A Review of Architectures, Challenges and Opportunities [5.22475289121031]
  マルチモーダルモデルは、人工知能の今後の進歩にとって重要な要素であると期待されている。 この研究は、新しいアーキテクチャと特定の分類学を訓練することで、一般のマルチモーダルモデルに対する新たな視点を提供する。
  論文  参考訳（メタデータ） (2024-06-08T15:30:46Z)
• The Buffer Mechanism for Multi-Step Information Reasoning in Language Models [52.77133661679439]
  大きな言語モデルの内部的推論メカニズムを調べることは、よりよいモデルアーキテクチャとトレーニング戦略を設計するのに役立ちます。 本研究では,トランスフォーマーモデルが垂直思考戦略を採用するメカニズムを解明するために,シンボリックデータセットを構築した。 我々は,GPT-2モデルに必要なトレーニング時間を75%削減し,モデルの推論能力を高めるために,ランダムな行列ベースアルゴリズムを提案した。
  論文  参考訳（メタデータ） (2024-05-24T07:41:26Z)
• Machine learning for structural design models of continuous beam systems via influence zones [3.284878354988896]
  この研究は、逆問題の観点から連続ビームシステムのための機械学習構造設計モデルを開発する。 本研究の目的は,任意のシステムサイズを持つ連続ビームシステムの断面積要求を予測できる非定常構造設計モデルを概念化することである。
  論文  参考訳（メタデータ） (2024-03-14T14:53:18Z)
• ZhiJian: A Unifying and Rapidly Deployable Toolbox for Pre-trained Model Reuse [59.500060790983994]
  本稿では、PyTorchバックエンドを利用して、モデル再利用のための包括的でユーザフレンドリなツールボックスであるZhiJianを紹介する。 ZhiJianは、PTMによるターゲットアーキテクチャ構築、PTMによるターゲットモデルチューニング、およびPTMに基づく推論を含む、モデル再利用に関するさまざまな視点を統一する新しいパラダイムを提示している。
  論文  参考訳（メタデータ） (2023-08-17T19:12:13Z)
• Model-Based Deep Learning [155.063817656602]
  信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。 ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。 私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
  論文  参考訳（メタデータ） (2020-12-15T16:29:49Z)
• Neural Entity Linking: A Survey of Models Based on Deep Learning [82.43751915717225]
  本調査では,2015年以降に開発されたニューラルエンティティリンク(EL)システムの包括的記述について報告する。 その目標は、ニューラルエンティティリンクシステムの設計機能を体系化し、それらのパフォーマンスを一般的なベンチマーク上の注目すべき古典的手法と比較することである。 この調査はエンティティリンクの応用に焦点をあて、最近出現した、深い事前訓練されたマスキング言語モデルを強化するユースケースに焦点を当てている。
  論文  参考訳（メタデータ） (2020-05-31T18:02:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。