論文の概要: Leveraging Decoder Architectures for Learned Sparse Retrieval

• arxiv url: http://arxiv.org/abs/2504.18151v1
• Date: Fri, 25 Apr 2025 08:04:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:53.689492
• Title: Leveraging Decoder Architectures for Learned Sparse Retrieval
• Title（参考訳）: 学習したスパース検索のためのデコーダアーキテクチャの活用
• Authors: Jingfen Qiao, Thong Nguyen, Evangelos Kanoulas, Andrew Yates,
• Abstract要約: Learned Sparse Retrieval (LSR) は従来,エンコーダのみの小型トランスアーキテクチャに重点を置いてきた。 本研究では,異なるトランスアーキテクチャにおけるLSRの有効性について検討した。
• 参考スコア（独自算出の注目度）: 26.483483554222012
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learned Sparse Retrieval (LSR) has traditionally focused on small-scale encoder-only transformer architectures. With the advent of large-scale pre-trained language models, their capability to generate sparse representations for retrieval tasks across different transformer-based architectures, including encoder-only, decoder-only, and encoder-decoder models, remains largely unexplored. This study investigates the effectiveness of LSR across these architectures, exploring various sparse representation heads and model scales. Our results highlight the limitations of using large language models to create effective sparse representations in zero-shot settings, identifying challenges such as inappropriate term expansions and reduced performance due to the lack of expansion. We find that the encoder-decoder architecture with multi-tokens decoding approach achieves the best performance among the three backbones. While the decoder-only model performs worse than the encoder-only model, it demonstrates the potential to outperform when scaled to a high number of parameters.
• Abstract（参考訳）: Learned Sparse Retrieval (LSR) は従来,エンコーダのみの小型トランスアーキテクチャに重点を置いてきた。 大規模な事前訓練型言語モデルの出現に伴い、エンコーダのみ、デコーダのみ、エンコーダのみ、およびデコーダモデルを含む、さまざまなトランスフォーマーベースのアーキテクチャで検索タスクのスパース表現を生成する能力は、いまだほとんど探索されていない。 本研究では、これらのアーキテクチャにおけるLSRの有効性について検討し、様々なスパース表現ヘッドとモデルスケールを探索する。 本研究は,ゼロショット設定において,大規模言語モデルを用いて効果的なスパース表現を作成することの限界を強調し,不適切な項展開や拡張の欠如による性能低下といった課題を特定する。 マルチトークン復号方式を用いたエンコーダデコーダアーキテクチャは,3つのバックボーンの中で最高の性能を実現する。 デコーダのみのモデルはエンコーダのみのモデルよりも性能が劣るが、多数のパラメータにスケールすると性能が向上する可能性が示されている。

関連論文リスト

• Adapting Decoder-Based Language Models for Diverse Encoder Downstream Tasks [24.674661807982865]
  Gemmaを導入し、強力なデコーダモデルをエンコーダアーキテクチャに適用する。 復号器から復号器への適応を最適化するために,様々なプーリング戦略を解析する。 GLUEベンチマークとMS MARCOベンチマークの確立したアプローチに対してGemmaをベンチマークする。
  論文  参考訳（メタデータ） (2025-03-04T14:17:00Z)
• Decoder-Only LLMs are Better Controllers for Diffusion Models [63.22040456010123]
  本稿では,大規模言語モデルから意味理解の強みを借りて,テキストから画像への拡散モデルを強化することを提案する。 我々のアダプタモジュールは、テキストから画像への生成品質と信頼性の観点から、最先端のモデルよりも優れている。
  論文  参考訳（メタデータ） (2025-02-06T12:17:35Z)
• Return of the Encoder: Maximizing Parameter Efficiency for SLMs [4.246337121596753]
  encoder-decoderアーキテクチャは、エッジデバイスのデコーダのみのモデルと比較して、47%のレイテンシと4.7倍のスループットを実現している。 本稿では,エンコーダ・デコーダモデルを用いた,大規模でスケーラブルなデコーダのみの教師の能力を活用した新しい知識蒸留フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-01-27T18:06:36Z)
• Towards smaller, faster decoder-only transformers: Architectural variants and their implications [0.0]
  本稿では,デコーダのみのトランスアーキテクチャであるParallelGPT,LinearGPT,ConvGPTの3つの改良点を紹介する。 これらのバリエーションは、言語生成における従来のアーキテクチャと同等のパフォーマンスを示すが、モデルのサイズを縮小し、より高速なトレーニングプロセスの恩恵を受ける。
  論文  参考訳（メタデータ） (2024-04-22T06:19:46Z)
• Extreme Encoder Output Frame Rate Reduction: Improving Computational Latencies of Large End-to-End Models [59.57732929473519]
  エンコーダに複数のフレーム削減層を適用し,少数の出力フレームにエンコーダ出力を圧縮する。 入力音声の2.56秒毎に1つのエンコーダ出力フレームを生成できることを示す。
  論文  参考訳（メタデータ） (2024-02-27T03:40:44Z)
• NASH: A Simple Unified Framework of Structured Pruning for Accelerating Encoder-Decoder Language Models [29.468888611690346]
  本稿では、エンコーダを狭め、エンコーダ-デコーダモデルのデコーダネットワークを短縮する、シンプルで効果的なフレームワークNASHを提案する。 その結果,(1)デコーダの層数が推論速度の主要因であること,(2)プルーンドエンコーダネットワークの低間隔性が生成品質を向上させること,の2つの知見が明らかになった。
  論文  参考訳（メタデータ） (2023-10-16T04:27:36Z)
• Decoder-Only or Encoder-Decoder? Interpreting Language Model as a Regularized Encoder-Decoder [75.03283861464365]
  seq2seqタスクは、与えられた入力ソースシーケンスに基づいてターゲットシーケンスを生成することを目的としている。 伝統的に、seq2seqタスクのほとんどはエンコーダによって解決され、ソースシーケンスとデコーダをエンコードしてターゲットテキストを生成する。 最近、デコーダのみの言語モデルをseq2seqタスクに直接適用する、多くの新しいアプローチが出現しました。
  論文  参考訳（メタデータ） (2023-04-08T15:44:29Z)
• FusionCount: Efficient Crowd Counting via Multiscale Feature Fusion [36.15554768378944]
  本稿では,新しい群集カウントアーキテクチャ(FusionCount)を提案する。 マルチスケールな特徴を得るために、追加の抽出コンポーネントに頼るのではなく、ほとんどのエンコードされた特徴の適応的な融合を利用する。 2つのベンチマークデータベースの実験により、我々のモデルは計算の複雑さを減らして最先端の結果が得られることを示した。
  論文  参考訳（メタデータ） (2022-02-28T10:04:07Z)
• Dynamic Neural Representational Decoders for High-Resolution Semantic Segmentation [98.05643473345474]
  動的ニューラル表現デコーダ(NRD)と呼ばれる新しいデコーダを提案する。 エンコーダの出力上の各位置がセマンティックラベルの局所的なパッチに対応するので、この研究では、これらの局所的なパッチをコンパクトなニューラルネットワークで表現する。 このニューラル表現により、意味ラベル空間に先行する滑らかさを活用することができ、デコーダをより効率的にすることができる。
  論文  参考訳（メタデータ） (2021-07-30T04:50:56Z)
• Beyond Single Stage Encoder-Decoder Networks: Deep Decoders for Semantic Image Segmentation [56.44853893149365]
  セマンティックセグメンテーションのための単一エンコーダ-デコーダ手法は、セマンティックセグメンテーションの品質とレイヤー数あたりの効率の観点からピークに達している。 そこで本研究では,より多くの情報コンテンツを取得するために,浅層ネットワークの集合を用いたデコーダに基づく新しいアーキテクチャを提案する。 アーキテクチャをさらに改善するために,ネットワークの注目度を高めるために,クラスの再バランスを目的とした重み関数を導入する。
  論文  参考訳（メタデータ） (2020-07-19T18:44:34Z)
• Rethinking and Improving Natural Language Generation with Layer-Wise Multi-View Decoding [59.48857453699463]
  シーケンシャル・ツー・シーケンス学習では、デコーダは注意機構に依存してエンコーダから情報を効率的に抽出する。 近年の研究では、異なるエンコーダ層からの表現を多様なレベルの情報に利用することが提案されている。 本稿では, 各デコーダ層に対して, グローバルビューとして機能する最後のエンコーダ層からの表現とともに, ソースシーケンスの立体視のために他のエンコーダ層からのデコーダ層からのデコーダ層を補足するレイヤワイド・マルチビューデコーダを提案する。
  論文  参考訳（メタデータ） (2020-05-16T20:00:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。