論文の概要: An Encoding--Searching Separation Perspective on Bi-Encoder Neural Search

• arxiv url: http://arxiv.org/abs/2408.01094v1
• Date: Fri, 2 Aug 2024 08:13:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-05 14:07:18.075162
• Title: An Encoding--Searching Separation Perspective on Bi-Encoder Neural Search
• Title（参考訳）: バイエンコーダニューラルサーチにおける符号化-探索分離視点
• Authors: Hung-Nghiep Tran, Akiko Aizawa, Atsuhiro Takasu,
• Abstract要約: ビエンコーダアーキテクチャには、見かけのデータセットでの低いパフォーマンスや、新しいデータセットでの弱いゼロショットパフォーマンスなど、いくつかの注目すべき問題がある。 テキストエンコーダアーキテクチャの新しい視点として,テキストエンコーダ(textitencoding--searching separation perspective)を提案する。
• 参考スコア（独自算出の注目度）: 29.318603095752653
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper reviews, analyzes, and proposes a new perspective on the bi-encoder architecture for neural search. While the bi-encoder architecture is widely used due to its simplicity and scalability at test time, it has some notable issues such as low performance on seen datasets and weak zero-shot performance on new datasets. In this paper, we analyze these issues and summarize two main critiques: the encoding information bottleneck problem and limitations of the basic assumption of embedding search. We then construct a thought experiment to logically analyze the encoding and searching operations and challenge the basic assumption of embedding search. Building on these observations, we propose a new perspective on the bi-encoder architecture called the \textit{encoding--searching separation} perspective, which conceptually and practically separates the encoding and searching operations. This new perspective is applied to explain the root cause of the identified issues and discuss ways to mitigate the problems. Finally, we discuss the implications of the ideas underlying the new perspective, the design surface that it exposes and the potential research directions arising from it.
• Abstract（参考訳）: 本稿では,ニューラルサーチのためのバイエンコーダアーキテクチャの新しい視点をレビューし,分析し,提案する。 ビエンコーダアーキテクチャは、テスト時の単純さとスケーラビリティのために広く使用されているが、に見えるデータセットでの低パフォーマンスや、新しいデータセットでの低ゼロショットパフォーマンスなど、いくつかの注目すべき問題がある。 本稿では,これらの問題を解析し,符号化情報ボトルネック問題と組込み検索の基本前提の限界という2つの主要な批判を要約する。 そこで我々は,エンコーディングと探索操作を論理的に解析する思考実験を構築し,埋め込み探索の基本仮定に挑戦する。 これらの観測結果に基づいて,符号化と探索操作を概念的に,実用的に分離する‘textit{encoding-searching separation’ という,バイエンコーダアーキテクチャの新しい視点を提案する。 この新たな視点を適用して、特定された問題の根本原因を説明し、問題を緩和する方法について議論する。 最後に、新しい視点の根底にある概念や、それが露呈する設計面、そこから生じる潜在的研究の方向性について論じる。

関連論文リスト

• Peeling Back the Layers: An In-Depth Evaluation of Encoder Architectures in Neural News Recommenders [2.717314422130497]
  本稿では,ニューラルニュースレコメンデータシステムにおけるエンコーダアーキテクチャの包括的解析を行う。 解析の結果,特定の符号化手法の複雑さは経験的に不適切であることが判明した。
  論文  参考訳（メタデータ） (2024-10-02T12:21:31Z)
• Coding for Intelligence from the Perspective of Category [66.14012258680992]
  符号化の対象はデータの圧縮と再構成、インテリジェンスである。 最近の傾向は、これらの2つの分野の潜在的均一性を示している。 本稿では,カテゴリ理論の観点から,インテリジェンスのためのコーディングの新たな問題を提案する。
  論文  参考訳（メタデータ） (2024-07-01T07:05:44Z)
• Prompt-fused framework for Inductive Logical Query Answering [31.736934787328156]
  本稿では,Pro-QEという問合せ対応のプロンプトフューズフレームワークを提案する。 論理的クエリにおける未知のエンティティの問題に,我々のモデルがうまく対処できることが示される。
  論文  参考訳（メタデータ） (2024-03-19T11:30:30Z)
• A semantically enhanced dual encoder for aspect sentiment triplet extraction [0.7291396653006809]
  アスペクト・センチメント・トリプルト抽出(ASTE)はアスペクト・ベースの感情分析(ABSA)の重要なサブタスクである 従来の研究は、革新的なテーブル充填戦略によるASTEの強化に重点を置いてきた。 本稿では,BERTをベースとした基本エンコーダと,Bi-LSTMネットワークとGCN(Graph Convolutional Network)で構成される特定のエンコーダの両方を利用するフレームワークを提案する。 ベンチマークデータセットを用いた実験により,提案フレームワークの最先端性能を実証した。
  論文  参考訳（メタデータ） (2023-06-14T09:04:14Z)
• Decoder-Only or Encoder-Decoder? Interpreting Language Model as a Regularized Encoder-Decoder [75.03283861464365]
  seq2seqタスクは、与えられた入力ソースシーケンスに基づいてターゲットシーケンスを生成することを目的としている。 伝統的に、seq2seqタスクのほとんどはエンコーダによって解決され、ソースシーケンスとデコーダをエンコードしてターゲットテキストを生成する。 最近、デコーダのみの言語モデルをseq2seqタスクに直接適用する、多くの新しいアプローチが出現しました。
  論文  参考訳（メタデータ） (2023-04-08T15:44:29Z)
• Language Model Decoding as Likelihood-Utility Alignment [54.70547032876017]
  モデルの有効性がタスク固有の実用性の概念とどのように一致しているかについて、暗黙の仮定に基づいて、デコード戦略をグループ化する分類法を導入する。 具体的には、様々なタスクの集合における予測の可能性と有用性の相関を解析することにより、提案された分類を裏付ける最初の実証的証拠を提供する。
  論文  参考訳（メタデータ） (2022-10-13T17:55:51Z)
• Fitness Landscape Footprint: A Framework to Compare Neural Architecture Search Problems [12.901952926144258]
  我々は、フィットネスランドスケープ分析を用いて、ニューラルアーキテクチャー探索問題を研究する。 本稿では,古典画像分類ベンチマークCIFAR-10とリモートセンシング問題So2Sat LCZ42の2つの問題について検討する。
  論文  参考訳（メタデータ） (2021-11-02T13:20:01Z)
• Out of Context: A New Clue for Context Modeling of Aspect-based Sentiment Analysis [54.735400754548635]
  ABSAは、与えられた側面に関してレビューで表現された感情を予測することを目的としている。 与えられたアスペクトは、コンテキストモデリングプロセスにおけるコンテキストからの新たなヒントと見なされるべきである。 異なるバックボーンに基づいて複数のアスペクト認識コンテキストエンコーダを設計する。
  論文  参考訳（メタデータ） (2021-06-21T02:26:03Z)
• Beyond Single Stage Encoder-Decoder Networks: Deep Decoders for Semantic Image Segmentation [56.44853893149365]
  セマンティックセグメンテーションのための単一エンコーダ-デコーダ手法は、セマンティックセグメンテーションの品質とレイヤー数あたりの効率の観点からピークに達している。 そこで本研究では,より多くの情報コンテンツを取得するために,浅層ネットワークの集合を用いたデコーダに基づく新しいアーキテクチャを提案する。 アーキテクチャをさらに改善するために,ネットワークの注目度を高めるために,クラスの再バランスを目的とした重み関数を導入する。
  論文  参考訳（メタデータ） (2020-07-19T18:44:34Z)
• Binary Neural Networks: A Survey [126.67799882857656]
  バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。 バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。 本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
  論文  参考訳（メタデータ） (2020-03-31T16:47:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。