論文の概要: Answer is All You Need: Instruction-following Text Embedding via Answering the Question

• arxiv url: http://arxiv.org/abs/2402.09642v1
• Date: Thu, 15 Feb 2024 01:02:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-16 17:29:30.162383
• Title: Answer is All You Need: Instruction-following Text Embedding via Answering the Question
• Title（参考訳）: 答えは必要なすべてだ - 質問への回答によるインストラクションフォローテキスト埋め込み
• Authors: Letian Peng, Yuwei Zhang, Zilong Wang, Jayanth Srinivasa, Gaowen Liu, Zihan Wang, Jingbo Shang
• Abstract要約: 本稿では、入力テキストに関する質問として命令を扱い、予測された回答を符号化して表現を得る新しい視点を提供する。 具体的には,抽象的質問応答タスクの言語モデルのみを微調整することで,この組込み解答のアイデアをインスタンス化するInBedderを提案する。
• 参考スコア（独自算出の注目度）: 41.727700155498546
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work aims to build a text embedder that can capture characteristics of texts specified by user instructions. Despite its tremendous potential to deploy user-oriented embeddings, none of previous approaches provides a concrete solution for it. This paper offers a new viewpoint, which treats the instruction as a question about the input text and encodes the expected answers to obtain the representation accordingly. Intuitively, texts with the same (implicit) semantics would share similar answers following the instruction, thus leading to more similar embeddings. Specifically, we propose InBedder that instantiates this embed-via-answering idea by only fine-tuning language models on abstractive question answering tasks. InBedder demonstrates significantly improved instruction-following capabilities according to our proposed instruction awareness tests and instruction robustness tests, when applied to both large language models (LLMs) (e.g., llama-2-7b) and smaller encoder-based LMs (e.g., roberta-large). Additionally, our qualitative analysis of clustering outcomes, achieved by applying different instructions to the same corpus, demonstrates a high degree of interpretability.
• Abstract（参考訳）: 本研究の目的は,ユーザ指示で指定されたテキストの特徴をキャプチャできるテキスト埋め込みシステムの構築である。 ユーザ指向の埋め込みをデプロイする大きな可能性にもかかわらず、これまでのアプローチでは、具体的なソリューションを提供していません。 本稿では,入力テキストに関する質問として命令を扱い,期待した回答をエンコードして表現を得る新しい視点を提案する。 直感的には、同じ(単純)意味論を持つテキストは命令に従って同様の答えを共有し、より類似した埋め込みをもたらす。 具体的には、抽象的な質問応答タスクの言語モデルのみを微調整することで、この埋め込み型回答のアイデアをインスタンス化するInBedderを提案する。 InBedderは、提案した命令認識テストと命令堅牢性テストに基づいて、大規模言語モデル(LLM) (llama-2-7b) とより小さなエンコーダベースのLM (roberta-large) の両方に適用した場合、命令追跡機能を大幅に改善することを示した。 さらに,同一コーパスに異なる命令を適用することで得られたクラスタリング結果の質的分析により,高い解釈性を示す。

関連論文リスト

• Disentangling Dense Embeddings with Sparse Autoencoders [0.0]
  スパースオートエンコーダ(SAE)は、複雑なニューラルネットワークから解釈可能な特徴を抽出する可能性を示している。 大規模言語モデルからの高密度テキスト埋め込みに対するSAEの最初の応用の1つを提示する。 その結果,解釈可能性を提供しながら意味的忠実さを保っていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-08-01T15:46:22Z)
• Crafting Interpretable Embeddings by Asking LLMs Questions [89.49960984640363]
  大規模言語モデル(LLM)は、自然言語処理タスクの増大に対して、テキスト埋め込みを急速に改善した。 質問応答埋め込み (QA-Emb) を導入し, 各特徴がLLMに対して質問された質問に対する回答を表す。 我々はQA-Embを用いて、言語刺激に対するfMRIボクセル応答を予測するための解釈可能なモデルを柔軟に生成する。
  論文  参考訳（メタデータ） (2024-05-26T22:30:29Z)
• PEACH: Pretrained-embedding Explanation Across Contextual and Hierarchical Structure [3.9677082086241433]
  PEACHは、木に基づく人間解釈可能な方法で事前訓練されたコンテキスト埋め込みを用いて、テキストベースの文書がどのように分類されるかを説明することができる。 我々は,9つの異なるNLPテキスト分類ベンチマークにおいて,コンテキスト埋め込みを包括的に分析する。 人間の解釈可能な単語クラウドベース木を用いて,特徴選択とテキスト分類の重要傾向を可視化することで,説明の有用性を示す。
  論文  参考訳（メタデータ） (2024-04-21T12:41:02Z)
• TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
  Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。 分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
  論文  参考訳（メタデータ） (2023-06-06T03:37:41Z)
• Enhancing Large Language Models Against Inductive Instructions with Dual-critique Prompting [55.15697111170836]
  本稿では,大規模言語モデル(LLM)のテクスト誘導的指示に対する行動を明らかにするとともに,その真しさと有用性を高める。 広範囲な人的・自動的な評価の結果,帰納的命令処理において LLM に共通する脆弱性が発見された。 異なる帰納的スタイルがモデルに同じエラーを識別する能力に影響を及ぼし、基礎となる仮定の複雑さがモデルの性能にも影響を及ぼす。
  論文  参考訳（メタデータ） (2023-05-23T06:38:20Z)
• Elaborative Simplification as Implicit Questions Under Discussion [51.17933943734872]
  本稿では,QUD フレームワークのレンズによる共同作業の簡略化について考察する。 本研究は,QUDを明示的にモデル化することで,作業の単純化と,作業内容と作業内容の関連性について,重要な理解が得られていることを示す。
  論文  参考訳（メタデータ） (2023-05-17T17:26:16Z)
• Evaluating the Construct Validity of Text Embeddings with Application to Survey Questions [5.343406649012618]
  テキスト埋め込みの有効性を評価するために,古典的な構成妥当性フレームワークを提案する。 このフレームワークがテキスト埋め込みの不透明で高次元的な性質にどのように適応できるかを示す。 埋め込みは, 全く新しい質問に対する回答を予測するのに有効であることを示す。
  論文  参考訳（メタデータ） (2022-02-18T12:35:46Z)
• Explaining Latent Representations with a Corpus of Examples [72.50996504722293]
  本稿では,サンプルベースの説明を自由に選択されたサンプル集合を参照して提供するユーザ中心の手法であるSimplExを提案する。 SimplExは、ポストホックな説明で潜伏空間に対するユーザの理解を改善するためにコーパスを使用する。 SimplExは,モデル表現を説明するコーパス内の関連パターンを強調表示することで,ユーザを力づけることを示す。
  論文  参考訳（メタデータ） (2021-10-28T17:59:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。