論文の概要: Attention with Dependency Parsing Augmentation for Fine-Grained Attribution

• arxiv url: http://arxiv.org/abs/2412.11404v1
• Date: Mon, 16 Dec 2024 03:12:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 14:01:40.903764
• Title: Attention with Dependency Parsing Augmentation for Fine-Grained Attribution
• Title（参考訳）: 微粒化属性に対する係り受け解析強化の留意点
• Authors: Qiang Ding, Lvzhou Luo, Yixuan Cao, Ping Luo,
• Abstract要約: 提案手法は,検索した文書から各回答に対する証拠を裏付ける,きめ細かな属性機構を開発する。 既存の属性法は、応答と文書間のモデル-内部類似度(Saliency scores)や隠れ状態類似度(hidden state similarity)など)に依存している。 まず,表現の粒度を保ちつつ,集合ユニオン操作を通じてトークンに関する証拠を集約する。 第二に、ターゲットスパンの意味的完全性を強化するために依存性解析を統合することで属性の強化を行う。
• 参考スコア（独自算出の注目度）: 26.603281615221505
• License:
• Abstract: To assist humans in efficiently validating RAG-generated content, developing a fine-grained attribution mechanism that provides supporting evidence from retrieved documents for every answer span is essential. Existing fine-grained attribution methods rely on model-internal similarity metrics between responses and documents, such as saliency scores and hidden state similarity. However, these approaches suffer from either high computational complexity or coarse-grained representations. Additionally, a common problem shared by the previous works is their reliance on decoder-only Transformers, limiting their ability to incorporate contextual information after the target span. To address the above problems, we propose two techniques applicable to all model-internals-based methods. First, we aggregate token-wise evidence through set union operations, preserving the granularity of representations. Second, we enhance the attributor by integrating dependency parsing to enrich the semantic completeness of target spans. For practical implementation, our approach employs attention weights as the similarity metric. Experimental results demonstrate that the proposed method consistently outperforms all prior works.
• Abstract（参考訳）: RAG生成コンテンツを効率よく検証するのを支援するため、回答スパン毎に検索した文書から証拠を裏付ける微粒な属性機構を開発することが不可欠である。 既存の微粒化帰属法は、応答と文書間のモデル-内部類似度(Saliency scores)や隠れ状態類似度など)に依存している。 しかし、これらのアプローチは高い計算複雑性または粗い粒度の表現に悩まされる。 さらに、以前の作業で共有される一般的な問題は、デコーダのみのトランスフォーマーへの依存であり、ターゲットのスパン後にコンテキスト情報を組み込む能力を制限している。 上記の問題に対処するため,すべてのモデル内部法に適用可能な2つの手法を提案する。 まず、集合ユニオン演算を通じてトークンに関する証拠を集約し、表現の粒度を保存する。 第二に、ターゲットスパンの意味的完全性を強化するために依存性解析を統合することで属性の強化を行う。 実践的な実装のために,本手法は類似度指標として注意重みを用いる。 実験結果から,提案手法は従来手法よりも常に優れていたことが示唆された。

関連論文リスト

• Enhanced Retrieval of Long Documents: Leveraging Fine-Grained Block Representations with Large Language Models [24.02950598944251]
  文書の関連性評価の精度を高めることを目的とした,新しい,きめ細かいアプローチを提案する。 提案手法はまず,長い文書をブロックに分割し,それぞれを LLM を用いて埋め込む。 重み付け和法により,クエリブロック関連度スコアを集約し,ドキュメント全体のクエリに対する総合的なスコアを得る。
  論文  参考訳（メタデータ） (2025-01-28T16:03:52Z)
• Fusion Makes Perfection: An Efficient Multi-Grained Matching Approach for Zero-Shot Relation Extraction [9.657656957845987]
  そこで本研究では,仮想エンティティマッチングを用いて手作業によるアノテーションのコストを削減する手法を提案する。 実験結果から,本手法は従来の最先端技術(SOTA)法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-06-17T11:31:48Z)
• Enhancing Retrieval-Augmented LMs with a Two-stage Consistency Learning Compressor [4.35807211471107]
  本研究では,検索強化言語モデルにおける検索情報圧縮のための2段階一貫性学習手法を提案する。 提案手法は複数のデータセットにまたがって実験的に検証され,質問応答タスクの精度と効率が顕著に向上したことを示す。
  論文  参考訳（メタデータ） (2024-06-04T12:43:23Z)
• Unifying Feature and Cost Aggregation with Transformers for Semantic and Visual Correspondence [51.54175067684008]
  本稿では,高密度マッチングタスク用に設計されたTransformerベースの積分機能とコスト集約ネットワークを提案する。 まず, 特徴集約とコスト集約が異なる特徴を示し, 双方の集約プロセスの司法的利用から生じる実質的な利益の可能性を明らかにした。 本フレームワークは意味マッチングのための標準ベンチマークで評価され,また幾何マッチングにも適用された。
  論文  参考訳（メタデータ） (2024-03-17T07:02:55Z)
• Generalized Correspondence Matching via Flexible Hierarchical Refinement and Patch Descriptor Distillation [13.802788788420175]
  対応マッチングは多くのロボティクス応用において重要な役割を担っている。 本稿では,SoTA (State-of-the-art) のプラグ・アンド・プレイ対応手法であるDFM (Deep Feature Match) の限界に対処する。 提案手法は,それぞれ1,3,5画素に対する平均マッチング精度0.68,0.92,0.95の総合的な性能を実現する。
  論文  参考訳（メタデータ） (2024-03-08T15:32:18Z)
• Revisiting Sparse Retrieval for Few-shot Entity Linking [33.15662306409253]
  本稿では,ELECTRAに基づくキーワード抽出手法を提案する。 抽出器のトレーニングには,参照コンテキストとエンティティ記述との間に重複するトークンをベースとしたトレーニングデータを自動的に生成する遠隔監視手法を提案する。 ZESHELデータセットによる実験結果から,提案手法はすべてのテスト領域において,最先端モデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2023-10-19T03:51:10Z)
• BERM: Training the Balanced and Extractable Representation for Matching to Improve Generalization Ability of Dense Retrieval [54.66399120084227]
  本稿では,BERMと呼ばれるマッチング信号の取得により,高密度検索の一般化を改善する手法を提案する。 センス検索は、ドメイン内のラベル付きデータセットでトレーニングされた場合、第1段階の検索プロセスにおいて有望であることが示されている。
  論文  参考訳（メタデータ） (2023-05-18T15:43:09Z)
• Revisiting Mahalanobis Distance for Transformer-Based Out-of-Domain Detection [60.88952532574564]
  本稿では,ドメイン外インテント検出手法を徹底的に比較する。 意図分類のための3つの標準データセット上で,複数のコンテキストエンコーダとメソッドを効率良く評価する。 本研究の主目的は,超微調整トランスフォーマーを用いたドメイン内データエンコーダが優れた結果をもたらすことである。
  論文  参考訳（メタデータ） (2021-01-11T09:10:58Z)
• Weakly-Supervised Aspect-Based Sentiment Analysis via Joint Aspect-Sentiment Topic Embedding [71.2260967797055]
  アスペクトベース感情分析のための弱教師付きアプローチを提案する。 We learn sentiment, aspects> joint topic embeddeds in the word embedding space。 次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
  論文  参考訳（メタデータ） (2020-10-13T21:33:24Z)
• Cross-Supervised Joint-Event-Extraction with Heterogeneous Information Networks [61.950353376870154]
  Joint-event- Extractは、トリガとエンティティのタグからなるタグセットを備えたシーケンスからシーケンスまでのラベリングタスクである。 トリガやエンティティの抽出を交互に監督するクロススーパーバイザードメカニズム(CSM)を提案する。 我々の手法は、エンティティとトリガー抽出の両方において最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2020-10-13T11:51:17Z)
• Generation-Augmented Retrieval for Open-domain Question Answering [134.27768711201202]
  GAR(Generation-Augmented Retrieval)は、オープンドメインの質問に答える機能である。 クエリーに対して多様なコンテキストを生成することは、結果の融合が常により良い検索精度をもたらすので有益であることを示す。 GARは、抽出読取装置を備えた場合、抽出QA設定の下で、自然質問およびトリビアQAデータセットの最先端性能を達成する。
  論文  参考訳（メタデータ） (2020-09-17T23:08:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。