論文の概要: Iterative Utility Judgment Framework via LLMs Inspired by Relevance in Philosophy

• arxiv url: http://arxiv.org/abs/2406.11290v1
• Date: Mon, 17 Jun 2024 07:52:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 15:50:52.744667
• Title: Iterative Utility Judgment Framework via LLMs Inspired by Relevance in Philosophy
• Title（参考訳）: 哲学の関連性に触発されたLCMによる反復的実用性判断フレームワーク
• Authors: Hengran Zhang, Keping Bi, Jiafeng Guo, Xueqi Cheng,
• Abstract要約: ユーティリティとトピック関連性は、情報検索において重要な手段である。 本稿では,リトリーバル拡張生成のサイクルの各ステップを促進させるために,反復的ユーティリティである JudgmEnt fraMework を提案する。
• 参考スコア（独自算出の注目度）: 66.95501113584541
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Utility and topical relevance are critical measures in information retrieval (IR), reflecting system and user perspectives, respectively. While topical relevance has long been emphasized, utility is a higher standard of relevance and is more useful for facilitating downstream tasks, e.g., in Retrieval-Augmented Generation (RAG). When we incorporate utility judgments into RAG, we realize that the topical relevance, utility, and answering in RAG are closely related to the three types of relevance that Schutz discussed from a philosophical perspective. They are topical relevance, interpretational relevance, and motivational relevance, respectively. Inspired by the dynamic iterations of the three types of relevance, we propose an Iterative utiliTy judgmEnt fraMework (ITEM) to promote each step of the cycle of RAG. We conducted extensive experiments on multi-grade passage retrieval and factoid question-answering datasets (i.e., TREC DL, WebAP, and NQ). Experimental results demonstrate significant improvements in utility judgments, ranking of topical relevance, and answer generation upon representative baselines, including multiple single-shot utility judging approaches. Our code and benchmark can be found at https://anonymous.4open.science/r/ITEM-B486/.
• Abstract（参考訳）: ユーティリティとトピック関連性は情報検索(IR)、リフレクションシステム、ユーザ視点において重要な指標である。 トピックの関連性は長い間強調されてきたが、ユーティリティは関連性の高い標準であり、例えばRetrieval-Augmented Generation (RAG)における下流タスクの促進に有用である。 実用性判断をRAGに組み込むと、RAGの話題的関連性、実用性、および回答が、Schutz氏が哲学的観点から論じた3つの関連性に密接に関連していることに気付く。 これらはそれぞれ、主題的関連性、解釈的関連性、動機的関連性である。 3種類の関連性の動的反復にインスパイアされたIterative utiliTy judgmEnt fraMework(ITEM)を提案する。 マルチグレードパス検索とファクトイド質問応答データセット(TREC DL, WebAP, NQ)について広範な実験を行った。 実験結果から,複数の単発ユーティリティ判定手法を含む,実用性判断の大幅な改善,トピック関連性の評価,および代表的ベースラインに対する回答生成が示された。 コードとベンチマークはhttps://anonymous.4open.science/r/ITEM-B486/で確認できます。

関連論文リスト

• A Thorough Performance Benchmarking on Lightweight Embedding-based Recommender Systems [67.52782366565658]
  State-of-the-art recommender system (RS) は、埋め込みベクトルによって符号化される分類的特徴に依存し、結果として非常に大きな埋め込みテーブルとなる。 軽量埋め込み型RSの繁栄にもかかわらず、評価プロトコルには幅広い多様性が見られる。 本研究では, LERSの性能, 効率, クロスタスク転送性について, 徹底的なベンチマークによる検討を行った。
  論文  参考訳（メタデータ） (2024-06-25T07:45:00Z)
• Unified Active Retrieval for Retrieval Augmented Generation [69.63003043712696]
  Retrieval-Augmented Generation (RAG)では、検索は必ずしも役に立たない。 既存のアクティブ検索手法は2つの課題に直面している。 彼らは通常、様々な種類の命令を扱うのに苦労する単一の基準に頼っている。 それらは特殊で高度に区別された手順に依存しており、それらを組み合わせることでRAGシステムはより複雑になる。
  論文  参考訳（メタデータ） (2024-06-18T12:09:02Z)
• Boosting Conversational Question Answering with Fine-Grained Retrieval-Augmentation and Self-Check [25.63538452425097]
  本稿では,対話型質問応答のための細粒度検索と自己チェックを組み込んだ対話レベルのRAG手法を提案する。 特に,本手法は,対話型質問精算器,きめ細かい検索器,自己チェックに基づく応答生成器の3つのコンポーネントから構成される。
  論文  参考訳（メタデータ） (2024-03-27T04:20:18Z)
• Improving Retrieval in Theme-specific Applications using a Corpus Topical Taxonomy [52.426623750562335]
  ToTER (Topical Taxonomy Enhanced Retrieval) フレームワークを紹介する。 ToTERは、クエリとドキュメントの中心的なトピックを分類学のガイダンスで識別し、そのトピックの関連性を利用して、欠落したコンテキストを補う。 プラグイン・アンド・プレイのフレームワークとして、ToTERは様々なPLMベースのレトリバーを強化するために柔軟に使用できる。
  論文  参考訳（メタデータ） (2024-03-07T02:34:54Z)
• Retrieval Helps or Hurts? A Deeper Dive into the Efficacy of Retrieval Augmentation to Language Models [7.537599020279862]
  大規模言語モデル(LM)における実体と関係の組合せの効果について検討する。 一般の事実を想起する上で,より大きなLMは優れているが,検索者に比べて少ないエンティティ-リレーションペアでは困難である。 適応型検索システムを用いて,より微細な測定値と洞察値の有効性を実証する。
  論文  参考訳（メタデータ） (2024-02-21T03:05:50Z)
• Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection [74.51523859064802]
  我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。 自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。 様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-10-17T18:18:32Z)
• Robust Saliency-Aware Distillation for Few-shot Fine-grained Visual Recognition [57.08108545219043]
  サンプルが少ない新しいサブカテゴリを認識することは、コンピュータビジョンにおいて不可欠で挑戦的な研究課題である。 既存の文献は、ローカルベースの表現アプローチを採用することでこの問題に対処している。 本稿では,ロバスト・サリエンシ・アウェア蒸留法(RSaD)を提案する。
  論文  参考訳（メタデータ） (2023-05-12T00:13:17Z)
• Joint Answering and Explanation for Visual Commonsense Reasoning [46.44588492897933]
  Visual Commonsense Reasoningは、よりハイレベルな視覚的理解を追求する試みである。 与えられた画像に対する質問応答と、回答説明のための合理的推論の2つの必須プロセスで構成されている。 本稿では,質問応答と推論プロセスの合理化を両立させるための知識蒸留強化フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-25T11:26:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。