論文の概要: Iterative Utility Judgment Framework via LLMs Inspired by Relevance in Philosophy

• arxiv url: http://arxiv.org/abs/2406.11290v1
• Date: Mon, 17 Jun 2024 07:52:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 15:50:52.744667
• Title: Iterative Utility Judgment Framework via LLMs Inspired by Relevance in Philosophy
• Title（参考訳）: 哲学の関連性に触発されたLCMによる反復的実用性判断フレームワーク
• Authors: Hengran Zhang, Keping Bi, Jiafeng Guo, Xueqi Cheng,
• Abstract要約: ユーティリティとトピック関連性は、情報検索において重要な手段である。 本稿では,リトリーバル拡張生成のサイクルの各ステップを促進させるために,反復的ユーティリティである JudgmEnt fraMework を提案する。
• 参考スコア（独自算出の注目度）: 66.95501113584541
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Utility and topical relevance are critical measures in information retrieval (IR), reflecting system and user perspectives, respectively. While topical relevance has long been emphasized, utility is a higher standard of relevance and is more useful for facilitating downstream tasks, e.g., in Retrieval-Augmented Generation (RAG). When we incorporate utility judgments into RAG, we realize that the topical relevance, utility, and answering in RAG are closely related to the three types of relevance that Schutz discussed from a philosophical perspective. They are topical relevance, interpretational relevance, and motivational relevance, respectively. Inspired by the dynamic iterations of the three types of relevance, we propose an Iterative utiliTy judgmEnt fraMework (ITEM) to promote each step of the cycle of RAG. We conducted extensive experiments on multi-grade passage retrieval and factoid question-answering datasets (i.e., TREC DL, WebAP, and NQ). Experimental results demonstrate significant improvements in utility judgments, ranking of topical relevance, and answer generation upon representative baselines, including multiple single-shot utility judging approaches. Our code and benchmark can be found at https://anonymous.4open.science/r/ITEM-B486/.
• Abstract（参考訳）: ユーティリティとトピック関連性は情報検索(IR)、リフレクションシステム、ユーザ視点において重要な指標である。 トピックの関連性は長い間強調されてきたが、ユーティリティは関連性の高い標準であり、例えばRetrieval-Augmented Generation (RAG)における下流タスクの促進に有用である。 実用性判断をRAGに組み込むと、RAGの話題的関連性、実用性、および回答が、Schutz氏が哲学的観点から論じた3つの関連性に密接に関連していることに気付く。 これらはそれぞれ、主題的関連性、解釈的関連性、動機的関連性である。 3種類の関連性の動的反復にインスパイアされたIterative utiliTy judgmEnt fraMework(ITEM)を提案する。 マルチグレードパス検索とファクトイド質問応答データセット(TREC DL, WebAP, NQ)について広範な実験を行った。 実験結果から,複数の単発ユーティリティ判定手法を含む,実用性判断の大幅な改善,トピック関連性の評価,および代表的ベースラインに対する回答生成が示された。 コードとベンチマークはhttps://anonymous.4open.science/r/ITEM-B486/で確認できます。

関連論文リスト

• Toward Optimal Search and Retrieval for RAG [39.69494982983534]
  Retrieval-augmented Generation (RAG)は、Large Language Models (LLM)に関連するメモリ関連の課題に対処するための有望な方法である。 ここでは、質問回答(QA)などの共通タスクに対して、レトリバーをRAGパイプラインに最適化する方法を理解することを目的としている。
  論文  参考訳（メタデータ） (2024-11-11T22:06:51Z)
• JudgeRank: Leveraging Large Language Models for Reasoning-Intensive Reranking [81.88787401178378]
  本稿では,文書関連性を評価する際に,人間の認知過程をエミュレートする新しいエージェント・リランカであるJiceRankを紹介する。 我々は,推論集約型BRIGHTベンチマークを用いて判定Rankを評価し,第1段階の検索手法よりも性能が大幅に向上したことを示す。 さらに、JiceRankは、人気の高いBEIRベンチマークの細調整された最先端リランカと同等に動作し、ゼロショットの一般化能力を検証している。
  論文  参考訳（メタデータ） (2024-10-31T18:43:12Z)
• CORAL: Benchmarking Multi-turn Conversational Retrieval-Augmentation Generation [68.81271028921647]
  我々は,現実的なマルチターン対話環境におけるRAGシステム評価のためのベンチマークであるCORALを紹介する。 コラルにはウィキペディアから自動的に派生した多様な情報検索会話が含まれている。 対話型RAGの3つの中核的なタスク、すなわち、通過検索、応答生成、および引用ラベリングをサポートする。
  論文  参考訳（メタデータ） (2024-10-30T15:06:32Z)
• Do RAG Systems Cover What Matters? Evaluating and Optimizing Responses with Sub-Question Coverage [74.70255719194819]
  サブクエストカバレッジに基づく新しいフレームワークを導入し、RAGシステムが質問の異なる面にどのように対処するかを計測する。 このフレームワークを使用して、You.com、Perplexity AI、Bing Chatの3つの商用生成応答エンジンを評価します。 すべての回答エンジンは、バックグラウンドやフォローアップよりも、コアサブクエストを頻繁にカバーしていますが、コアサブクエストの約50%を見逃しています。
  論文  参考訳（メタデータ） (2024-10-20T22:59:34Z)
• Identifying Key Terms in Prompts for Relevance Evaluation with GPT Models [1.1965844936801802]
  本研究の目的は,大規模言語モデルを用いて,どの特定の用語が肯定的あるいは否定的に関連性評価に影響を及ぼすかを明らかにすることである。 これらのプロンプトの性能を、少数ショットとゼロショットの両方の設定で比較することにより、プロンプトにおける特定の用語の影響を分析する。
  論文  参考訳（メタデータ） (2024-05-11T06:30:13Z)
• Improving Retrieval in Theme-specific Applications using a Corpus Topical Taxonomy [52.426623750562335]
  ToTER (Topical Taxonomy Enhanced Retrieval) フレームワークを紹介する。 ToTERは、クエリとドキュメントの中心的なトピックを分類学のガイダンスで識別し、そのトピックの関連性を利用して、欠落したコンテキストを補う。 プラグイン・アンド・プレイのフレームワークとして、ToTERは様々なPLMベースのレトリバーを強化するために柔軟に使用できる。
  論文  参考訳（メタデータ） (2024-03-07T02:34:54Z)
• Robust Saliency-Aware Distillation for Few-shot Fine-grained Visual Recognition [57.08108545219043]
  サンプルが少ない新しいサブカテゴリを認識することは、コンピュータビジョンにおいて不可欠で挑戦的な研究課題である。 既存の文献は、ローカルベースの表現アプローチを採用することでこの問題に対処している。 本稿では,ロバスト・サリエンシ・アウェア蒸留法(RSaD)を提案する。
  論文  参考訳（メタデータ） (2023-05-12T00:13:17Z)
• Joint Answering and Explanation for Visual Commonsense Reasoning [46.44588492897933]
  Visual Commonsense Reasoningは、よりハイレベルな視覚的理解を追求する試みである。 与えられた画像に対する質問応答と、回答説明のための合理的推論の2つの必須プロセスで構成されている。 本稿では,質問応答と推論プロセスの合理化を両立させるための知識蒸留強化フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-25T11:26:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。