論文の概要: Robust Knowledge Extraction from Large Language Models using Social Choice Theory

• arxiv url: http://arxiv.org/abs/2312.14877v2
• Date: Thu, 8 Feb 2024 17:29:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-09 18:34:28.805069
• Title: Robust Knowledge Extraction from Large Language Models using Social Choice Theory
• Title（参考訳）: 社会的選択理論を用いた大規模言語モデルからのロバスト知識抽出
• Authors: Nico Potyka, Yuqicheng Zhu, Yunjie He, Evgeny Kharlamov, Steffen Staab
• Abstract要約: 大規模言語モデル(LLM)は、会話エージェント、クリエイティブな書き込み、一般的なクエリ応答など、幅広いアプリケーションをサポートすることができる。 典型的には堅牢ではないため、医学などの高精細な領域での問合せに適していない。 ランキングクエリを繰り返し使用し、社会的選択理論からの手法を用いてクエリを集約する。
• 参考スコア（独自算出の注目度）: 18.634845632109496
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large-language models (LLMs) can support a wide range of applications like conversational agents, creative writing or general query answering. However, they are ill-suited for query answering in high-stake domains like medicine because they are typically not robust - even the same query can result in different answers when prompted multiple times. In order to improve the robustness of LLM queries, we propose using ranking queries repeatedly and to aggregate the queries using methods from social choice theory. We study ranking queries in diagnostic settings like medical and fault diagnosis and discuss how the Partial Borda Choice function from the literature can be applied to merge multiple query results. We discuss some additional interesting properties in our setting and evaluate the robustness of our approach empirically.
• Abstract（参考訳）: 大規模言語モデル(llm)は、会話エージェント、クリエイティブライティング、一般的なクエリ応答など、幅広いアプリケーションをサポートすることができる。 しかし、それらは一般的に堅牢ではないため、医学のような高リスクドメインでのクエリ応答には適していない。 LLMクエリのロバスト性を改善するために,ランク付けクエリを繰り返し使用し,ソーシャル選択理論の手法を用いてクエリを集約する手法を提案する。 医学的診断や障害診断などの診断環境におけるランキングクエリについて検討し、文献からの部分ボルダ選択関数が複数のクエリ結果のマージにどのように適用できるかについて議論する。 我々は、我々の設定におけるいくつかの興味深い特性について論じ、我々のアプローチの堅牢性を実証的に評価する。

関連論文リスト

• Aligning Query Representation with Rewritten Query and Relevance Judgments in Conversational Search [32.35446999027349]
  我々は、より優れたクエリ表現モデルをトレーニングするために、リライトされたクエリと会話検索データの関連判断の両方を活用する。 提案したモデル --Query Representation Alignment Conversational Retriever(QRACDR)は、8つのデータセットでテストされる。
  論文  参考訳（メタデータ） (2024-07-29T17:14:36Z)
• Optimization of Retrieval-Augmented Generation Context with Outlier Detection [0.0]
  そこで本研究では,質問応答システムに必要な文脈の小型化と品質向上に焦点をあてる。 私たちのゴールは、最も意味のあるドキュメントを選択し、捨てられたドキュメントをアウトリーチとして扱うことです。 その結果,質問や回答の複雑さを増大させることで,最大の改善が達成された。
  論文  参考訳（メタデータ） (2024-07-01T15:53:29Z)
• UQE: A Query Engine for Unstructured Databases [71.49289088592842]
  構造化されていないデータ分析を可能にするために,大規模言語モデルの可能性を検討する。 本稿では,非構造化データ収集からの洞察を直接問合せ,抽出するUniversal Query Engine (UQE)を提案する。
  論文  参考訳（メタデータ） (2024-06-23T06:58:55Z)
• Database-Augmented Query Representation for Information Retrieval [59.57065228857247]
  データベース拡張クエリ表現(DAQu)と呼ばれる新しい検索フレームワークを提案する。 DAQuは、元のクエリを複数のテーブルにまたがるさまざまな(クエリ関連の)メタデータで拡張する。 リレーショナルデータベースのメタデータを組み込む様々な検索シナリオにおいてDAQuを検証する。
  論文  参考訳（メタデータ） (2024-06-23T05:02:21Z)
• Generating Multi-Aspect Queries for Conversational Search [6.974395116689502]
  同じ検索モデルでは,nDCG@3で1回以上のリライトクエリが85%向上することを示す。 本稿ではMQ4CSと呼ばれるマルチアスペクトクエリ生成・検索フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-28T10:40:22Z)
• Selecting Query-bag as Pseudo Relevance Feedback for Information-seeking Conversations [76.70349332096693]
  情報検索対話システムは電子商取引システムで広く利用されている。 クエリバッグに基づくPseudo Relevance Feedback framework(QB-PRF)を提案する。 関連クエリを備えたクエリバッグを構築し、擬似シグナルとして機能し、情報検索の会話をガイドする。
  論文  参考訳（メタデータ） (2024-03-22T08:10:32Z)
• Getting MoRE out of Mixture of Language Model Reasoning Experts [71.61176122960464]
  多様な特殊言語モデルを組み込んだMixture-of-Reasoning-Experts (MoRE) フレームワークを提案する。 実例,マルチホップ,数学的,コモンセンス推論など,さまざまな推論カテゴリに最適化されたプロンプトを備えたバックボーン言語モデルを特化する。 人間の研究では、専門家による予測と回答の選択プロセスが、アノテータがシステムの出力を信頼するタイミングをより正確に調整するのに役立ちます。
  論文  参考訳（メタデータ） (2023-05-24T02:00:51Z)
• Query2Particles: Knowledge Graph Reasoning with Particle Embeddings [49.64006979045662]
  本稿では,知識グラフにエッジを欠いた複雑な論理的クエリに応答するクエリ埋め込み手法を提案する。 回答エンティティは、エンティティの埋め込みとクエリの埋め込みの類似性に応じて選択される。 埋め込み空間上の様々な領域から多様な回答を検索するために,複雑なKGクエリ応答方法Q2Pを提案する。
  論文  参考訳（メタデータ） (2022-04-27T11:16:08Z)
• Query Embedding on Hyper-relational Knowledge Graphs [0.4779196219827507]
  マルチホップ論理推論は知識グラフ上の表現学習の分野で確立された問題である。 我々はマルチホップ推論問題をハイパーリレーショナルなKGに拡張し、この新しいタイプの複雑なクエリに対処する。
  論文  参考訳（メタデータ） (2021-06-15T14:08:50Z)
• Answering Counting Queries over DL-Lite Ontologies [0.0]
  本稿では,クエリをカウントする一般的な形式を導入し,従来の提案に関連付けるとともに,そのようなクエリに答えることの複雑さについて検討する。 我々は、複雑性境界の改善を確立させる、実践的に関連するいくつかの制約について検討する。
  論文  参考訳（メタデータ） (2020-09-02T11:10:21Z)
• Query Focused Multi-Document Summarization with Distant Supervision [88.39032981994535]
  既存の作業は、クエリとテキストセグメント間の関連性を推定する検索スタイルの手法に大きく依存している。 本稿では,クエリに関連するセグメントを推定するための個別モジュールを導入した粗大なモデリングフレームワークを提案する。 我々のフレームワークは、標準QFSベンチマークにおいて、強力な比較システムよりも優れていることを実証する。
  論文  参考訳（メタデータ） (2020-04-06T22:35:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。