論文の概要: Robust Knowledge Extraction from Large Language Models using Social
Choice Theory
- arxiv url: http://arxiv.org/abs/2312.14877v2
- Date: Thu, 8 Feb 2024 17:29:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-09 18:34:28.805069
- Title: Robust Knowledge Extraction from Large Language Models using Social
Choice Theory
- Title(参考訳): 社会的選択理論を用いた大規模言語モデルからのロバスト知識抽出
- Authors: Nico Potyka, Yuqicheng Zhu, Yunjie He, Evgeny Kharlamov, Steffen Staab
- Abstract要約: 大規模言語モデル(LLM)は、会話エージェント、クリエイティブな書き込み、一般的なクエリ応答など、幅広いアプリケーションをサポートすることができる。
典型的には堅牢ではないため、医学などの高精細な領域での問合せに適していない。
ランキングクエリを繰り返し使用し、社会的選択理論からの手法を用いてクエリを集約する。
- 参考スコア(独自算出の注目度): 18.634845632109496
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large-language models (LLMs) can support a wide range of applications like
conversational agents, creative writing or general query answering. However,
they are ill-suited for query answering in high-stake domains like medicine
because they are typically not robust - even the same query can result in
different answers when prompted multiple times. In order to improve the
robustness of LLM queries, we propose using ranking queries repeatedly and to
aggregate the queries using methods from social choice theory. We study ranking
queries in diagnostic settings like medical and fault diagnosis and discuss how
the Partial Borda Choice function from the literature can be applied to merge
multiple query results. We discuss some additional interesting properties in
our setting and evaluate the robustness of our approach empirically.
- Abstract(参考訳): 大規模言語モデル(llm)は、会話エージェント、クリエイティブライティング、一般的なクエリ応答など、幅広いアプリケーションをサポートすることができる。
しかし、それらは一般的に堅牢ではないため、医学のような高リスクドメインでのクエリ応答には適していない。
LLMクエリのロバスト性を改善するために,ランク付けクエリを繰り返し使用し,ソーシャル選択理論の手法を用いてクエリを集約する手法を提案する。
医学的診断や障害診断などの診断環境におけるランキングクエリについて検討し、文献からの部分ボルダ選択関数が複数のクエリ結果のマージにどのように適用できるかについて議論する。
我々は、我々の設定におけるいくつかの興味深い特性について論じ、我々のアプローチの堅牢性を実証的に評価する。
関連論文リスト
- ConvGQR: Generative Query Reformulation for Conversational Search [37.54018632257896]
ConvGQRは、生成事前訓練された言語モデルに基づいて会話クエリを再構成する新しいフレームワークである。
本稿では,クエリ再構成と検索の両方を最適化する知識注入機構を提案する。
論文 参考訳(メタデータ) (2023-05-25T01:45:06Z) - Getting MoRE out of Mixture of Language Model Reasoning Experts [71.61176122960464]
多様な特殊言語モデルを組み込んだMixture-of-Reasoning-Experts (MoRE) フレームワークを提案する。
実例,マルチホップ,数学的,コモンセンス推論など,さまざまな推論カテゴリに最適化されたプロンプトを備えたバックボーン言語モデルを特化する。
人間の研究では、専門家による予測と回答の選択プロセスが、アノテータがシステムの出力を信頼するタイミングをより正確に調整するのに役立ちます。
論文 参考訳(メタデータ) (2023-05-24T02:00:51Z) - UniKGQA: Unified Retrieval and Reasoning for Solving Multi-hop Question
Answering Over Knowledge Graph [89.98762327725112]
KGQA(Multi-hop Question Answering over Knowledge Graph)は、自然言語の質問で言及されているトピックエンティティから、複数のホップを持つ回答エンティティを見つけることを目的としている。
我々は、モデルアーキテクチャとパラメータ学習の両方において、検索と推論を統合することで、マルチホップKGQAタスクの新しいアプローチであるUniKGQAを提案する。
論文 参考訳(メタデータ) (2022-12-02T04:08:09Z) - Query2Particles: Knowledge Graph Reasoning with Particle Embeddings [49.64006979045662]
本稿では,知識グラフにエッジを欠いた複雑な論理的クエリに応答するクエリ埋め込み手法を提案する。
回答エンティティは、エンティティの埋め込みとクエリの埋め込みの類似性に応じて選択される。
埋め込み空間上の様々な領域から多様な回答を検索するために,複雑なKGクエリ応答方法Q2Pを提案する。
論文 参考訳(メタデータ) (2022-04-27T11:16:08Z) - Graph Enhanced BERT for Query Understanding [55.90334539898102]
クエリ理解は、ユーザの検索意図を探索し、ユーザが最も望まれる情報を発見できるようにする上で、重要な役割を果たす。
近年、プレトレーニング言語モデル (PLM) は様々な自然言語処理タスクを進歩させてきた。
本稿では,クエリコンテンツとクエリグラフの両方を活用可能な,グラフ強化事前学習フレームワークGE-BERTを提案する。
論文 参考訳(メタデータ) (2022-04-03T16:50:30Z) - Using Query Expansion in Manifold Ranking for Query-Oriented
Multi-Document Summarization [3.146785346730256]
本稿では,この問題を解くために,多様体ランキングに組み合わされたクエリ拡張手法を提案する。
本手法では,検索語自体と知識ベースであるWordNetの情報を同義語で拡張するだけでなく,文書自体の情報を様々な方法で拡張する。
さらに,単語の重複度と単語間の近接度を用いて文間の類似度を算出する。
論文 参考訳(メタデータ) (2021-07-31T02:20:44Z) - Query Embedding on Hyper-relational Knowledge Graphs [0.4779196219827507]
マルチホップ論理推論は知識グラフ上の表現学習の分野で確立された問題である。
我々はマルチホップ推論問題をハイパーリレーショナルなKGに拡張し、この新しいタイプの複雑なクエリに対処する。
論文 参考訳(メタデータ) (2021-06-15T14:08:50Z) - Text Summarization with Latent Queries [60.468323530248945]
本稿では,LaQSumについて紹介する。LaQSumは,既存の問合せ形式と抽象的な要約のための文書から遅延クエリを学習する,最初の統一テキスト要約システムである。
本システムでは, 潜伏クエリモデルと条件付き言語モデルとを協調的に最適化し, ユーザがテスト時に任意のタイプのクエリをプラグイン・アンド・プレイできるようにする。
本システムでは,クエリタイプ,文書設定,ターゲットドメインの異なる要約ベンチマークにおいて,強力な比較システムの性能を強く向上させる。
論文 参考訳(メタデータ) (2021-05-31T21:14:58Z) - Applying Transfer Learning for Improving Domain-Specific Search
Experience Using Query to Question Similarity [0.0]
本稿では、与えられた入力クエリと事前定義された質問の集合との類似性を計算し、最もよく一致する質問を検索するフレームワークについて論じる。
ファイナンシャルドメインで使用していますが、このフレームワークはドメイン固有の検索エンジンで一般化されており、他のドメインでも使用できます。
論文 参考訳(メタデータ) (2021-01-07T03:27:32Z) - Answering Counting Queries over DL-Lite Ontologies [0.0]
本稿では,クエリをカウントする一般的な形式を導入し,従来の提案に関連付けるとともに,そのようなクエリに答えることの複雑さについて検討する。
我々は、複雑性境界の改善を確立させる、実践的に関連するいくつかの制約について検討する。
論文 参考訳(メタデータ) (2020-09-02T11:10:21Z) - Query Focused Multi-Document Summarization with Distant Supervision [88.39032981994535]
既存の作業は、クエリとテキストセグメント間の関連性を推定する検索スタイルの手法に大きく依存している。
本稿では,クエリに関連するセグメントを推定するための個別モジュールを導入した粗大なモデリングフレームワークを提案する。
我々のフレームワークは、標準QFSベンチマークにおいて、強力な比較システムよりも優れていることを実証する。
論文 参考訳(メタデータ) (2020-04-06T22:35:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。