論文の概要: Measuring the Quality of Answers in Political Q&As with Large Language Models
- arxiv url: http://arxiv.org/abs/2404.08816v3
- Date: Wed, 27 Nov 2024 23:27:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-02 15:15:56.726829
- Title: Measuring the Quality of Answers in Political Q&As with Large Language Models
- Title（参考訳）: 大規模言語モデルを用いた政治Q&Aにおける回答の品質測定
- Authors: R. Michael Alvarez, Jacob Morrier,
- Abstract要約: 本稿では,政治質問・回答セッションにおける回答の質を評価するための新しい手法を提案する。
提案手法は,全回答の精度に基づいて,回答の質を計測することから成り立っている。
- 参考スコア（独自算出の注目度）: 0.5261718469769449
- License:
- Abstract: This paper proposes a novel methodology for assessing the quality of answers in political question-and-answer sessions. Our approach consists of measuring the quality of an answer based on how accurately it can be identified among all observed answers given the question. This reflects the relevance and depth of engagement of the answer to the question. Similarly to semantic search, this measurement approach can be implemented by training a language model on the corpus of observed questions and answers without additional labeled data. We showcase and validate our methodology using data from the Question Period in the Canadian House of Commons. Our analysis reveals that while some answers have a weak semantic connection with questions, hinting at some evasion or obfuscation, answers are generally relevant, far surpassing what would be expected from random replies. Besides, our findings provide valuable insights into the correlates of answer quality. We find significant variations based on the party affiliation of the members of Parliament posing the questions. Finally, we uncover a meaningful correlation between the quality of answers and the topic of the questions.
- Abstract（参考訳）: 本稿では,政治質問・回答セッションにおける回答の質を評価するための新しい手法を提案する。
提案手法は, 回答の質を, 質問から得られたすべての回答のうち, どの程度正確に識別できるかに基づいて測定する。
これは、質問に対する回答の関与の関連性と深さを反映している。
セマンティックサーチと同様に、この測定手法は、追加のラベル付きデータなしで観察された質問や回答のコーパス上で言語モデルを訓練することで実現することができる。
カナダ庶民院における質問期間のデータを用いて,我々の方法論を実証し,検証した。
我々の分析によると、いくつかの答えは質問と弱いセマンティックな関係を持ち、何らかの回避や難読化を示唆するが、答えは一般に関係があり、ランダムな応答から期待されるものよりもはるかに多い。
さらに,回答の質の相関に関する貴重な知見が得られた。
我々は,質問を呈する議員の党員関係に基づいて,大きなバリエーションを見出した。
最後に,回答の質と質問の話題との間に有意な相関関係を明らかにする。
関連論文リスト
- "I Never Said That": A dataset, taxonomy and baselines on response clarity classification [4.16330182801919]
本稿では,応答の明瞭さを検出し分類するタスクを編み出した新しい分類法を提案する。
提案する2段階分類法は,質問に対する回答の明瞭度を,質問に対する情報提供の観点から明らかにする。
ChatGPTと人間のアノテーションを組み合わせて、政治インタビューから個別のQAペアを収集、検証、注釈付けします。
論文 参考訳（メタデータ） (2024-09-20T20:15:06Z) - How to Engage Your Readers? Generating Guiding Questions to Promote Active Reading [60.19226384241482]
教科書や科学論文から10Kのインテキスト質問のデータセットであるGuidingQを紹介した。
言語モデルを用いてこのような質問を生成するための様々なアプローチを探索する。
我々は、そのような質問が読解に与える影響を理解するために、人間の研究を行う。
論文 参考訳（メタデータ） (2024-07-19T13:42:56Z) - CLARINET: Augmenting Language Models to Ask Clarification Questions for Retrieval [52.134133938779776]
CLARINETは,回答が正しい候補の確実性を最大化する質問を選択することで,情報的明確化を問うシステムである。
提案手法は,大規模言語モデル(LLM)を検索分布の条件付きで拡張し,各ターンで真の候補のランクを最大化する問題を生成する。
論文 参考訳（メタデータ） (2024-04-28T18:21:31Z) - Controllable Decontextualization of Yes/No Question and Answers into
Factual Statements [28.02936811004903]
本稿では,極性質問に対する回答の制御可能な書き直しの問題に対処する。
本稿では,ソフト制約を利用して制御可能な書き換えを実現するトランスフォーマーシーケンス to シーケンスモデルを提案する。
論文 参考訳（メタデータ） (2024-01-18T07:52:12Z) - ExpertQA: Expert-Curated Questions and Attributed Answers [51.68314045809179]
我々は,様々な属性と事実の軸に沿って,いくつかの代表システムからの応答を人為的に評価する。
我々は32分野にわたる484人の被験者から専門家による質問を収集し、同じ専門家に自身の質問に対する反応を評価する。
分析の結果は,32分野にまたがる2177の質問と,回答の検証とクレームの属性を備えた高品質な長文QAデータセットであるExpertQAである。
論文 参考訳（メタデータ） (2023-09-14T16:54:34Z) - Answering Ambiguous Questions with a Database of Questions, Answers, and
Revisions [95.92276099234344]
ウィキペディアから生成される曖昧な質問のデータベースを利用して、あいまいな質問に答えるための新しい最先端技術を提案する。
提案手法は,リコール対策で15%,予測出力から不明瞭な質問を評価する尺度で10%向上する。
論文 参考訳（メタデータ） (2023-08-16T20:23:16Z) - Selectively Answering Ambiguous Questions [38.83930394700588]
我々は, サンプルモデル出力における繰り返しの定量化が, 退避時期を決定する最も信頼性の高い手法であることが判明した。
その結果,サンプリングに基づく信頼度スコアは,比較的あいまいな質問に対する回答のキャリブレーションに有効であることが示唆された。
論文 参考訳（メタデータ） (2023-05-24T01:25:38Z) - Improving the Question Answering Quality using Answer Candidate
Filtering based on Natural-Language Features [117.44028458220427]
本稿では,質問応答(QA)の品質をいかに改善できるかという課題に対処する。
私たちの主な貢献は、QAシステムが提供する間違った回答を識別できるアプローチです。
特に,提案手法は誤答の大部分を除去しつつ,その可能性を示した。
論文 参考訳（メタデータ） (2021-12-10T11:09:44Z) - Discourse Comprehension: A Question Answering Framework to Represent
Sentence Connections [35.005593397252746]
談話理解のためのモデルの構築と評価における重要な課題は、注釈付きデータの欠如である。
本稿では,ニュース文書の理解を目的としたスケーラブルなデータ収集を実現する新しいパラダイムを提案する。
得られたコーパスDCQAは、607の英語文書からなる22,430の質問応答ペアで構成されている。
論文 参考訳（メタデータ） (2021-11-01T04:50:26Z) - A Dataset of Information-Seeking Questions and Answers Anchored in
Research Papers [66.11048565324468]
1,585の自然言語処理論文に関する5,049の質問のデータセットを提示する。
各質問は、対応する論文のタイトルと要約のみを読むNLP実践者によって書かれ、質問は全文に存在する情報を求めます。
他のQAタスクでうまく機能する既存のモデルは、これらの質問に答える上ではうまく機能せず、論文全体から回答する際には、少なくとも27 F1ポイントパフォーマンスが低下します。
論文 参考訳（メタデータ） (2021-05-07T00:12:34Z) - Stay Hungry, Stay Focused: Generating Informative and Specific Questions
in Information-Seeking Conversations [41.74162467619795]
情報非対称な会話における情報的質問生成の問題について検討する。
実践的な質問を生成するために,情報量測定を最適化するために強化学習を用いる。
そこで本研究では,提案した実用的質問は,ベースラインモデル上で生成した質問の有意性と特異性を大幅に向上させることを示す。
論文 参考訳（メタデータ） (2020-04-30T00:49:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。