論文の概要: Measuring the Quality of Answers in Political Q&As with Large Language Models
- arxiv url: http://arxiv.org/abs/2404.08816v4
- Date: Fri, 07 Feb 2025 22:14:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-11 14:24:57.244005
- Title: Measuring the Quality of Answers in Political Q&As with Large Language Models
- Title（参考訳）: 大規模言語モデルを用いた政治Q&Aにおける回答の品質測定
- Authors: R. Michael Alvarez, Jacob Morrier,
- Abstract要約: 本稿では,政治質問・回答セッションにおける回答の質を評価するための新しいアプローチを提案する。
提案手法は, ランダムな解答の集合において, 解答がいかに容易かつ正確に認識できるかに基づいて, 解答の質を測ることから構成する。
- 参考スコア（独自算出の注目度）: 0.5261718469769449
- License:
- Abstract: This article proposes a new approach for assessing the quality of answers in political question-and-answer sessions. Our methodology consists of measuring the quality of an answer based on how easily and accurately it can be recognized in a random set of candidate answers given the question's text. This measure reflects the answer's relevance and depth of engagement with the question. Like semantic search, this approach can be implemented by training a language model on the corpus of observed questions and answers without additional human-labeled data. We showcase and validate our methodology within the context of the Question Period in the Canadian House of Commons. Our analysis reveals that while some answers have a weak semantic connection to questions, suggesting some evasion or obfuscation, answers are generally at least moderately relevant, far surpassing what would be expected from random replies. Our analysis also provides valuable insights into the correlates of answer quality: we find significant correlations with the party affiliation of the members of Parliament asking the questions and the topic of the questions.
- Abstract（参考訳）: 本稿では,政治質問・回答セッションにおける回答の質を評価するための新しいアプローチを提案する。
提案手法は,質問文から解答候補のランダムなセットにおいて,解答がいかに容易かつ正確に認識できるかに基づいて,解答の質を測ることから構成する。
この尺度は、質問に対する回答の関連性とエンゲージメントの深さを反映している。
セマンティックサーチと同様に、この手法は、人間のラベルによる追加データなしで観察された質問や回答のコーパス上で言語モデルを訓練することで実装できる。
我々は,カナダ庶民院における質問期間の文脈の中で,我々の方法論を実証し,検証する。
我々の分析によると、いくつかの答えは質問に弱い意味的関係を持ち、回避や難読化を示唆するが、答えは概して適度に関連しており、ランダムな応答から期待されるよりもはるかに上回っている。
我々の分析はまた、回答品質の相関関係に関する貴重な洞察を与えている。我々は、質問と質問のトピックについて質問する議員の党員との重大な相関を見出した。
関連論文リスト
- "I Never Said That": A dataset, taxonomy and baselines on response clarity classification [4.16330182801919]
本稿では,応答の明瞭さを検出し分類するタスクを編み出した新しい分類法を提案する。
提案する2段階分類法は,質問に対する回答の明瞭度を,質問に対する情報提供の観点から明らかにする。
ChatGPTと人間のアノテーションを組み合わせて、政治インタビューから個別のQAペアを収集、検証、注釈付けします。
論文 参考訳（メタデータ） (2024-09-20T20:15:06Z) - How to Engage Your Readers? Generating Guiding Questions to Promote Active Reading [60.19226384241482]
教科書や科学論文から10Kのインテキスト質問のデータセットであるGuidingQを紹介した。
言語モデルを用いてこのような質問を生成するための様々なアプローチを探索する。
我々は、そのような質問が読解に与える影響を理解するために、人間の研究を行う。
論文 参考訳（メタデータ） (2024-07-19T13:42:56Z) - CLARINET: Augmenting Language Models to Ask Clarification Questions for Retrieval [52.134133938779776]
CLARINETは,回答が正しい候補の確実性を最大化する質問を選択することで,情報的明確化を問うシステムである。
提案手法は,大規模言語モデル(LLM)を検索分布の条件付きで拡張し,各ターンで真の候補のランクを最大化する問題を生成する。
論文 参考訳（メタデータ） (2024-04-28T18:21:31Z) - Controllable Decontextualization of Yes/No Question and Answers into
Factual Statements [28.02936811004903]
本稿では,極性質問に対する回答の制御可能な書き直しの問題に対処する。
本稿では,ソフト制約を利用して制御可能な書き換えを実現するトランスフォーマーシーケンス to シーケンスモデルを提案する。
論文 参考訳（メタデータ） (2024-01-18T07:52:12Z) - ExpertQA: Expert-Curated Questions and Attributed Answers [51.68314045809179]
我々は,様々な属性と事実の軸に沿って,いくつかの代表システムからの応答を人為的に評価する。
我々は32分野にわたる484人の被験者から専門家による質問を収集し、同じ専門家に自身の質問に対する反応を評価する。
分析の結果は,32分野にまたがる2177の質問と,回答の検証とクレームの属性を備えた高品質な長文QAデータセットであるExpertQAである。
論文 参考訳（メタデータ） (2023-09-14T16:54:34Z) - Answering Ambiguous Questions with a Database of Questions, Answers, and
Revisions [95.92276099234344]
ウィキペディアから生成される曖昧な質問のデータベースを利用して、あいまいな質問に答えるための新しい最先端技術を提案する。
提案手法は,リコール対策で15%,予測出力から不明瞭な質問を評価する尺度で10%向上する。
論文 参考訳（メタデータ） (2023-08-16T20:23:16Z) - Selectively Answering Ambiguous Questions [38.83930394700588]
我々は, サンプルモデル出力における繰り返しの定量化が, 退避時期を決定する最も信頼性の高い手法であることが判明した。
その結果,サンプリングに基づく信頼度スコアは,比較的あいまいな質問に対する回答のキャリブレーションに有効であることが示唆された。
論文 参考訳（メタデータ） (2023-05-24T01:25:38Z) - Improving the Question Answering Quality using Answer Candidate
Filtering based on Natural-Language Features [117.44028458220427]
本稿では,質問応答(QA)の品質をいかに改善できるかという課題に対処する。
私たちの主な貢献は、QAシステムが提供する間違った回答を識別できるアプローチです。
特に,提案手法は誤答の大部分を除去しつつ,その可能性を示した。
論文 参考訳（メタデータ） (2021-12-10T11:09:44Z) - Discourse Comprehension: A Question Answering Framework to Represent
Sentence Connections [35.005593397252746]
談話理解のためのモデルの構築と評価における重要な課題は、注釈付きデータの欠如である。
本稿では,ニュース文書の理解を目的としたスケーラブルなデータ収集を実現する新しいパラダイムを提案する。
得られたコーパスDCQAは、607の英語文書からなる22,430の質問応答ペアで構成されている。
論文 参考訳（メタデータ） (2021-11-01T04:50:26Z) - A Dataset of Information-Seeking Questions and Answers Anchored in
Research Papers [66.11048565324468]
1,585の自然言語処理論文に関する5,049の質問のデータセットを提示する。
各質問は、対応する論文のタイトルと要約のみを読むNLP実践者によって書かれ、質問は全文に存在する情報を求めます。
他のQAタスクでうまく機能する既存のモデルは、これらの質問に答える上ではうまく機能せず、論文全体から回答する際には、少なくとも27 F1ポイントパフォーマンスが低下します。
論文 参考訳（メタデータ） (2021-05-07T00:12:34Z) - Stay Hungry, Stay Focused: Generating Informative and Specific Questions
in Information-Seeking Conversations [41.74162467619795]
情報非対称な会話における情報的質問生成の問題について検討する。
実践的な質問を生成するために,情報量測定を最適化するために強化学習を用いる。
そこで本研究では,提案した実用的質問は,ベースラインモデル上で生成した質問の有意性と特異性を大幅に向上させることを示す。
論文 参考訳（メタデータ） (2020-04-30T00:49:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。