論文の概要: Relevance is not enough: A Communication-Oriented Retrieval System for Consequential Scientific Question Answering
- arxiv url: http://arxiv.org/abs/2609.06222v1
- Date: Sat, 05 Sep 2026 18:41:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-12 06:25:59.49494
- Title: Relevance is not enough: A Communication-Oriented Retrieval System for Consequential Scientific Question Answering
- Title（参考訳）: 関連性は十分ではない:連続的な科学的質問応答のためのコミュニケーション指向検索システム
- Abstract要約: 結果が直接人々の生活を形作り、それらを公共の水質コミュニケーションシステムを通じて研究する、連続的な科学的問題に焦点をあてる。
本システムではまず,まず推論型で各質問を分類し,その後フォローアップ質問を生成し,欠落した証拠を同定する。
あるコンポーネントは、既知のものと不確実なものを明確に区別し、別のコンポーネントは、科学的詳細をアクセス可能な言語に書き換える。
- 参考スコア（独自算出の注目度）: 0.22499166814992436
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI systems increasingly answer scientific questions about health, safety, and the environment. But most retrieval-augmented generation systems are tuned to provide factually correct, on-topic answers rather than to help non-experts understand what those answers mean for their lives and decisions. We focus on consequential scientific questions whose results directly shape people's lives and study them through a public water-quality communication system, where residents and community leaders interpret the findings and choose actions. Their experiences show that on-topic answers can still be insufficient without explanation and context and that the emotional weight of risk information cannot be ignored. Our system first classifies each question by reasoning type (for example, causal versus policy-based), then generates follow-up questions to identify missing evidence and retrieve it. One component clearly distinguishes between what is known and what is uncertain, while another rewrites scientific details into accessible language, using persona-based styles, such as a caring neighbor or an administrative official, to adapt tone and readability. Ablations on over $160$ questions show that the system uses $\textit{an order of magnitude less context}$ and, in several configurations, improves human-rated completeness. A completeness metric co-designed with community members and a fine-tuned learned judge reveal that standard relevance scores explain about $1\%$ of variation in human completeness ratings, and even the tuned judge only moderately aligns with humans, indicating that completeness is a distinct human-centered objective that current metrics do not reliably capture.
- Abstract（参考訳）: AIシステムは、健康、安全、環境に関する科学的疑問にますます答える。
しかし、ほとんどの検索強化された生成システムは、非専門家がそれらの答えが人生や決定にとって何を意味するかを理解するのを助けるのではなく、事実的に正しいオントピー的な回答を提供するように調整されている。
我々は,住民やコミュニティのリーダーが発見を解釈して行動を選択する公共の水質コミュニケーションシステムを通じて,人々の生活を直接的に形作り,それらを研究する,連続的な科学的質問に焦点をあてる。
彼らの経験から、オントピー的な回答は、説明や文脈なしには不十分であり、リスク情報の感情的な重みを無視できないことが示されている。
本システムではまず,まず推論型(例えば因果関係とポリシーベース)で各質問を分類し,その後フォローアップ質問を生成し,行方不明な証拠を特定して検索する。
あるコンポーネントは、何が知られているのか、何が不確実なのかを明確に区別し、別のコンポーネントは、気遣いの隣人や行政官のようなペルソナに基づくスタイルを使って、科学的詳細をアクセシブル言語に書き直し、トーンと可読性に適応させる。
160ドル以上の質問に対するアブレーションによると、システムは$\textit{an order of magnitude less context}$を使用し、いくつかの設定では、人間の評価された完全性を改善する。
コミュニティメンバーと微調整された審査員が共同で設計した完全度基準では、標準的な関連度スコアが人間の完全度評価の約1.5%の変動を説明でき、調整された審査員でさえ人間と適度に一致しているだけであり、完全性は現在の測定基準が確実に捉えられていない別個の人間中心の目標であることを示している。
関連論文リスト
- A dataset of rated conceptual arguments [49.54098427599201]
本研究では,大言語モデルの概念的疑問を推論する能力について検討する。
哲学的な問題の多くは、AIの安全性、意思決定理論、社会的選択における問題の中心的な要素である。
位置テキスト442の議論的批判を991のデータセットで紹介する。
論文 参考訳（メタデータ） (2026-07-29T22:30:59Z) - Rel-A.I.: An Interaction-Centered Approach To Measuring Human-LM Reliance [73.19687314438133]
インタラクションの文脈的特徴が依存に与える影響について検討する。
文脈特性が人間の信頼行動に大きく影響していることが判明した。
これらの結果から,キャリブレーションと言語品質だけでは人間とLMの相互作用のリスクを評価するには不十分であることが示唆された。
論文 参考訳（メタデータ） (2024-07-10T18:00:05Z) - Certainly Uncertain: A Benchmark and Metric for Multimodal Epistemic and Aleatoric Awareness [106.52630978891054]
視覚言語AIシステムに特有の不確実性の分類法を提案する。
また、精度と校正誤差の両方によく相関する新しい計量信頼度重み付き精度を導入する。
論文 参考訳（メタデータ） (2024-07-02T04:23:54Z) - ChatGPT Rates Natural Language Explanation Quality Like Humans: But on Which Scales? [7.307538454513983]
本研究では,ChatGPTと人的評価のアライメントについて,複数の尺度で検討する。
3つのNLEデータセットから300のデータインスタンスをサンプリングし、900人のアノテーションを収集します。
以上の結果から,ChatGPTはより粗いスケールで人間とよく一致していることがわかった。
論文 参考訳（メタデータ） (2024-03-26T04:07:08Z) - SADAS: A Dialogue Assistant System Towards Remediating Norm Violations
in Bilingual Socio-Cultural Conversations [56.31816995795216]
SADAS(Socially-Aware Dialogue Assistant System)は、会話が敬意と理解で広がることを保証するためのシステムである。
本システムの新しいアーキテクチャは,(1)対話に存在する規範のカテゴリを特定すること,(2)潜在的な規範違反を検出すること,(3)違反の深刻さを評価すること,(4)違反の是正を目的とした対策を実施すること,を含む。
論文 参考訳（メタデータ） (2024-01-29T08:54:21Z) - Solving NLP Problems through Human-System Collaboration: A
Discussion-based Approach [98.13835740351932]
本研究の目的は,対話を通じて予測を議論・洗練するシステムのための,データセットと計算フレームワークを構築することである。
提案システムでは,自然言語推論タスクにおいて,最大25ポイントの精度向上が期待できることを示す。
論文 参考訳（メタデータ） (2023-05-19T16:24:50Z) - Overinformative Question Answering by Humans and Machines [26.31070412632125]
人間の回答における過剰な表現性は、質問者の目標に対する関連性を考えることによって引き起こされることを示す。
本研究は, GPT-3が, 実例と認知動機のある説明によって導かれるときの, 刺激的かつ人間的な回答パターンの形式に非常に敏感であることを示す。
論文 参考訳（メタデータ） (2023-05-11T21:41:41Z) - World Knowledge in Multiple Choice Reading Comprehension [0.0]
複数の選択読解システムでは、コンテキストパスにアクセスすることなく、平均的にランダムに答えることが可能である。
本稿では,この観察をテストデザイナのツールとして活用し,特定の質問に対して「世界知識」の使用が許容可能であることを確かめる。
2つの指標が述べられている: パスフリーなシステムが世界知識を用いて質問を識別できるかどうかを測定するオプションの数と、与えられた質問に対する文脈の重要性を測定する文脈的相互情報である。
論文 参考訳（メタデータ） (2022-11-13T23:02:09Z) - Medical Question Understanding and Answering with Knowledge Grounding
and Semantic Self-Supervision [53.692793122749414]
本稿では,知識基盤とセマンティック・セルフスーパービジョンを備えた医療質問理解・回答システムについて紹介する。
我々のシステムは、まず、教師付き要約損失を用いて、長い医学的、ユーザによる質問を要約するパイプラインである。
システムはまず、信頼された医療知識ベースから要約されたユーザ質問とFAQとをマッチングし、対応する回答文書から一定の数の関連文を検索する。
論文 参考訳（メタデータ） (2022-09-30T08:20:32Z) - Interactive Question Answering Systems: Literature Review [17.033640293433397]
対話型質問応答(Interactive Question answering)は、質問応答と対話システムの交差点に存在する、最近提案され、ますます人気が高まっているソリューションである。
ユーザがより多くの質問をできるようにすることで、インタラクティブな質問応答によって、ユーザはシステムと動的に対話し、より正確な結果を受け取ることができる。
本調査は,現在の文献で広く普及している対話型質問応答法の概要を概説する。
論文 参考訳（メタデータ） (2022-09-04T13:46:54Z) - Revealing Persona Biases in Dialogue Systems [64.96908171646808]
対話システムにおけるペルソナバイアスに関する最初の大規模研究について述べる。
我々は、異なる社会階級、性的指向、人種、性別のペルソナの分析を行う。
BlenderおよびDialoGPT対話システムの研究では、ペルソナの選択が生成された応答の害の程度に影響を与える可能性があることを示しています。
論文 参考訳（メタデータ） (2021-04-18T05:44:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。