Fugu-MT 論文翻訳(概要): Arctic Questions, Missing Answers: A Dataset and Benchmark for LLM Abstention in Arctic Science

論文の概要: Arctic Questions, Missing Answers: A Dataset and Benchmark for LLM Abstention in Arctic Science

arxiv url: http://arxiv.org/abs/2610.09446v1
Date: Wed, 07 Oct 2026 04:58:28 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-08 21:58:22.720059
Title: Arctic Questions, Missing Answers: A Dataset and Benchmark for LLM Abstention in Arctic Science
Title（参考訳）: 北極に関する質問と回答の欠如: 北極科学におけるLLMの欠如に関するデータセットとベンチマーク
Abstract要約: 大規模言語モデル(LLM)は、選択肢がない場合、科学的多重選択質問を控えるべきである。本研究では,北極調査から得られた194質問のデータセットであるArcticQAを紹介する。我々は,回答提示条件と回答遵守条件を比較したベンチマークであるArcticAbstainを開発した。
参考スコア（独自算出の注目度）: 12.809362593421717
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large language models (LLMs) should abstain from scientific multiple-choice questions when no option is valid, but frequent abstention alone does not demonstrate sensitivity to answer availability. We introduce ArcticQA, a dataset of 194 questions derived from primary Arctic research, with automated checks of answer support and distractor contradiction against source evidence. We further develop ArcticAbstain, a paired benchmark comparing answer-present and answer-absent conditions, with the correct answer replaced by a distractor in the latter and an explicit abstention option in both. We evaluate eight models from the Gemini, Claude, and ChatGPT families at high reasoning effort, with three trials per condition, yielding 9,312 recorded responses. Answer-present abstention rates range from 0.0% to 63.0%, whereas replacing the correct answer increases abstention by 5.05 percentage points on average. These findings highlight substantial baseline differences and the need to evaluate abstention frequency and responsiveness jointly. The dataset and benchmark are available at https://github.com/BenWilcox8/arctic-qa.
Abstract（参考訳）: 大規模言語モデル(LLM)は、オプションが有効でない場合、科学的多重選択質問を棄却するべきであるが、頻繁な棄権だけでは、可用性に反応する感度は示さない。主要な北極調査から得られた194の質問のデータセットであるArcticQAを紹介する。さらに,回答提示条件と回答遵守条件を比較したペアベンチマークであるArcticAbstainを開発し,その正解を後者の気晴らし器に置き換えた。 Gemini, Claude, ChatGPTの8種類のモデルを高い推理力で評価した。回答対象の棄権率は0.0%から63.0%の範囲であるが、正しい回答を置き換えると平均5.05ポイントの棄権率が増加する。以上の結果から,有意な基線差と,吸収周波数と応答性の評価の必要性が示唆された。データセットとベンチマークはhttps://github.com/BenWilcox8/arctic-qa.comで公開されている。

関連論文リスト

Relevance Is Not Sufficient Evidence: Detecting Evidence Gaps Before Generation in RAG [2.164748306809488]
Retrieval-augmented Generationは、外部ソースで大きな言語モデルを構築する。 12個の発電機が40.0-99.3%の証拠不十分な質問に答えている。質問のすべての部分がカバーされているか、どの文が答えを提供するのか、そして、その文を一緒に読んでいる小さな言語モデルで十分な判断を下すか、という3つの信号を組み合わせてRINSEを紹介する。
論文参考訳（メタデータ） (2026-09-27T17:39:51Z)
From Knowing to Abstaining: Bridging the Representation-Action Gap in Vision-Language Models [7.641622965415444]
本稿では,2段階のショートカットフィルタと品質検証のパイプラインによって構築されたベンチマークであるVAD-R(Visual Answerability Diagnosis with Rationales)を紹介する。 VAD-Rは、それぞれ11.4%と16.3%のリコール率しか持たない、自発的な停止が制限されている。本稿ではRep2Actを提案する。Rep2Actは、潜在応答可能性認識を明示的な棄却決定に変換する表現対アクションアライメント手法である。
論文参考訳（メタデータ） (2026-09-26T14:12:08Z)
Prompt-Based Abstention Fails Under Misleading Context: A Controlled Study of Small Frozen RAG Models [0.0]
誤りや誤解を招く証拠は、検索強化世代でも同じ問題ではない。証拠が欠落している場合、モデルは確実に棄却されるが、明示的な棄却の下では、誤解を招く質問の41.6%は依然として答えている。
論文参考訳（メタデータ） (2026-08-23T05:43:27Z)
Putting HUMANS first: Efficient LAM Evaluation with Human Preference Alignment [53.72927532626824]
わずか50個のサンプル(0.3%のデータ)のサブセットは、完全なベンチマークスコアと0.93以上のピアソン相関を達成可能であることを示す。選好をより良く予測するために、選択したサブセットの回帰モデルを訓練し、0.98の相関を達成した。これは回帰モデリングにおいて、よく計算されたサブセットが完全なベンチマークを予測し、量を超える品質を示すことを示している。
論文参考訳（メタデータ） (2026-04-20T00:57:31Z)
When Robots Should Say "I Don't Know": Benchmarking Abstention in Embodied Question Answering [27.058973883094]
EQA(Embodied Question Answering)は、エージェントが言語を解釈し、その環境を認識し、3Dシーン内をナビゲートして応答を生成する。我々は、EQAエージェントに対する最小限の要件、棄権:いつ回答を控えるかを知ることに注力する。我々は,行動可能性,参照的不特定性,嗜好依存,情報利用不能,虚偽の先入観の5つのカテゴリーを抽出した。
論文参考訳（メタデータ） (2025-12-04T09:17:40Z)
Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
新規データや不完全データでは,性能が著しく低下することがわかった。これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
論文参考訳（メタデータ） (2025-03-06T15:36:06Z)
Attention-Based Methods For Audio Question Answering [16.82832919748399]
本稿では,音声質問応答タスクに対する自己注意と相互注意に基づくニューラルネットワークアーキテクチャを提案する。すべてのモデルは、最近提案されたClatho-AQAデータセットに基づいて、バイナリのye/no質問とシングルワードの回答質問の両方でトレーニングされています。
論文参考訳（メタデータ） (2023-05-31T12:00:51Z)
Reliable Visual Question Answering: Abstain Rather Than Answer Incorrectly [100.60560477391732]
我々は、信頼性のある視覚的質問応答(VQA)のための問題定式化を促進する。私たちは、彼らのカバレッジ、回答された質問の一部、そしてその部分のエラーの両方を分析します。最高のパフォーマンスモデルは、VQA v2データセットで71%以上の精度を達成するが、そのオプションを導入することで、低いエラー(1%)のリスクを達成するために、8%未満の質問に答えることが制限されることがわかった。これにより、マルチモーダル選択関数を用いて、予測された回答の正しさを直接推定し、例えば5.0%から16.7%のカバレッジを3倍にすることができることを示す。
論文参考訳（メタデータ） (2022-04-28T16:51:27Z)
Double Retrieval and Ranking for Accurate Question Answering [120.69820139008138]
本研究では,トランスフォーマーを用いた解答選択モデルに導入された解答検証ステップが,問合せ解答における解答の精度を大幅に向上させることを示す。 AS2のためのよく知られた3つのデータセットの結果は、最先端の一貫性と大幅な改善を示している。
論文参考訳（メタデータ） (2022-01-16T06:20:07Z)
Reference-based Weak Supervision for Answer Sentence Selection using Web Data [87.18646699292293]
完全自動大規模データパイプラインであるReference-based Weak Supervision (RWS)を紹介する。 RWSは豊富なWebデータから高品質な教師付き回答を抽出する。我々の実験は、生成したデータが常にTANDAを支えていることを示している。
論文参考訳（メタデータ） (2021-04-18T19:41:17Z)
Selective Question Answering under Domain Shift [90.021577320085]
モデルがドメイン外の入力に対して過度に信頼されているため、モデルのソフトマックス確率のみに基づくアテンションポリシーは不適切である。キャリブレータをトレーニングして、QAモデルがアースする入力を識別し、エラーを予測した場合に停止する。提案手法は,80%の精度を維持しながら56%の質問に回答するが,それに対してモデルの確率を直接使用する場合,80%の精度で48%しか回答しない。
論文参考訳（メタデータ） (2020-06-16T19:13:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。