論文の概要: Ask Before You Answer: A Question-Driven Evidence Reasoning Architecture (QERA) for In-Context Learning

• arxiv url: http://arxiv.org/abs/2610.35083v2
• Date: Tue, 27 Oct 2026 07:43:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.357576
• Title: Ask Before You Answer: A Question-Driven Evidence Reasoning Architecture (QERA) for In-Context Learning
• Title（参考訳）: 質問に答える前に聞く: インコンテキスト学習のための質問駆動エビデンス推論アーキテクチャ(QERA)
• Abstract要約: 質問駆動のエビデンス推論アーキテクチャであるQERAを提案する。 QERAはまず要求を要求チェックリストと入力された情報要求に変換し、ユーザーの言葉に忠実なコードでフィルタリングする。 その後、会話全体から回答し、コードによって検証された引用で同じ質問を繰り返す。
• 参考スコア（独自算出の注目度）: 55.5725245335962
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI assistants are increasingly asked to reason over a user's own web traces: group chats, community threads, activity logs and revision histories. On CL-bench Life, a benchmark of such real-life context learning, frontier LLMs solve fewer than one task in five. We find that the request is not the specification: over 80% of the benchmark's rubrics share less than 60% of their content words with the final request, as for a rule set two turns earlier or every record that meets the user's criterion, and LLMs answering directly pass only 67% of these implicit rubrics against 81% of the others. We propose QERA, a Question-driven Evidence Reasoning Architecture that asks before it answers. QERA first turns the request into a requirement checklist and typed information needs, filtered by code for faithfulness to the user's words; it then answers from the whole conversation, asks the same questions again with quotes verified by code, and applies a guarded local repair. It needs no training or rubrics and makes about four LLM calls per task. On all 405 tasks with four frontier LLMs, QERA attains the highest solving rate on every LLM (21.0% on average, against 18.2% for the strongest of three inference-time baselines and 14.6% for direct answering) and leads every baseline significantly when pooled across LLMs, while using fewer tokens than PSCI and 4-5% of the tokens of Ctx2Skill. Ablations on GPT-6-Luna show that the gain is settled before the answer, by a fixed answer protocol (+3.8 rubric points) and the request-specific questions (+1.6), and that it is concentrated on implicit rubrics, with checking afterwards refining mainly numeric requirements.
• Abstract（参考訳）: AIアシスタントは、グループチャット、コミュニティスレッド、アクティビティログ、リビジョン履歴など、ユーザのWebトレースを推論するよう、ますます求められている。 このような現実的な文脈学習のベンチマークであるCL-bench Lifeでは、フロンティアLSMは5つに1つ未満のタスクを解決している。 ベンチマークのルーブリックの80%以上が最終要求でコンテンツワードの60%未満を共有しており、ルールが2回早く設定されたり、ユーザの基準に合致するレコードがすべて設定されていたり、LSMが直接答えるルーブリックは81%に対して67%に過ぎなかったりします。 質問駆動のエビデンス推論アーキテクチャであるQERAを提案する。 QERAはまず要求を要求チェックリストと入力された情報要求に変換し、ユーザーの言葉に忠実なコードでフィルタリングし、会話全体から回答し、コードによって検証された引用で再度同じ質問をし、保護された局所的な修復を適用する。 トレーニングやルーブリックは不要で、タスク毎に約4つのLLMコールを行う。 4つのフロンティア LLM を持つ全ての 405 タスクにおいて、QERA は全ての LLM 上で最高解率(平均で21.0%、平均で18.2%、推論時間ベースラインで最強が18.2%、直接解答で14.6%)を獲得し、PSCI よりも少ないトークンを使用し、Ctx2Skill のトークンの 4-5% を使用する一方で、LLM にまたがる全てのベースラインを著しく導く。 GPT-6-ルナのアブレーションは、解答プロトコル(+3.8ルーブリック点)と要求固有の質問(+1.6)によって、解答の前に利得が落ち着き、暗黙のルーブリックに集中していることを示し、その後、主に数値的な要件を精査する。

関連論文リスト

• None of the Others: a General Technique to Distinguish Reasoning from Memorization in Multiple-Choice LLM Evaluation Benchmarks [0.9831489366502301]
  本稿では,これまで見られたトークンや概念から正解を完全に解離する,複数選択質問に対する一般的な変分手法を提案する。 この手法を用いて、英語とスペイン語で利用可能な2つのデータセットに基づいて、最先端のプロプライエタリおよびオープンソースLLMを評価する。 その結果, MMLUでは平均57%, UNED-Access 2024では50%の精度低下がみられた。
  論文  参考訳（メタデータ） (2025-02-18T14:32:44Z)
• Modeling Future Conversation Turns to Teach LLMs to Ask Clarifying Questions [45.04582353648683]
  大規模言語モデル(LLM)は、しばしば非常にあいまいなユーザー要求に応答しなければならない。 既存のLLMは、そのような曖昧な要求の単一解釈を前提とすることで、異なる解釈を意図したユーザーをいらいらさせる。 今後,期待する結果をシミュレーションして選好ラベルを提案する。 これによってLLMは、将来の順番で各ユーザの解釈に合わせた応答を生成することができるのか、明確な質問を学べるようになる。
  論文  参考訳（メタデータ） (2024-10-17T17:29:04Z)
• SuRe: Summarizing Retrievals using Answer Candidates for Open-domain QA of LLMs [85.54906813106683]
  大規模言語モデル(LLM)を用いたオープンドメイン質問応答(ODQA)の簡易かつ効果的なフレームワークを提案する。 SuRe は LLM が与えられた質問に対するより正確な回答を予測するのに役立つ。 様々なODQAベンチマークの実験結果はSuReの優位性を示し、標準的なプロンプトアプローチよりも4.6%、F1スコアが4.0%向上した。
  論文  参考訳（メタデータ） (2024-04-17T01:15:54Z)
• The Earth is Flat? Unveiling Factual Errors in Large Language Models [89.94270049334479]
  ChatGPTのような大規模言語モデル(LLM)は、事前学習や微調整の知識が豊富にあるため、様々な応用がある。 それにもかかわらず、医療、ジャーナリズム、教育といった重要な分野に懸念を抱き、事実と常識の誤りを引き起こす傾向にある。 LLMにおける事実不正確な事実を明らかにすることを目的とした,新しい自動テストフレームワークであるFactCheckerを紹介する。
  論文  参考訳（メタデータ） (2024-01-01T14:02:27Z)
• FreshLLMs: Refreshing Large Language Models with Search Engine Augmentation [92.43001160060376]
  本研究では,現在の世界知識をテストする質問に答える文脈において,大規模言語モデル(LLM)の事実性について検討する。 多様な質問や回答のタイプを含む新しい動的QAベンチマークであるFreshQAを紹介する。 我々は,2モード評価法により,閉じたLLMとオープンソースのLLMの多種多様な配列をベンチマークし,その正しさと幻覚の両面を計測する。 これらの結果に触発されたFreshPromptは、FreshQA上でのLLMの性能を大幅に向上させる単純な数ショットプロンプトである。
  論文  参考訳（メタデータ） (2023-10-05T00:04:12Z)
• Allies: Prompting Large Language Model with Beam Search [107.38790111856761]
  本研究では,ALIESと呼ばれる新しい手法を提案する。 入力クエリが与えられた場合、ALLIESはLLMを活用して、元のクエリに関連する新しいクエリを反復的に生成する。 元のクエリのスコープを反復的に精錬して拡張することにより、ALLIESは直接検索できない隠れた知識をキャプチャし、利用する。
  論文  参考訳（メタデータ） (2023-05-24T06:16:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。