論文の概要: Reading Between the Chapters: A Graph-Free RAG Rebuilt With AI and Human Feedback

• arxiv url: http://arxiv.org/abs/2611.00752v1
• Date: Sat, 31 Oct 2026 09:01:33 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 20:04:14.370913
• Title: Reading Between the Chapters: A Graph-Free RAG Rebuilt With AI and Human Feedback
• Title（参考訳）: 章の間を読む:AIと人間のフィードバックでグラフのないRAGを再構築
• Abstract要約: 14冊のパブリックドメイン書籍にCrossChapterQA, 1,853の質問を紹介する。 各質問には、必要な2章から6章(中央値の半分)とそれらをリンクする関係をリストアップし、それぞれから証拠を引用し、2つの独立した参照回答を目視で評価する。 私たちはLadderRAGの構築に使用しています。これは、書籍をパス、要約、および書籍レベルのカードとして約0.11ドルでインデックスし、1セント以下の質問に答えます。
• 参考スコア（独自算出の注目度）: 0.3525984766628294
• License:
• Abstract: Many questions about a book can only be answered by connecting passages chapters apart, such as a cough heard three times across a horse's life. We introduce CrossChapterQA, 1,853 such questions over 14 public-domain books. Each question lists the two to six chapters it needs (spanning half the book at the median) and the relation linking them, cites evidence from each, and has two independent reference answers graded blind. We use it to build LadderRAG, which indexes a book as passages, summaries and book-level cards for about $0.41 and answers a question for under a cent. Its first version failed mostly at retrieval. We redesigned it four times, steered by an LLM judge's verdicts and our analyses of failed answers: a design-level counterpart of RLAIF and RLHF in which feedback changes the architecture, not model weights. We also report the two redesigns that made answers worse. On the 191 questions its first version got wrong, the final version retrieves over twice as many required chapters on held-out books (recall 0.36 to 0.79), and ten annotators rate its answers 6.5/10 on average (764 ratings).
• Abstract（参考訳）: 書物に関する多くの疑問は、馬の生涯に3回も耳を傾けるくしゃみなど、章を別々に繋げることによってのみ答えられる。 14冊のパブリックドメインの書籍にCrossChapterQA, 1,853の質問を紹介する。 各質問には、必要な2章から6章(中央値の半分)とそれらをリンクする関係をリストアップし、それぞれから証拠を引用し、2つの独立した参照回答を目立たせている。 私たちはLadderRAGの構築に使用しています。これは、書籍を通路、要約、および書籍レベルのカードとして、約0.41ドルで索引付けし、1セント以下の質問に答えます。 最初のバージョンは回収に失敗した。 RLAIFとRLHFは、フィードバックがモデル重みではなくアーキテクチャを変える設計レベルのものだ。 また、回答を悪化させる2つの再設計も報告しています。 191の質問では、最初のバージョンが間違っており、最終バージョンでは、保留中の本(0.36から0.79まで)の2倍以上の必要な章が検索され、10人の注釈者が平均で6.5/10の回答を評価している(764回)。

関連論文リスト

• Localizing and Mitigating Errors in Long-form Question Answering [79.63372684264921]
  LFQA(Long-form Question answering)は、複雑な質問に対して徹底的で深い回答を提供し、理解を深めることを目的としている。 この研究は、人書きおよびモデル生成LFQA回答の局所的エラーアノテーションを備えた最初の幻覚データセットであるHaluQuestQAを紹介する。
  論文  参考訳（メタデータ） (2024-07-16T17:23:16Z)
• On the Robustness of Question Rewriting Systems to Questions of Varying Hardness [43.63930447922717]
  我々は、難易度や難易度に異なる質問に対するQRシステムの堅牢性に興味を持っている。 まず,質問と書き直しの相違を計測することにより,質問を様々な難易度の部分集合に自動的に分類する手法を提案する。 QRシステムのロバスト性を高めるために,ある難易度の質問のサブセットに独立してQRモデルをトレーニングする新しいQR学習フレームワークを提案し,これらのQRモデルを推論のジョイントモデルとして組み合わせた。
  論文  参考訳（メタデータ） (2023-11-12T11:09:30Z)
• Answering Ambiguous Questions with a Database of Questions, Answers, and Revisions [95.92276099234344]
  ウィキペディアから生成される曖昧な質問のデータベースを利用して、あいまいな質問に答えるための新しい最先端技術を提案する。 提案手法は,リコール対策で15%,予測出力から不明瞭な質問を評価する尺度で10%向上する。
  論文  参考訳（メタデータ） (2023-08-16T20:23:16Z)
• QAMPARI: An Open-domain Question Answering Benchmark for Questions with Many Answers from Multiple Paragraphs [42.843866049949206]
  本稿では,質問応答がエンティティのリストであるODQAベンチマークであるQAMPARIを紹介する。 我々は、(a)ウィキペディアの知識グラフと表から複数の回答で質問を生成することによりQAMPARIを作成し、(b)ウィキペディアの段落で裏付ける証拠と自動的に回答をペアリングし、(c)質問を手動で言い換え、各回答を検証することで、QAMPARIを作成する。 我々は、検索・読解系からODQAモデルを訓練し、QAMPARIは経路検索と解答生成の両方の観点から困難であり、F1スコアが32.8に達することを発見した。
  論文  参考訳（メタデータ） (2022-05-25T11:21:30Z)
• No Answer is Better Than Wrong Answer: A Reflection Model for Document Level Machine Reading Comprehension [92.57688872599998]
  本稿では,全ての回答型を体系的に扱う新しい手法を提案する。 特に,2段階の訓練手法を応用し,非解答事例と誤答事例を識別する反射ネットという新しい手法を提案する。 F1スコアはそれぞれ77.2点,64.1点であった。
  論文  参考訳（メタデータ） (2020-09-25T06:57:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。