論文の概要: ChunkRank: Model-Aware Text Chunking and Abstention-Aware Answer Selection for LLM Pipelines

• arxiv url: http://arxiv.org/abs/2609.29828v1
• Date: Thu, 24 Sep 2026 13:59:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.970063
• Title: ChunkRank: Model-Aware Text Chunking and Abstention-Aware Answer Selection for LLM Pipelines
• Title（参考訳）: ChunkRank: LLMパイプラインのモデル対応テキストチャンキングとアテンション対応アンサー選択
• Abstract要約: ChunkRankは、ターゲットモデルのトークン化子とコンテキストウィンドウからチャンク境界を導出するPythonライブラリである。 集団ごとに独立して生成される候補者の中から、答えを選択する。 15のプロバイダと6つの回答-選択方法にまたがる90のモデルの検証済みレジストリを出荷する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present ChunkRank, an open-source Python library that derives chunk boundaries from a target model's tokenizer and context window, and selects an answer among candidates produced independently per chunk. It ships a validated registry of 90 models across 15 providers and six answer-selection methods, and needs only three core dependencies. For chunking, ChunkRank avoids context-window overflow automatically from the model name, whereas character-based splitters overflow or waste the budget, and a fidelity study across 11 languages shows why token-exact budgets matter beyond English. For answer selection we report a negative result: on NaturalQuestions, TriviaQA and HotpotQA, with extractive and generative readers, no content-based ranker reliably beats taking the first non-empty answer. The reason is reader abstention on chunks that lack the answer, not answer position. A long-context baseline shows that chunking matches single-call reading on single-hop questions, so ChunkRank targets small-window and beyond-window settings. Code, registry and evaluation harness are released.
• Abstract（参考訳）: 対象モデルのトークンやコンテキストウィンドウからチャンク境界を導出するオープンソースのPythonライブラリであるChunkRankを紹介し,チャンク毎に独立して生成された候補の中から回答を選択する。 15のプロバイダと6つの回答選択メソッドで90モデルの検証済みのレジストリを出荷し、3つのコア依存関係しか必要としない。 チャンキングでは、ChunkRankはコンテキストウィンドウのオーバーフローをモデル名から自動的に回避し、文字ベースのスプリッターはオーバーフローしたり予算を浪費したりする。 NaturalQuestions、TriviaQA、HotpotQAでは、抽出的かつ生成的読者を持つコンテンツベースのランキングが、最初の空でない回答を確実に上回ることはない。 理由は、答えが無く、答えの位置がわからないチャンクを読者が無視するからである。 長いコンテキストのベースラインでは、チャンキングはシングルホップの質問でシングルコールの読み取りと一致しているため、ChunkRankは小さなウィンドウと、向こうのウィンドウの設定をターゲットにしている。 コード、レジストリ、評価ハーネスがリリースされている。

関連論文リスト

• From Item-Only to Query-Item: Query-Conditioned Generative Search with QGS in Quark [8.408261237886899]
  生成シーケンスモデルは推奨に強い結果を示している。 それらを検索ランキングに適用することは、もっと難しい。 本稿では,QGS(Query-Conditioned Generative Search)を提案する。
  論文  参考訳（メタデータ） (2026-05-25T07:18:51Z)
• Self-Verified Distillation: Your Language Model Is Secretly Its Own Synthetic Data Pipeline [56.53954182896384]
  大規模言語モデルのための簡単な訓練後改良アルゴリズムである自己検証蒸留を提案する。 自己検証蒸留(Self-Verified Distillation)は、未ラベルの種問に対する候補解を生成する。 プロンプトベースの自己検証を使用してフィルタリングし、結果の自己計算データセットをトレーニングする。 トレーニングデータ構築中に、より多くの候補世代をサンプリングし、より大きな検証予算を使用することで、高品質な自己計算データが得られることがわかった。
  論文  参考訳（メタデータ） (2026-05-20T17:26:10Z)
• NovelHopQA: Diagnosing Multi-Hop Reasoning Failures in Long Narrative Contexts [4.716662397532276]
  NovelHopQAは、83の長編小説から64k-128k区切り抜かれた抜粋に対して、1-4ホップQAを評価する最初のベンチマークである。 キーワード誘導パイプラインは、コヒーレントなストーリーラインに接したホップトケンチェーンを構築する。
  論文  参考訳（メタデータ） (2025-05-20T20:54:37Z)
• Answering Ambiguous Questions via Iterative Prompting [84.3426020642704]
  オープンドメインの質問応答では、質問のあいまいさのため、複数の妥当な回答が存在する可能性がある。 ひとつのアプローチは、すべての有効な回答を直接予測することですが、これは、妥当性と多様性のバランスに苦労する可能性があります。 本稿では,あいまいな疑問に答える既存手法の欠陥に対処するため,AmbigPromptを提案する。
  論文  参考訳（メタデータ） (2023-07-08T04:32:17Z)
• Phrase Retrieval for Open-Domain Conversational Question Answering with Conversational Dependency Modeling via Contrastive Learning [54.55643652781891]
  Open-Domain Conversational Question Answering (ODConvQA)は、マルチターン会話を通じて質問に答えることを目的としている。 そこで本研究では,単語列に対する句検索方式を用いて,回答を直接予測する手法を提案する。
  論文  参考訳（メタデータ） (2023-06-07T09:46:38Z)
• Zero-Shot Dialogue Disentanglement by Self-Supervised Entangled Response Selection [79.37200787463917]
  対話の切り離しは、スレッドへの長大かつ多人数の対話において、発話をグループ化することを目的としている。 これは談話分析や対話応答選択などの下流アプリケーションに有用である。 我々はまず,atextbfzero-shotダイアログ・ディアンタングメント・ソリューションを提案する。
  論文  参考訳（メタデータ） (2021-10-25T05:15:01Z)
• ListReader: Extracting List-form Answers for Opinion Questions [18.50111430378249]
  ListReaderは、リスト形式の回答のためのニューラルネットワーク抽出QAモデルである。 質問と内容のアライメントの学習に加えて,異種グラフニューラルネットワークを導入する。 提案モデルでは,スパンレベルと文レベルのいずれの回答も抽出可能な抽出設定を採用する。
  論文  参考訳（メタデータ） (2021-10-22T10:33:08Z)
• Tag and Correct: Question aware Open Information Extraction with Two-stage Decoding [73.24783466100686]
  質問 オープンIEは質問と通過を入力として受け取り、主題、述語、および1つ以上の議論を含む回答を出力する。 半構造化された答えには2つの利点がある。 一つは、Open IEモデルによるパスから候補回答を抽出し、質問にマッチしてランク付けする抽出方法である。 もう1つは、シーケンスモデルを用いて回答を直接生成する生成方法である。
  論文  参考訳（メタデータ） (2020-09-16T00:58:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。