論文の概要: Probe, Don't Prompt: A Hidden-State Probe for Metadata Filtering in Multi-Meta-RAG

• arxiv url: http://arxiv.org/abs/2607.03929v1
• Date: Sat, 04 Jul 2026 15:47:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.765055
• Title: Probe, Don't Prompt: A Hidden-State Probe for Metadata Filtering in Multi-Meta-RAG
• Title（参考訳）: Probe, Don't Prompt: Multi-Meta-RAGにおけるメタデータフィルタリングのための隠れ状態プローブ
• Abstract要約: メタデータ(ニュースソース)上にベクターストアをフィルタリングすることで,マルチメタRAGによるマルチホップ質問応答の検索の改善 我々は、このプロプライエタリな自由形式抽出器を、小さなオープンソース言語モデルの隠れ状態に基づいて訓練された局所的決定論的プローブに置き換えることができることを示した。
• 参考スコア（独自算出の注目度）: 2.1127261244588156
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-Meta-RAG improves retrieval for multi-hop question answering by filtering a vector store on metadata (the news source) that it extracts from each query by prompting gpt-3.5-turbo. We show this proprietary, free-form extractor can be replaced by a local, deterministic probe trained on the hidden states of a small open-source language model. On all 2556 MultiHop-RAG queries the probe reaches 90.9% set-exact accuracy against 88.0% for a model-free substring baseline and 80.9% for GPT-3.5, a margin that comes entirely from null queries, on which GPT-3.5 never abstains; on non-null queries all three stay within about a point. Because the probe's output space is exactly the fixed 49-source vocabulary, it cannot drift outside the allow-list as the prompted model does. Three design choices make it work: selecting a shallow layer, mean pooling, and class-imbalance-aware multi-label training over the long tail of sources. A 135M-parameter model lands within ~1.5 points of a 1.5B one, so the filter is cheap to output: a partial forward pass through the first few layers plus one linear head, with no API. The code is available at https://github.com/mxpoliakov/Multi-Meta-RAG.
• Abstract（参考訳）: マルチMeta-RAGは、メタデータ(ニュースソース)にベクトルストアをフィルタリングすることで、gpt-3.5-turboをプロンプトすることで、マルチホップ質問応答の検索を改善する。 我々は、このプロプライエタリな自由形式抽出器を、小さなオープンソース言語モデルの隠れ状態に基づいて訓練された局所的決定論的プローブに置き換えることができることを示した。 2556のMultiHop-RAGクエリでは、モデルフリーのサブストリングベースラインで88.0%、GPT-3.5で80.9%、ヌルクエリで完全に得られるマージンが90.9%に達している。 プローブの出力空間は、正確には49ソースのボキャブラリなので、インプットモデルのように許容リストの外を漂うことはできない。 設計上の3つの選択肢は、浅い層の選択、平均プーリング、およびソースの長い尾にクラス不均衡を意識したマルチラベルトレーニングである。 135Mパラメータのモデルが1.5Bの1.5ポイント以内に到達するので、フィルタは出力が安く、最初の数層と1つのリニアヘッドをAPIなしで通過する。 コードはhttps://github.com/mxpoliakov/Multi-Meta-RAGで公開されている。

関連論文リスト

• EAR: Entity-Aware Partitioning Approach for Retrieval-Augmented Generation Development [0.0]
  マルチ選択質問応答のためのEntity-Aware PartitioningアプローチであるEARを紹介する。 EARは質問から正規化表面アンカーを抽出し、回答オプションとコーパスを抽出する。 EARエンティティウィンドウは、チャンクに対して検索された単語を37.5-40.2%削減する。
  論文  参考訳（メタデータ） (2026-09-10T22:55:25Z)
• Verification Without Sufficiency: Per-Chunk Filtering Fails on Multi-Hop RAG, and Decomposition Repairs It [0.9392167468538464]
  チャンク毎のスコアリングは、1つのチャンクが答えの十分な前提であると仮定する。 マルチホップ質問ではうまくいかないことを示し、何をするのかを示す。
  論文  参考訳（メタデータ） (2026-08-01T10:52:56Z)
• MLSkip: Data Skipping for ML Filters via Lightweight Metadata [8.09725161771284]
  データベースベンダは最近、フィルタ述語で使用できるAI関数をリリースした。 整数と文字列データに対する従来のデータスキップ技術は、新しいフィルタタイプには適用できない。 Parquetのデフォルトのmin-maxメタデータはプルーニングを可能にするのに十分である。
  論文  参考訳（メタデータ） (2026-06-02T17:36:06Z)
• Off-the-Shelf LLMs as Process Scorers: Training-Free Alternative to PRMs for Mathematical Reasoning [51.88950852117154]
  Chunk-Level Guided Generationは、既製の大規模言語モデルをプロセススコアラとして使用する、トレーニング不要の代替手段である。 本研究では,系統的な長さバイアスのため,大モデル確率の可変長推論ステップが信頼できないことを示す。 Chunk-Level Guided Generation は PRM guided search よりもかなり短い推論トレースを生成する。
  論文  参考訳（メタデータ） (2026-06-01T04:43:36Z)
• NeuroLog: Reasoning You Can Audit -- Neuro-Symbolic Vulnerability Discovery via LLM Facts, Datalog, and SMT [0.0]
  C/C++ソースの脆弱性発見では、単一のクエリを実行する前に動作するビルドを必要とする静的アナライザと、ソースを読み取りながら詳細を知り、レアル上のクロスファンクションデータフローのトラックを失うフリーフォームのLCMを、アナリストに選択するよう求めている。 我々は、各イテレーションで優れた型付きデータフローを発見する、エンドツーエンドのビルド・ツー・エンドパイプラインであるNeuroLogを紹介します。
  論文  参考訳（メタデータ） (2026-05-30T10:50:06Z)
• Self-Verified Distillation: Your Language Model Is Secretly Its Own Synthetic Data Pipeline [56.53954182896384]
  大規模言語モデルのための簡単な訓練後改良アルゴリズムである自己検証蒸留を提案する。 自己検証蒸留(Self-Verified Distillation)は、未ラベルの種問に対する候補解を生成する。 プロンプトベースの自己検証を使用してフィルタリングし、結果の自己計算データセットをトレーニングする。 トレーニングデータ構築中に、より多くの候補世代をサンプリングし、より大きな検証予算を使用することで、高品質な自己計算データが得られることがわかった。
  論文  参考訳（メタデータ） (2026-05-20T17:26:10Z)
• Delta-Based Neural Architecture Search: LLM Fine-Tuning via Code Diffs [48.83701310501069]
  大規模言語モデル(LLM)は、ニューラルアーキテクチャ生成の強力な可能性を示している。 既存のアプローチは、ゼロから完全なモデル実装を生成します。 我々はデルタ符号生成法を提案し、細調整されたLLMはコンパクトな統一差分を生成する。
  論文  参考訳（メタデータ） (2026-05-06T13:32:05Z)
• vstash: Local-First Hybrid Retrieval with Adaptive Fusion for LLM Agents [0.0]
  ベクトル類似性検索と全文キーワードマッチングを組み合わせたローカルファーストの文書メモリシステム**vstash**を提案する。 すべてのデータはsqlite-vecを使って近傍の検索に近づき、FTS5でキーワードマッチングを行う単一のファイルに格納される。
  論文  参考訳（メタデータ） (2026-04-16T19:22:58Z)
• OpenResearcher: A Fully Open Pipeline for Long-Horizon Deep Research Trajectory Synthesis [63.8655724265611]
  深層研究エージェントの訓練には、探索、証拠収集、多段階推論をインターリーブする長い水平軌道が必要である。 既存のデータ収集パイプラインは、一般的にプロプライエタリなWeb APIに依存しており、大規模な軌道合成をコストが高く、不安定で、再現が難しい。 再生可能なパイプラインであるOpenResearcherは,複数ターン軌道合成から1回のコーパスブートストラップを分離する。
  論文  参考訳（メタデータ） (2026-03-17T20:10:12Z)
• Extracting books from production language models [65.85348210518937]
  同様の抽出がLLMの生産に可能であるかどうかについては、未解決のままである。 ジェイルブレイクされたクロード3.7 ソンネットは、全書籍をほぼ全文出力する場合もある。 モデルおよびシステムレベルのセーフガードであっても、(コピーライト内での)トレーニングデータの抽出はLLM生産のリスクである。
  論文  参考訳（メタデータ） (2026-01-06T03:01:27Z)
• Guarded Query Routing for Large Language Models [2.2349474636722317]
  ガードドクエリルーティング問題について検討し、最初にガードドクエリルーティングベンチマーク(GQR-Bench)を導入する。 その結果,ドメイン外検出能力が向上したWideMLPでは,精度(88%)と速度(4ms)のトレードオフが最良であることがわかった。 本研究は,LLMを(保護された)クエリルーティングに自動的に依存させることに挑戦し,実用的なアプリケーションに具体的なレコメンデーションを提供する。
  論文  参考訳（メタデータ） (2025-05-20T15:46:59Z)
• Data Agnostic Filter Gating for Efficient Deep Networks [72.4615632234314]
  現在のフィルタプルーニング法は主に特徴写像を利用してフィルタの重要なスコアを生成し、より小さなスコアのプルーンを生成する。 本稿では,Daggerモジュールと呼ばれる補助的ネットワークを用いてプルーニングを誘導するデータフィルタプルーニング手法を提案する。 さらに,特定のFLOP制約でプルーネフィルタを支援するために,明示的なFLOPを意識した正規化を活用して,プルーニングフィルタを直接対象のFLOPに向けて推進する。
  論文  参考訳（メタデータ） (2020-10-28T15:26:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。