論文の概要: Trie-based Experiment Plans for Efficient IR Pipeline Experiments
- arxiv url: http://arxiv.org/abs/2607.01162v1
- Date: Wed, 01 Jul 2026 16:44:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-02 19:56:07.996178
- Title: Trie-based Experiment Plans for Efficient IR Pipeline Experiments
- Title（参考訳）: 効率的なIRパイプライン実験のためのトライベース実験計画
- Abstract要約: PyTerrierはカスケード検索パイプラインの構築と評価に最適である。
比較パイプライン実験における実験計画の定式化にトライデータ構造を用いることについて述べる。
- 参考スコア（独自算出の注目度）: 14.394468601863643
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Search engines are often formulated as cascading pipelines, where successive stages combine the results of different retrievers, and iteratively refine the ranking of candidate documents to obtain a final ranking, which can be presented to a user, or provided as context to an LLM. Such pipelines can be complex to evaluate in an end-to-end manner, necessitating measurement of Recall of early stages, and Precision of later stages, which are often interchangeable. PyTerrier is ideal for building and evaluating cascading retrieval pipelines, due to its declarative nature for pipeline construction and wide ecosystem of retrievers and rerankers. However, comparative evaluation of pipelines can be expensive due to repeated components. In this work, we describe the use of a trie data structure to formulate an experiment plan for comparative pipeline experiments that enhances experiment efficiency compared to a sequential "linear" plan. Empirically, on a demonstration experiment involving BM25, MonoT5 and DuoT5 on MSMARCO v2, we observe a 26% reduction in experiment duration. Finally, we report on a user study of undergraduate and postgraduate research students' use of the experiment plans.
- Abstract（参考訳）: 検索エンジンは、しばしばカスケードパイプラインとして定式化され、連続した段階が異なる検索者の結果を組み合わせ、候補文書のランキングを反復的に洗練して最終ランキングを得る。
このようなパイプラインは、エンド・ツー・エンドの方法での評価、早期のリコールの計測、そしてしばしば交換可能な後段の精度の計測を複雑にすることができる。
PyTerrierは、パイプライン構築の宣言的な性質と、レトリバーとリランカーの広範なエコシステムのため、カスケード検索パイプラインの構築と評価に最適である。
しかし、繰り返し発生するコンポーネントのため、パイプラインの比較評価は高価である。
本研究では,連続的な「線形」計画と比較して実験効率を向上する比較パイプライン実験の実験計画を定式化するために,三重データ構造を用いることについて述べる。
MSMARCO v2におけるBM25,MonoT5,DuoT5の実証実験では,実験期間の26%の短縮が観察された。
最後に,大学生と大学院生による実験計画の利用に関するユーザスタディについて報告する。
関連論文リスト
- PARM: Pipeline-Adapted Reward Model [60.769414637325326]
リワードモデル(RM)は、大規模言語モデル(LLM)を人間の好みと整合させることの中心であり、高度な復号化戦略を推進している。
これまでの作業はシングルステップ生成に重点を置いていたが、現実のアプリケーションはますますマルチステージパイプラインを採用するようになっている。
我々は、最適化のためのコード生成を通じてこれを調査し、報酬モデルを定式化とソリューション段階の両方に統合するパイプラインを構築する。
論文 参考訳（メタデータ） (2026-04-20T14:29:08Z) - MontePrep: Monte-Carlo-Driven Automatic Data Preparation without Target Data Instances [25.78808887206003]
商用システムにおいて、ADP (Pervasive for Automatic Data prepared) とは、異なるソースから標準化されたスキーマ仕様でターゲットにデータを転送することである。
そこで本研究では,目標確率をゼロとしたトレーニング不要パイプライン合成を実現するための,効率的なエンドツーエンドADPフレームワークであるMontePrepを提案する。
MontePrepは,オープンソースの大規模言語モデル (LLM) を用いた木構造探索問題として定式化されている。
論文 参考訳（メタデータ） (2025-09-22T09:17:41Z) - Text-to-Pipeline: Bridging Natural Language and Data Preparation Pipelines [18.75611679837171]
我々は,NLデータ作成命令をDPパイプラインに変換する新しいタスクであるText-to-Pipelineを紹介する。
Parrotは、体系的な評価をサポートする大規模なベンチマークである。
ParROTは、プロダクションパイプラインから変換パターンをマイニングし、23,009の現実世界のテーブル上でインスタンス化する。
論文 参考訳（メタデータ） (2025-05-21T15:40:53Z) - Reinforcing Compositional Retrieval: Retrieving Step-by-Step for Composing Informative Contexts [67.67746334493302]
大規模言語モデル(LLM)は、多くのタスクにまたがる顕著な機能を示してきたが、複雑なタスクを扱うために外部のコンテキストに依存していることが多い。
我々は、このプロセスをマルコフ決定プロセス(MDP)としてモデル化するトリエンコーダシーケンシャルレトリバーを提案する。
提案手法は,サンプル間の依存関係を明示的にモデル化することの重要性を強調し,ベースラインを一貫して大幅に上回ることを示す。
論文 参考訳（メタデータ） (2025-04-15T17:35:56Z) - An Empirical Study of Validating Synthetic Data for Text-Based Person Retrieval [51.10419281315848]
我々は,テキストベース人検索(TBPR)研究における合成データの可能性を探るため,実証的研究を行った。
本稿では,自動プロンプト構築戦略を導入するクラス間画像生成パイプラインを提案する。
我々は、画像のさらなる編集に生成AIモデルを応用した、クラス内画像拡張パイプラインを開発する。
論文 参考訳（メタデータ） (2025-03-28T06:18:15Z) - A Systematic Examination of Preference Learning through the Lens of Instruction-Following [83.71180850955679]
新たな合成データ生成パイプラインを用いて48,000の命令追従プロンプトを生成する。
合成プロンプトでは、リジェクションサンプリング(RS)とモンテカルロ木探索(MCTS)の2つの選好データセットキュレーション手法を用いる。
実験により、MCTSが生成した選好ペアにおける共有プレフィックスは、限界はあるが一貫した改善をもたらすことが明らかになった。
高コントラストの選好ペアは一般的に低コントラストのペアよりも優れているが、両者を組み合わせることで最高のパフォーマンスが得られることが多い。
論文 参考訳（メタデータ） (2024-12-18T15:38:39Z) - Choosing a Proxy Metric from Past Experiments [54.338884612982405]
多くのランダム化実験では、長期的な計量の処理効果は測定が困難または不可能であることが多い。
一般的な方法は、いくつかの短期的プロキシメトリクスを計測して、長期的メトリックを綿密に追跡することである。
ランダム化実験の同種集団において最適なプロキシメトリックを定義し構築するための新しい統計フレームワークを導入する。
論文 参考訳（メタデータ） (2023-09-14T17:43:02Z) - From Fake to Real: Pretraining on Balanced Synthetic Images to Prevent Spurious Correlations in Image Recognition [64.59093444558549]
我々はFrom Fake to Realと呼ぶシンプルで簡単に実装できる2段階のトレーニングパイプラインを提案する。
実データと合成データを別々にトレーニングすることで、FFRは実データと合成データの統計的差異にモデルを公開しない。
実験の結果,FFRは3つのデータセットに対して,最先端のグループ精度を最大20%向上させることがわかった。
論文 参考訳（メタデータ） (2023-08-08T19:52:28Z) - Optimal Decision Making in High-Throughput Virtual Screening Pipelines [12.366455276434513]
実験および/および計算評価を含むスクリーニングキャンペーンのほとんど(すべてではないとしても)に適用する2つの最適化フレームワークを提案する。
特に、長い非コーディングRNA(lncRNA)分類のための最適な計算キャンペーンを実例として考察する。
シミュレーションの結果,提案手法は候補候補に対する有効選択コストを大幅に削減することが示された。
論文 参考訳（メタデータ） (2021-09-23T22:58:14Z) - Deep Shells: Unsupervised Shape Correspondence with Optimal Transport [52.646396621449]
本稿では,3次元形状対応のための教師なし学習手法を提案する。
提案手法は,複数のデータセット上での最先端技術よりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2020-10-28T22:24:07Z) - AVATAR -- Machine Learning Pipeline Evaluation Using Surrogate Model [10.83607599315401]
本稿では,サロゲートモデル(AVATAR)を用いたMLパイプラインの有効性評価手法を提案する。
実験の結果, AVATARは, 従来の評価手法と比較して, 複雑なパイプラインの評価においてより効率的であることがわかった。
論文 参考訳（メタデータ） (2020-01-30T02:53:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。