論文の概要: Field Order Should Not Matter: Permutation-Invariant Embedding Model Fine-Tuning for Structured Metadata Retrieval

• arxiv url: http://arxiv.org/abs/2606.30473v1
• Date: Mon, 29 Jun 2026 15:33:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.316313
• Title: Field Order Should Not Matter: Permutation-Invariant Embedding Model Fine-Tuning for Structured Metadata Retrieval
• Title（参考訳）: フィールドオーダーは重要ではない: 構造化メタデータ検索のための置換不変埋め込みモデルファインチューニング
• Authors: Aivin V. Solatorio, Olivier Dupriez, Rafael Macalaba,
• Abstract要約: 構造化メタデータのカタログ上での検索について検討し、各レコードは、フィールドが異なる種類のクエリに応答する小さなスキーマである。 我々は、通常実装の詳細として扱われるこの選択を示し、エンコーダが微調整されると、その検索品質を静かに制御する。 標準のファインチューンは、フィールドラベルの代わりに絶対位置を読み取るため、インデックスが異なるフィールド順序で再構築されたときに7.4 nDCG@10ポイントを失う。 我々は、新しいサンプルフィールドオーダーで各レコードをランダムフィールドドロップアウトでシリアライズする置換不変微調整(textbfPI-FT$)を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We study retrieval over catalogs of structured metadata, where each record is a small schema whose fields answer different kinds of query. Embedding a record with a text encoder first serializes its fields into a string, which forces a choice of field order. We show this choice, usually treated as an implementation detail, silently controls retrieval quality once the encoder is fine-tuned. A standard fine-tune loses 7.4 nDCG@10 points when the index is rebuilt under a different field order, because it reads absolute position instead of the field labels. We propose permutation-invariant fine-tuning ($\textbf{PI-FT}$), which serializes each record under a freshly sampled field order with random field dropout, so meaning binds to the labels rather than to position. The change is about two lines in the data loader; it costs negligible in-distribution accuracy and cuts the order-change penalty to 0.2 points. We study this in the discovery of development statistics, a catalog of nearly 10,000 indicators that should be searchable in many languages by a model small enough to self-host. As AI assistants and agents increasingly mediate access to public data and statistics, this retrieval step decides whether an answer is grounded in the right indicator or series, making discoverability a precondition for disseminating data through AI. Because usage logs cannot provide training signal for indicators no one has searched, we generate the queries instead. $\textbf{DevDataBench}$ is a fully LLM-generated benchmark of grounded, facet-targeted queries across 15 languages, covering every indicator for both training and evaluation. A fine-tuned 118M-parameter CPU encoder outperforms every zero-shot baseline, including $\texttt{text-embedding-3-large}$ (0.707 vs.\ 0.556 nDCG@10), with the largest gains in low-resource languages. We release the benchmark, pipeline, models, and a reusable PI-FT framework.
• Abstract（参考訳）: 構造化メタデータのカタログ上での検索について検討し、各レコードは、フィールドが異なる種類のクエリに応答する小さなスキーマである。 テキストエンコーダにレコードを埋め込み、まずフィールドを文字列にシリアライズする。 我々は、通常実装の詳細として扱われるこの選択を示し、エンコーダが微調整されると、その検索品質を静かに制御する。 標準のファインチューンは、フィールドラベルの代わりに絶対位置を読み取るため、インデックスが異なるフィールド順序で再構築されたときに7.4 nDCG@10ポイントを失う。 我々は,各レコードをランダムなフィールドドロップアウトで新たにサンプリングしたフィールド順序でシリアライズする置換不変ファインチューニング($\textbf{PI-FT}$)を提案する。 この変更は、データローダの約2行で、分配精度を無視し、注文変更のペナルティを0.2ポイントに削減する。 我々はこれを、多くの言語で自己ホストに十分小さいモデルで検索すべき1万近い指標のカタログである開発統計の発見において研究する。 AIアシスタントやエージェントが、公開データや統計へのアクセスを仲介するにつれて、この検索ステップは、解答が正しい指標やシリーズに根拠づけられているかどうかを判断し、発見可能性がAIを介してデータを広めるための前提条件となる。 使用ログは、誰も検索していない指標のトレーニング信号を提供できないため、代わりにクエリを生成します。 $\textbf{DevDataBench}$は15言語にまたがるグラウンドドおよびファセットターゲットクエリの完全なLLM生成ベンチマークであり、トレーニングと評価の両方の指標をすべてカバーしている。 微調整された118MパラメーターCPUエンコーダは、$\texttt{text-embedding-3-large}$ (0.707 vs.)を含むすべてのゼロショットベースラインより優れている。 0.556 nDCG@10で、低リソース言語で最大の利益がある。 ベンチマーク、パイプライン、モデル、再利用可能なPI-FTフレームワークをリリースします。

関連論文リスト

• DecoSearch: Complexity-Aware Routing and Plan-Level Repair for Text-to-SQL [21.568773170643084]
  DecoSearchはトレーニング不要のフレームワークで、各クエリを適切な推論レベルにルーティングする。 BIRDは70.53%、Spiderは88.31%、DeepSeekのバックボーンは88.31%である。
  論文  参考訳（メタデータ） (2026-06-16T11:48:50Z)
• FineVerify: Scaling Test-Time Compute with Fine-Grained Self-Verification for Agentic Search [88.16262636915975]
  FineVerifyはエージェント検索のためのきめ細かい自己検証フレームワークである。 各質問をチェック可能なサブクエストに分解し、サンプル候補を検証し、最も高い集計スコアの候補を選択する。 FineVerifyは、標準のスケーリングベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-30T10:21:20Z)
• From Item-Only to Query-Item: Query-Conditioned Generative Search with QGS in Quark [8.408261237886899]
  生成シーケンスモデルは推奨に強い結果を示している。 それらを検索ランキングに適用することは、もっと難しい。 本稿では,QGS(Query-Conditioned Generative Search)を提案する。
  論文  参考訳（メタデータ） (2026-05-25T07:18:51Z)
• GRAPE: Let GPRO Supervise Query Rewriting by Ranking for Retrieval [19.73916326078242]
  CLIPモデルは,テキストと画像データを統合埋め込み空間に整列させることにより,大規模検索システムの基盤となっている。 コストのかかるリトレーニングを避けるため、既存のメソッドは主に大規模言語モデル(LLM)によるクエリ書き換え戦略を採用している。 GRAPEは,検索誘導型クエリ書き換えにランキング信号を組み込むプラグイン・アンド・プレイ拡張手法である。
  論文  参考訳（メタデータ） (2025-09-27T15:36:59Z)
• BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
  BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。 私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。 クエリに関する明示的な推論を取り入れることで、検索性能が最大12.2ポイント向上することを示す。
  論文  参考訳（メタデータ） (2024-07-16T17:58:27Z)
• Adaptive Query Rewriting: Aligning Rewriters through Marginal Probability of Conversational Answers [66.55612528039894]
  AdaQRは、シードデータセットからの限定的な書き直しアノテーションと完全にパスラベルのないクエリ書き換えモデルをトレーニングするフレームワークである。 会話クエリに条件付き回答の確率を用いて,これらの候補に対する検索者の嗜好を評価する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-16T16:09:05Z)
• UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
  大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。 事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。 本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
  論文  参考訳（メタデータ） (2022-05-23T11:01:59Z)
• Benchmarking Multimodal AutoML for Tabular Data with Text Fields [83.43249184357053]
  テキストフィールドを含む18個のマルチモーダルデータテーブルを組み立てる。 このベンチマークにより、研究者は、数値的、分類的、テキスト的特徴を用いて教師あり学習を行うための独自の方法を評価することができる。
  論文  参考訳（メタデータ） (2021-11-04T09:29:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。