論文の概要: Recipe-Matching, Not Equivalence

• arxiv url: http://arxiv.org/abs/2609.31927v1
• Date: Fri, 25 Sep 2026 19:21:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 04:34:11.636751
• Title: Recipe-Matching, Not Equivalence
• Title（参考訳）: レシピマッチングは等価ではない
• Abstract要約: MathNet-Retrieveは、リトリバーに、数学の問題に対して、同じ問題を示す文書を見つけるように要求する。 私たちはこの手順を"レシピ"と呼び、ペアでのトレーニングは"レシピマッチング"と同じ方法を構築しました。 我々は,ジェネレータフリーの重複評価,ニアミステスト,および3つの訓練モデルをリリースする。
• 参考スコア（独自算出の注目度）: 11.24196216089969
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: MathNet-Retrieve asks a retriever to find, for a math problem, a document stating the same problem. An LLM under one fixed prompt writes each gold document and its near-miss distractors; LLM judges filter them. We call this procedure the "recipe", training on pairs built the same way "recipe-matching", and ask how much score it buys beyond the ability the benchmark claims to test. Two models from one base, matched in rows and settings, differ only in the training file: pairs written under the benchmark's published prompt by another vendor's LLM and judge, or computer-algebra-verified pairs with no LLM anywhere. The first leads by 45 R@1 points on the easy tier. By a non-LLM paraphrase control, half to two thirds of that gap comes from the pairs being LLM-written at all: LLM rewrites under two unrelated prompts, with the verified model's negatives, recover 30 and 22 of the 45 points; back-translations with the same negatives recover almost none. The remaining 15 to 25 points appear only under the benchmark's own prompt and vanish on real duplicates no generator wrote, the same problem in two languages. The hard tier rewards the recipe's pair structure, a deep rewrite against a minimal-edit near-miss: LLM rewrites alone score zero on it, attaching negatives unlocks it, and every negative that does so costs cross-language points; the sets scoring highest on it separate near-misses no LLM wrote worse than LLM rewrites with verified negatives. MELD also moves when a model trains on pairs built its way, without losing retention; on SABER-Math the registered attack fails, and the one gain, from its LLM-written summaries, is small but holds at a matched budget. Only on MathNet-Retrieve could we pin an inversion, benchmark score up and real retention down, to one edit of a training file. We release the generator-free duplicate evaluations, the near-miss test and three trained models.
• Abstract（参考訳）: MathNet-Retrieveは、リトリバーに、数学の問題に対して、同じ問題を示す文書を見つけるように要求する。 1つの固定プロンプトの下のLLMは、各金の文書とその近距離散乱器を書き込み、LLM判事はそれらをフィルタリングする。 私たちはこの手順を“レシピ”と呼び、ペアのトレーニングが“レシピマッチング”と同じ方法で構築した上で、ベンチマークがテストする能力を越えて、どれだけのスコアを購入しているのかを尋ねます。 1つのベースからの2つのモデルは、行と設定で一致し、トレーニングファイルでのみ異なる: ベンチマークの公開プロンプトの下で他のベンダーのLCMと審査員によって書かれたペア、または、LLMをどこにも持たないコンピュータアルゴリズムで検証されたペアである。 最初のリードは45R@1で、簡単なレベルだ。 LLMは2つの無関係なプロンプトの下で書き直され、検証されたモデルの負が45点のうち30点と22点が復元される。 残りの15から25ポイントはベンチマークのプロンプトの下にのみ表示され、ジェネレータが書かなかった実際の重複で消滅する。 LLMの書き直しはゼロで、負の書き直しはアンロックされ、負の書き直しは言語横断のポイントがかかる。 SABER-Mathでは、登録された攻撃は失敗し、LSMで書かれた要約から得られる1つの利得は小さいが、一致した予算で保持される。 MathNet-Retrieveでのみ、インバージョン、ベンチマークスコアアップ、実際の保持をトレーニングファイルの1つの編集に固定できます。 我々は,ジェネレータフリーの重複評価,ニアミステスト,および3つの訓練モデルをリリースする。

関連論文リスト

• CompCQR: Compositional Query Generation for Training-Free Conversational Search [21.486648754819466]
  ユーザクエリは曖昧でコンテキストに依存しないことが多いため、検索クエリとして直接使用するには不適当である。 オープンおよびクローズドソースのLLMと,高密度かつスパースなレトリバーの両方にまたがるフレームワークを一般化する。 広く使用されている4つの会話ベンチマークでは、従来の最先端ベースラインよりも22.5%の相対的なMRR改善が達成されている。
  論文  参考訳（メタデータ） (2026-09-13T16:31:22Z)
• Instruction Stacking Collapse: A Benchmark and the Capability-Dependent Value of Prompt Compilation [0.42481744176244507]
  本研究では,命令追従による制約の蓄積について検討する。 我々は,24個の検証済み命令を1回に1から20個積み重ねたベンチマークを導入し,実運用レベルのLCMを3つ評価する。 次にトレーニング不要のコンパイラを評価し、スタックされたプロンプトを1回の呼び出しで書き直し、クエリ間で再利用します。
  論文  参考訳（メタデータ） (2026-07-31T10:58:29Z)
• ARHN: Answer-Centric Relabeling of Hard Negatives with Open-Source LLMs for Dense Retrieval [12.84859278829763]
  我々は,答え中心の関連信号を用いて強陰性サンプルを精査するためのARHN(Answer-centric Relabeling of Hard Negatives)を提案する。 BEIRベンチマークのARHNを3つの構成で評価した。
  論文  参考訳（メタデータ） (2026-04-13T07:11:30Z)
• Delayed Fusion: Integrating Large Language Models into First-Pass Decoding in End-to-end Speech Recognition [17.376550014426623]
  本稿では,大規模言語モデル(LLM)を用いたエンドツーエンド自動音声認識(E2E-ASR)の効率的な復号化手法を提案する。 復号時に遅延を伴うASR仮説にLLMスコアを適用する「遅延融合」を提案する。 遅延核融合により、浅い核融合やN-best再コーディングに比べてデコード速度と精度が向上することを示した。
  論文  参考訳（メタデータ） (2025-01-16T03:01:50Z)
• WikiContradict: A Benchmark for Evaluating LLMs on Real-World Knowledge Conflicts from Wikipedia [59.96425443250666]
  Retrieval-augmented Generation (RAG) は,大規模言語モデル(LLM)の限界を緩和する,有望なソリューションとして登場した。 本研究では,ウィキペディアからの矛盾文に基づく質問に対するLLM生成回答の総合評価を行う。 我々は、単一のパスを持つRAGと2つの矛盾するパスを持つRAGを含む、様々なQAシナリオ下で、クローズドおよびオープンソース両方のLSMをベンチマークする。
  論文  参考訳（メタデータ） (2024-06-19T20:13:42Z)
• Re-Ex: Revising after Explanation Reduces the Factual Errors in LLM Responses [9.956253757863145]
  本稿では,大規模言語モデル(LLM)生成応答を後編集するRe-Exを提案する。 Re-Exは、事実的エラー説明ステップと呼ばれる新しい推論ステップを導入した。 説明ステップに加えて、Re-Exは、応答修正プロセスに必要なトークン数と推論時間を短縮する新しいプロンプト技術も取り入れている。
  論文  参考訳（メタデータ） (2024-02-27T00:22:18Z)
• LLMRefine: Pinpointing and Refining Large Language Models via Fine-Grained Actionable Feedback [65.84061725174269]
  最近の大規模言語モデル(LLM)は、世代品質を改善するために人間のフィードバックを活用している。 LLMの出力を最適化する推論時間最適化手法であるLLMRefineを提案する。 機械翻訳、長文質問応答(QA)、話題要約を含む3つのテキスト生成タスクについて実験を行った。 LLMRefineは、すべてのベースラインアプローチを一貫して上回り、翻訳タスクの1.7 MetricXポイント、ASQAの8.1 ROUGE-L、トピックの要約の2.2 ROUGE-Lの改善を実現している。
  論文  参考訳（メタデータ） (2023-11-15T19:52:11Z)
• Large Language Models are Strong Zero-Shot Retriever [89.16756291653371]
  ゼロショットシナリオにおける大規模検索に大規模言語モデル(LLM)を適用するための簡単な手法を提案する。 我々の手法であるRetriever(LameR)は,LLM以外のニューラルモデルに基づいて構築された言語モデルである。
  論文  参考訳（メタデータ） (2023-04-27T14:45:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。