論文の概要: MACA: A Framework for Distilling Trustworthy LLMs into Efficient Retrievers

• arxiv url: http://arxiv.org/abs/2601.00926v1
• Date: Thu, 01 Jan 2026 23:31:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-06 16:25:21.860893
• Title: MACA: A Framework for Distilling Trustworthy LLMs into Efficient Retrievers
• Title（参考訳）: MACA: 信頼できるLLMを効率的なレトリバーに蒸留するためのフレームワーク
• Authors: Satya Swaroop Gudipudi, Sahil Girhepuje, Ponnurangam Kumaraguru, Kristine Ma,
• Abstract要約: 本稿では,LCM再ランカを校正したメタデータを小型の学生レトリバーに蒸留する,メタデータ対応クロスモデルアライメント(MACA)を提案する。 メタデータ・アウェア・プロンプトは、教師の教師の信頼度を確認するために、置換の下での一貫性とパラフレーズに対する堅牢性を確認し、リストワイズスコア、ハード・ネガティブ、キャリブレーションされた関連マージンを提供する。
• 参考スコア（独自算出の注目度）: 7.123910165277138
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern enterprise retrieval systems must handle short, underspecified queries such as ``foreign transaction fee refund'' and ``recent check status''. In these cases, semantic nuance and metadata matter but per-query large language model (LLM) re-ranking and manual labeling are costly. We present Metadata-Aware Cross-Model Alignment (MACA), which distills a calibrated metadata aware LLM re-ranker into a compact student retriever, avoiding online LLM calls. A metadata-aware prompt verifies the teacher's trustworthiness by checking consistency under permutations and robustness to paraphrases, then supplies listwise scores, hard negatives, and calibrated relevance margins. The student trains with MACA's MetaFusion objective, which combines a metadata conditioned ranking loss with a cross model margin loss so it learns to push the correct answer above semantically similar candidates with mismatched topic, sub-topic, or entity. On a proprietary consumer banking FAQ corpus and BankFAQs, the MACA teacher surpasses a MAFA baseline at Accuracy@1 by five points on the proprietary set and three points on BankFAQs. MACA students substantially outperform pretrained encoders; e.g., on the proprietary corpus MiniLM Accuracy@1 improves from 0.23 to 0.48, while keeping inference free of LLM calls and supporting retrieval-augmented generation.
• Abstract（参考訳）: 現代の企業検索システムでは,‘外部トランザクション手数料の返金’や‘最近のチェックステータス’といった,簡潔で不特定なクエリを処理しなければならない。 このような場合、セマンティックニュアンスとメタデータは重要だが、クエリごとの大規模言語モデル(LLM)の再ランク付けと手動ラベリングはコストがかかる。 本稿では,LCMの再ランカを校正したメタデータをコンパクトな学生レトリバーに蒸留し,LCMのオンラインコールを回避するメタデータ対応クロスモデルアライメント(MACA)を提案する。 メタデータ・アウェア・プロンプトは、教師の教師の信頼度を確認するために、置換の下での一貫性とパラフレーズに対する堅牢性を確認し、リストワイズスコア、ハード・ネガティブ、キャリブレーションされた関連マージンを提供する。 学生は、メタデータ条件付きランキング損失とクロスモデルマージン損失を組み合わせたMACAのMetaFusionの目標でトレーニングする。 プロプライエタリな消費者銀行FAQコーパスとバンクFAQでは、MACAの教師はAccuracy@1のMAFAベースラインを、プロプライエタリなセットでは5ポイント、バンクFAQでは3ポイント上回る。 MACAの学生はプリトレーニング済みのエンコーダをかなり上回り、例えば、独自コーパスの MiniLM Accuracy@1 は 0.23 から 0.48 に改善されている。

関連論文リスト

• The Erasure Illusion: Stress-Testing the Generalization of LLM Forgetting Evaluation [15.252787015786796]
  機械学習は、訓練されたモデルから特定のデータの影響を取り除くことを目的としている。 現在のアンラーニングメトリクスは、特定のアンラーニングデータセットでモデルのパフォーマンス劣化を監視して成功を測定する。 我々は,Large Language Models (LLMs) に対して,この評価パラダイムは不十分であり,誤解を招く可能性があると主張している。
  論文  参考訳（メタデータ） (2025-12-22T04:42:41Z)
• Towards Mitigating Excessive Forgetting in LLM Unlearning via Entanglement-Aware Unlearning with Proxy Constraint [28.25159814956888]
  大規模言語モデル(LLM)は、プライベートまたは著作権のあるコンテンツを含む可能性のある巨大なデータセットに基づいて訓練される。 プライバシとオーナシップの懸念が高まっているため、データ所有者は、トレーニングされたモデルからデータを削除することを要求できる。 既存のほとんどの方法には音を忘れる境界がないため、一部のサンプルは忘れられてしまう。
  論文  参考訳（メタデータ） (2025-08-28T05:45:40Z)
• In a Few Words: Comparing Weak Supervision and LLMs for Short Query Intent Classification [4.037445459586932]
  ユーザ意図の分類を,情報カテゴリ,ナビゲーションカテゴリ,トランザクションカテゴリに経験的に比較する。 以上の結果から,LSMはリコール時の監督能力が劣る一方で,精度の低下に悩まされ続けていることが示唆された。
  論文  参考訳（メタデータ） (2025-04-30T07:54:04Z)
• Utility-Focused LLM Annotation for Retrieval and Retrieval-Augmented Generation [96.18720164390699]
  本稿では,大規模言語モデル (LLM) を用いた検索・検索・拡張生成システム (RAG) の訓練における文書ユーティリティのアノテートについて検討する。 以上の結果から,LLM生成アノテーションは,人間のアノテーションや下流QAメトリクスのみを訓練したモデルと比較して,ドメイン外検索性能の向上とRAG結果の改善を図っている。
  論文  参考訳（メタデータ） (2025-04-07T16:05:52Z)
• Detecting Training Data of Large Language Models via Expectation Maximization [62.28028046993391]
  本稿では,予測最大化アルゴリズムを用いて,メンバーシップスコアとプレフィックススコアを反復的に洗練する新しいメンバーシップ推論手法EM-MIAを紹介する。 EM-MIAはWikiMIAで最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-10-10T03:31:16Z)
• LLM Self-Correction with DeCRIM: Decompose, Critique, and Refine for Enhanced Following of Instructions with Multiple Constraints [86.59857711385833]
  実世界のマルチ制約命令に従うLLMの能力を評価するために設計された最初のベンチマークであるRealInstructを紹介する。 オープンソースモデルとプロプライエタリモデルのパフォーマンスギャップを解決するため,Decompose, Critique and Refine(DeCRIM)自己補正パイプラインを提案する。 この結果から,DeCRIMはフィードバックが弱い場合でも,RealInstructでは7.3%,IFEvalでは8.0%,Mistralでは7.3%向上した。
  論文  参考訳（メタデータ） (2024-10-09T01:25:10Z)
• Sparse Conditional Hidden Markov Model for Weakly Supervised Named Entity Recognition [68.68300358332156]
  雑音ラベリング機能を評価するために,スパース条件付き隠れマルコフモデル(Sparse-CHMM)を提案する。 Sparse-CHMMは、3段階のトレーニングパイプラインで教師なし学習によって最適化される。 5つの包括的なデータセットで平均F1スコアが3.01向上する。
  論文  参考訳（メタデータ） (2022-05-27T20:47:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。