論文の概要: MACA: A Framework for Distilling Trustworthy LLMs into Efficient Retrievers

• arxiv url: http://arxiv.org/abs/2601.00926v1
• Date: Thu, 01 Jan 2026 23:31:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-06 16:25:21.860893
• Title: MACA: A Framework for Distilling Trustworthy LLMs into Efficient Retrievers
• Title（参考訳）: MACA: 信頼できるLLMを効率的なレトリバーに蒸留するためのフレームワーク
• Authors: Satya Swaroop Gudipudi, Sahil Girhepuje, Ponnurangam Kumaraguru, Kristine Ma,
• Abstract要約: 本稿では,LCM再ランカを校正したメタデータを小型の学生レトリバーに蒸留する,メタデータ対応クロスモデルアライメント(MACA)を提案する。 メタデータ・アウェア・プロンプトは、教師の教師の信頼度を確認するために、置換の下での一貫性とパラフレーズに対する堅牢性を確認し、リストワイズスコア、ハード・ネガティブ、キャリブレーションされた関連マージンを提供する。
• 参考スコア（独自算出の注目度）: 7.123910165277138
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern enterprise retrieval systems must handle short, underspecified queries such as ``foreign transaction fee refund'' and ``recent check status''. In these cases, semantic nuance and metadata matter but per-query large language model (LLM) re-ranking and manual labeling are costly. We present Metadata-Aware Cross-Model Alignment (MACA), which distills a calibrated metadata aware LLM re-ranker into a compact student retriever, avoiding online LLM calls. A metadata-aware prompt verifies the teacher's trustworthiness by checking consistency under permutations and robustness to paraphrases, then supplies listwise scores, hard negatives, and calibrated relevance margins. The student trains with MACA's MetaFusion objective, which combines a metadata conditioned ranking loss with a cross model margin loss so it learns to push the correct answer above semantically similar candidates with mismatched topic, sub-topic, or entity. On a proprietary consumer banking FAQ corpus and BankFAQs, the MACA teacher surpasses a MAFA baseline at Accuracy@1 by five points on the proprietary set and three points on BankFAQs. MACA students substantially outperform pretrained encoders; e.g., on the proprietary corpus MiniLM Accuracy@1 improves from 0.23 to 0.48, while keeping inference free of LLM calls and supporting retrieval-augmented generation.
• Abstract（参考訳）: 現代の企業検索システムでは,‘外部トランザクション手数料の返金’や‘最近のチェックステータス’といった,簡潔で不特定なクエリを処理しなければならない。 このような場合、セマンティックニュアンスとメタデータは重要だが、クエリごとの大規模言語モデル(LLM)の再ランク付けと手動ラベリングはコストがかかる。 本稿では,LCMの再ランカを校正したメタデータをコンパクトな学生レトリバーに蒸留し,LCMのオンラインコールを回避するメタデータ対応クロスモデルアライメント(MACA)を提案する。 メタデータ・アウェア・プロンプトは、教師の教師の信頼度を確認するために、置換の下での一貫性とパラフレーズに対する堅牢性を確認し、リストワイズスコア、ハード・ネガティブ、キャリブレーションされた関連マージンを提供する。 学生は、メタデータ条件付きランキング損失とクロスモデルマージン損失を組み合わせたMACAのMetaFusionの目標でトレーニングする。 プロプライエタリな消費者銀行FAQコーパスとバンクFAQでは、MACAの教師はAccuracy@1のMAFAベースラインを、プロプライエタリなセットでは5ポイント、バンクFAQでは3ポイント上回る。 MACAの学生はプリトレーニング済みのエンコーダをかなり上回り、例えば、独自コーパスの MiniLM Accuracy@1 は 0.23 から 0.48 に改善されている。

関連論文リスト

• The Erasure Illusion: Stress-Testing the Generalization of LLM Forgetting Evaluation [15.252787015786796]
  機械学習は、訓練されたモデルから特定のデータの影響を取り除くことを目的としている。 現在のアンラーニングメトリクスは、特定のアンラーニングデータセットでモデルのパフォーマンス劣化を監視して成功を測定する。 我々は,Large Language Models (LLMs) に対して,この評価パラダイムは不十分であり,誤解を招く可能性があると主張している。
  論文  参考訳（メタデータ） (2025-12-22T04:42:41Z)
• Towards Mitigating Excessive Forgetting in LLM Unlearning via Entanglement-Aware Unlearning with Proxy Constraint [28.25159814956888]
  大規模言語モデル(LLM)は、プライベートまたは著作権のあるコンテンツを含む可能性のある巨大なデータセットに基づいて訓練される。 プライバシとオーナシップの懸念が高まっているため、データ所有者は、トレーニングされたモデルからデータを削除することを要求できる。 既存のほとんどの方法には音を忘れる境界がないため、一部のサンプルは忘れられてしまう。
  論文  参考訳（メタデータ） (2025-08-28T05:45:40Z)
• BLUR: A Benchmark for LLM Unlearning Robust to Forget-Retain Overlap [18.68387394444096]
  機械学習は、大規模な言語モデル(LLM)の安全性を向上させる可能性を秘めている。 非学習における鍵となる課題は、忘れられた品質(事実上望ましくない情報)のバランスをとることと、品質を維持すること(他の一般的なタスクにおいて優れたパフォーマンスを維持すること)である。 LLM アンラーニングのためのベンチマークである $textttBLUR$ を提示する。
  論文  参考訳（メタデータ） (2025-05-28T22:09:04Z)
• In a Few Words: Comparing Weak Supervision and LLMs for Short Query Intent Classification [4.037445459586932]
  ユーザ意図の分類を,情報カテゴリ,ナビゲーションカテゴリ,トランザクションカテゴリに経験的に比較する。 以上の結果から,LSMはリコール時の監督能力が劣る一方で,精度の低下に悩まされ続けていることが示唆された。
  論文  参考訳（メタデータ） (2025-04-30T07:54:04Z)
• Utility-Focused LLM Annotation for Retrieval and Retrieval-Augmented Generation [96.18720164390699]
  本稿では,大規模言語モデル (LLM) を用いた検索・検索・拡張生成システム (RAG) の訓練における文書ユーティリティのアノテートについて検討する。 以上の結果から,LLM生成アノテーションは,人間のアノテーションや下流QAメトリクスのみを訓練したモデルと比較して,ドメイン外検索性能の向上とRAG結果の改善を図っている。
  論文  参考訳（メタデータ） (2025-04-07T16:05:52Z)
• Detecting Training Data of Large Language Models via Expectation Maximization [62.28028046993391]
  本稿では,予測最大化アルゴリズムを用いて,メンバーシップスコアとプレフィックススコアを反復的に洗練する新しいメンバーシップ推論手法EM-MIAを紹介する。 EM-MIAはWikiMIAで最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-10-10T03:31:16Z)
• LLM Self-Correction with DeCRIM: Decompose, Critique, and Refine for Enhanced Following of Instructions with Multiple Constraints [86.59857711385833]
  実世界のマルチ制約命令に従うLLMの能力を評価するために設計された最初のベンチマークであるRealInstructを紹介する。 オープンソースモデルとプロプライエタリモデルのパフォーマンスギャップを解決するため,Decompose, Critique and Refine(DeCRIM)自己補正パイプラインを提案する。 この結果から,DeCRIMはフィードバックが弱い場合でも,RealInstructでは7.3%,IFEvalでは8.0%,Mistralでは7.3%向上した。
  論文  参考訳（メタデータ） (2024-10-09T01:25:10Z)
• MQM-APE: Toward High-Quality Error Annotation Predictors with Automatic Post-Editing in LLM Translation Evaluators [53.91199933655421]
  大規模言語モデル(LLM)は、機械翻訳(MT)の品質評価の裁判官として大きな可能性を秘めている。 非インパクト的なエラーをフィルタリングするアイデアに基づいて、ユニバーサルでトレーニング不要なフレームワークである$textbfMQM-APEを紹介します。 実験の結果,GEMBA-MQMに対する誤差の信頼性と品質の両方が一貫して改善されていることがわかった。
  論文  参考訳（メタデータ） (2024-09-22T06:43:40Z)
• MIA-Tuner: Adapting Large Language Models as Pre-training Text Detector [32.15773300068426]
  既存の手法では、様々な高度なMIAスコア関数を設計し、高い検出性能を実現している。 より正確な事前学習データ検出器としてLLM自体を指示する命令ベースのMIA手法であるMIA-Tunerを提案する。 既存の手法とMIA-Tunerによってもたらされるプライバシーリスクを軽減すべく、2つの命令ベースのセーフガードを設計する。
  論文  参考訳（メタデータ） (2024-08-16T11:09:56Z)
• Fake Alignment: Are LLMs Really Aligned Well? [91.26543768665778]
  本研究では,複数質問とオープンエンド質問の相違点について検討した。 ジェイルブレイク攻撃パターンの研究にインスパイアされた我々は、これが不一致の一般化によって引き起こされたと論じている。
  論文  参考訳（メタデータ） (2023-11-10T08:01:23Z)
• Sparse Conditional Hidden Markov Model for Weakly Supervised Named Entity Recognition [68.68300358332156]
  雑音ラベリング機能を評価するために,スパース条件付き隠れマルコフモデル(Sparse-CHMM)を提案する。 Sparse-CHMMは、3段階のトレーニングパイプラインで教師なし学習によって最適化される。 5つの包括的なデータセットで平均F1スコアが3.01向上する。
  論文  参考訳（メタデータ） (2022-05-27T20:47:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。