論文の概要: LoRA-BAM: Input Filtering for Fine-tuned LLMs via Boxed Abstraction Monitors over LoRA Layers

• arxiv url: http://arxiv.org/abs/2506.00998v1
• Date: Sun, 01 Jun 2025 12:58:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:33.894809
• Title: LoRA-BAM: Input Filtering for Fine-tuned LLMs via Boxed Abstraction Monitors over LoRA Layers
• Title（参考訳）: LoRA-BAM: LoRA層上のボックス型抽象モニタによる微調整LDMの入力フィルタリング
• Authors: Changshun Wu, Tianyi Duan, Saddek Bensalem, Chih-Hong Cheng,
• Abstract要約: 微調整された大きな言語モデル(LLM)は、ドメイン固有のタスクのパフォーマンスを改善するが、過度に適合する可能性があるため、アウト・オブ・ディストリビューション(OoD)クエリでは信頼性が低い。 ボックス化された抽象化を用いて,OoD検出モニタをLoRA層に追加し,モデルの能力を超えた質問をフィルタリングする手法であるLoRA-BAMを提案する。
• 参考スコア（独自算出の注目度）: 3.674863913115432
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning large language models (LLMs) improves performance on domain-specific tasks but can lead to overfitting, making them unreliable on out-of-distribution (OoD) queries. We propose LoRA-BAM - a method that adds OoD detection monitors to the LoRA layer using boxed abstraction to filter questions beyond the model's competence. Feature vectors from the fine-tuning data are extracted via the LLM and clustered. Clusters are enclosed in boxes; a question is flagged as OoD if its feature vector falls outside all boxes. To improve interpretability and robustness, we introduce a regularization loss during fine-tuning that encourages paraphrased questions to stay close in the feature space, and the enlargement of the decision boundary is based on the feature variance within a cluster. Our method complements existing defenses by providing lightweight and interpretable OoD detection.
• Abstract（参考訳）: 微調整された大きな言語モデル(LLM)は、ドメイン固有のタスクのパフォーマンスを改善するが、過度に適合する可能性があるため、アウト・オブ・ディストリビューション(OoD)クエリでは信頼性が低い。 ボックス化された抽象化を用いて,OoD検出モニタをLoRA層に追加し,モデルの能力を超えた質問をフィルタリングする手法であるLoRA-BAMを提案する。 微調整データから特徴ベクトルをLCMを介して抽出してクラスタ化する。 クラスタはボックスで囲まれており、その特徴ベクトルがすべてのボックスの外にある場合、質問はOoDとしてフラグ付けされる。 解析性の向上と堅牢性向上のために,パラメータ付き質問が特徴空間に近づき続けることを奨励する微調整中の正規化損失を導入し,クラスタ内の特徴分散に基づいて決定境界の拡大を行う。 本手法は,軽量かつ解釈可能なOoD検出を提供することにより,既存の防御を補完する。

関連論文リスト

• Backdoor Cleaning without External Guidance in MLLM Fine-tuning [76.82121084745785]
  Believe Your Eyes (BYE)は、アテンションエントロピーパターンを自己教師信号として活用して、バックドアサンプルを特定してフィルタリングするデータフィルタリングフレームワークである。 クリーンタスクのパフォーマンスを維持しながら、ほぼゼロの攻撃成功率を達成する。
  論文  参考訳（メタデータ） (2025-05-22T17:11:58Z)
• Federated Sketching LoRA: On-Device Collaborative Fine-Tuning of Large Language Models [18.782733798668122]
  デバイス上での微調整大型言語モデル(LLM)は依然として難しい問題である。 近年のローランク適応 (LoRA) 技術は, デバイスモデルのサイズやデータ不足に伴う課題を軽減するために, ファインチューニングを併用している。 サーバが保持するグローバルなLoRAモジュールのサブマトリクスを選択的に更新するために,スケッチ機構を活用したフェデレートスケッチLoRAを提案する。
  論文  参考訳（メタデータ） (2025-01-31T18:44:35Z)
• Provenance: A Light-weight Fact-checker for Retrieval Augmented LLM Generation Output [49.893971654861424]
  検索強化生成(RAG)から非実効出力を検出する軽量な手法を提案する。 私たちは、二項決定を下すためにしきい値にできる事実性スコアを計算します。 実験の結果, ROC曲線 (AUC) の下では, 関連するオープンソースデータセットの広範囲にわたって高い面積を示すことができた。
  論文  参考訳（メタデータ） (2024-11-01T20:44:59Z)
• Sparse Semi-DETR: Sparse Learnable Queries for Semi-Supervised Object Detection [12.417754433715903]
  Sparse Semi-DETRは、トランスフォーマーをベースとした、エンドツーエンドの半教師付きオブジェクト検出ソリューションである。 Sparse Semi-DETR には Query Refinement Module が組み込まれており、オブジェクトクエリの品質を高め、小型で部分的に隠されたオブジェクトの検出能力を著しく改善している。 MS-COCOおよびPascal VOCオブジェクト検出ベンチマークでは、Sparse Semi-DETRは現在の最先端手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-04-02T10:22:23Z)
• CRaSh: Clustering, Removing, and Sharing Enhance Fine-tuning without Full Large Language Model [22.870512676002463]
  本稿では,集中型LCMと下流エミュレータ間でトランスフォーマブロックを転送する代表的手法であるOffsite-Tuning(OFT)に焦点を当てる。 これらの観測にインスパイアされたCRaShは、LCMから改善エミュレータを導出するトレーニングフリー戦略であるClustering、Removing、Sharingを含む。 以上の結果から,CRaShとOFTの有効性が明らかとなった。
  論文  参考訳（メタデータ） (2023-10-24T03:08:58Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• W2N:Switching From Weak Supervision to Noisy Supervision for Object Detection [64.10643170523414]
  弱い監督からうるさい監督(W2N)に切り替える新しいパラダイムを持つ新しいWSODフレームワークを提案する。 ローカライズ適応モジュールでは、元の擬似接地構造における識別部分の割合を減らすために正規化損失を提案する。 我々のW2Nは、既存の純粋なWSODメソッドや転送学習メソッドよりも優れています。
  論文  参考訳（メタデータ） (2022-07-25T12:13:48Z)
• Boosting Weakly Supervised Object Detection via Learning Bounding Box Adjusters [76.36104006511684]
  高価なインスタンスレベルのオブジェクトアノテーションを避けるため、WSOD(Weakly-supervised Object Detection)が最近の話題として登場した。 我々は、よく注釈付けされた補助データセットからバウンディングボックス回帰知識を活用することにより、ローカライズ性能を向上させるための問題設定を擁護する。 提案手法は,WSOD法と知識伝達モデルに対して,同様の問題設定で良好に機能する。
  論文  参考訳（メタデータ） (2021-08-03T13:38:20Z)
• ANL: Anti-Noise Learning for Cross-Domain Person Re-Identification [25.035093667770052]
  2つのモジュールを含むアンチノイズラーニング(ANL)アプローチを提案します。 FDAモジュールは、カメラ回りのコントラスト学習と逆適応を通じて、ID関連サンプルを収集し、ID非関連サンプルを分散するように設計されています。 reliable sample selection(rss)モジュールは、ノイズラベルを訂正し、メインモデルの信頼できるサンプルを選択するために補助モデルを使用する。
  論文  参考訳（メタデータ） (2020-12-27T02:38:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。