論文の概要: Explain Less, Understand More: Jargon Detection via Personalized Parameter-Efficient Fine-tuning

• arxiv url: http://arxiv.org/abs/2505.16227v1
• Date: Thu, 22 May 2025 04:55:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:48.045578
• Title: Explain Less, Understand More: Jargon Detection via Personalized Parameter-Efficient Fine-tuning
• Title（参考訳）: パーソナライズされたパラメータ効率の良い微調整によるジャーゴン検出
• Authors: Bohao Wu, Qingyun Wang, Yue Guo,
• Abstract要約: 本稿では,現実のデプロイメントにおいて,効率的かつスケーラブルな手法に焦点をあてた,パーソナライズされたjargon検出の体系的研究を行う。 1)オープンソースモデル上でのLoRA(Lo-Rank Adaptation)を用いた軽量微調整,(2)パーソナライズプロンプトの2つの方法を検討する。 パーソナライズされた LoRA モデルは GPT-4 を 21.4% のスコアで上回り, オラクルベースラインの8.3% を上回った。
• 参考スコア（独自算出の注目度）: 5.186479104937614
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Personalizing jargon detection and explanation is essential for making technical documents accessible to readers with diverse disciplinary backgrounds. However, tailoring models to individual users typically requires substantial annotation efforts and computational resources due to user-specific finetuning. To address this, we present a systematic study of personalized jargon detection, focusing on methods that are both efficient and scalable for real-world deployment. We explore two personalization strategies: (1) lightweight fine-tuning using Low-Rank Adaptation (LoRA) on open-source models, and (2) personalized prompting, which tailors model behavior at inference time without retaining. To reflect realistic constraints, we also investigate hybrid approaches that combine limited annotated data with unsupervised user background signals. Our personalized LoRA model outperforms GPT-4 by 21.4% in F1 score and exceeds the best performing oracle baseline by 8.3%. Remarkably, our method achieves comparable performance using only 10% of the annotated training data, demonstrating its practicality for resource-constrained settings. Our study offers the first work to systematically explore efficient, low-resource personalization of jargon detection using open-source language models, offering a practical path toward scalable, user-adaptive NLP system.
• Abstract（参考訳）: 様々な学際的背景を持つ読者に技術的文書をアクセスできるようにするためには,ジャーゴンの検出と説明のパーソナライズが不可欠である。 しかし、個々のユーザに合わせてモデルを調整するには、通常、ユーザ固有の微調整のために、実質的なアノテーションの取り組みと計算資源が必要である。 そこで本研究では,現実のデプロイメントにおいて,効率的かつスケーラブルな手法に着目した,パーソナライズされたjargon検出の体系的研究を行う。 本稿では,(1)オープンソースモデル上でのLoRA(Lo-Rank Adaptation)を用いた軽量微調整,(2)パーソナライズプロンプト,(2)推論時の振る舞いを保持せずにモデル化する,2つのパーソナライズ戦略を検討する。 現実的な制約を反映するために,制限付きアノテートデータと教師なしのユーザ背景信号を組み合わせたハイブリッドアプローチについても検討する。 パーソナライズされた LoRA モデルは GPT-4 を 21.4% のスコアで上回り, オラクルベースラインの8.3% を上回った。 そこで本手法は,アノテートしたトレーニングデータの10%しか使用せず,資源制約のある環境下での実践性を実証する。 本研究は,オープンソースの言語モデルを用いたジャーゴン検出の効率的で低リソースなパーソナライズを体系的に検討し,スケーラブルなユーザ適応型NLPシステムへの実践的な道筋を提供する。

関連論文リスト

• KBAlign: Efficient Self Adaptation on Specific Knowledge Bases [73.34893326181046]
  本稿では,効率的なモデル適応によりRAGシステムを強化する自己教師型フレームワークKBAlignを提案する。 私たちのキーとなる洞察は、2つの革新的なメカニズムを通じて、モデルの本質的な能力を知識の整合性に活用することです。 KBAlign は GPT-4 による適応によって得られる性能向上の90%を達成できることを示した。
  論文  参考訳（メタデータ） (2024-11-22T08:21:03Z)
• EasyJudge: an Easy-to-use Tool for Comprehensive Response Evaluation of LLMs [6.179084469089114]
  本稿では,重要な言語モデル応答を評価するために開発された EasyJudge を提案する。 軽量で、正確で、効率的で、ユーザフレンドリで、デプロイや使用が容易な、直感的な視覚化インターフェースを備えている。
  論文  参考訳（メタデータ） (2024-10-13T08:24:12Z)
• Lifelong Personalized Low-Rank Adaptation of Large Language Models for Recommendation [50.837277466987345]
  我々は、推奨のために大規模言語モデル(LLM)の分野に焦点を当てる。 ユーザ毎に独立したLoRAを管理するPersonalized LoRAモジュールを組み込んだRecLoRAを提案する。 また、Few2Many Learning Strategyを設計し、従来のレコメンデーションモデルをレンズとして使用して、小さなトレーニングスペースをフルスペースに拡大する。
  論文  参考訳（メタデータ） (2024-08-07T04:20:28Z)
• Large Language Models: A New Approach for Privacy Policy Analysis at Scale [1.7570777893613145]
  本研究は,大規模プライバシポリシから効果的かつ効率的にプライバシプラクティスを抽出する代替手段として,LLM(Large Language Models)の適用を提案する。 我々はChatGPTやLlama 2といった有名なLLMを活用し、プロンプト、パラメータ、モデルの最適設計に関するガイダンスを提供する。 評価では、ドメイン内のいくつかの有名なデータセットをベンチマークとして、その例外的な性能を評価し、F1スコアが93%を超えた。
  論文  参考訳（メタデータ） (2024-05-31T15:12:33Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• Improving Few-Shot Generalization by Exploring and Exploiting Auxiliary Data [100.33096338195723]
  補助データを用いたFew-shot Learning(FLAD)に焦点を当てる。 FLADは、一般化を改善するために、数ショットの学習中に補助データへのアクセスを前提としている。 提案するアルゴリズムは EXP3-FLAD と UCB1-FLAD の2つである。
  論文  参考訳（メタデータ） (2023-02-01T18:59:36Z)
• DAGA: Data Augmentation with a Generation Approach for Low-resource Tagging Tasks [88.62288327934499]
  線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。 本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
  論文  参考訳（メタデータ） (2020-11-03T07:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。