論文の概要: SuryaKiran at MEDIQA-Sum 2023: Leveraging LoRA for Clinical Dialogue Summarization

• arxiv url: http://arxiv.org/abs/2307.05162v1
• Date: Tue, 11 Jul 2023 10:38:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-12 15:24:08.150068
• Title: SuryaKiran at MEDIQA-Sum 2023: Leveraging LoRA for Clinical Dialogue Summarization
• Title（参考訳）: SuryaKiran at MEDIQA-Sum 2023: Leveraging LoRA for Clinical Dialogue Summarization (英語)
• Authors: Kunal Suri, Prakhar Mishra, Saumajit Saha, Atul Singh
• Abstract要約: 大きな言語モデルを微調整することは時間とリソース集約である。 効率的な微細チューニング(PEFT)手法は時間と資源の課題に対処する。 低ランク適応(LoRA)は、大規模言語モデルのエンドツーエンドの微調整と同等に機能する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Finetuning Large Language Models helps improve the results for domain-specific use cases. End-to-end finetuning of large language models is time and resource intensive and has high storage requirements to store the finetuned version of the large language model. Parameter Efficient Fine Tuning (PEFT) methods address the time and resource challenges by keeping the large language model as a fixed base and add additional layers, which the PEFT methods finetune. This paper demonstrates the evaluation results for one such PEFT method Low Rank Adaptation (LoRA), for Clinical Dialogue Summarization. The evaluation results show that LoRA works at par with end-to-end finetuning for a large language model. The paper presents the evaluations done for solving both the Subtask A and B from ImageCLEFmedical {https://www.imageclef.org/2023/medical}
• Abstract（参考訳）: 大規模言語モデルの微調整は、ドメイン固有のユースケースの結果を改善するのに役立つ。 大規模言語モデルのエンドツーエンドの微調整は時間と資源集約であり、大規模言語モデルの微調整されたバージョンを格納するための高いストレージ要求がある。 パラメータ効率の良いファインチューニング(PEFT)メソッドは、大きな言語モデルを固定ベースとして保持し、PEFTメソッドが微調整する追加レイヤを追加することで、時間とリソースの問題に対処する。 本稿では,臨床対話要約のためのpeft法(low rank adaptation:lora)の評価結果を示す。 評価の結果,LoRAは大規模言語モデルのエンドツーエンドファインタニングと同等に機能することがわかった。 本稿では,ImageCLEFmedical {https://www.imageclef.org/2023/medical} からSubtask A と B の両問題を解くための評価について述べる。

関連論文リスト

• How to Tune a Multilingual Encoder Model for Germanic Languages: A Study of PEFT, Full Fine-Tuning, and Language Adapters [0.7366405857677227]
  本稿では,多言語エンコーダモデルmDeBERTaのゲルマン語のタスクに対する最適利用について検討する。 パラメータ効率のよいファインチューニング(PEFT)手法であるLoRAとPfeifferのボトルネックアダプタとの比較を行った。 PEFTは質問応答に向いているが、名前付きエンティティ認識には完全な微調整が好ましい。
  論文  参考訳（メタデータ） (2025-01-10T15:01:51Z)
• LlaMADRS: Prompting Large Language Models for Interview-Based Depression Assessment [75.44934940580112]
  LlaMADRSは、オープンソースのLarge Language Models(LLM)を利用して、うつ病の重症度評価を自動化する新しいフレームワークである。 本研究は,クリニカルインタヴューの解釈・スコアリングにおけるモデル指導のために,慎重に設計された手がかりを用いたゼロショットプロンプト戦略を用いている。 実世界における236件のインタビューを対象とし,臨床評価と強い相関性を示した。
  論文  参考訳（メタデータ） (2025-01-07T08:49:04Z)
• Challenges in Adapting Multilingual LLMs to Low-Resource Languages using LoRA PEFT Tuning [0.4194295877935868]
  本研究では,ローランド適応 (LoRA) -高効率ファインチューニング (PEFT) がマラウイの多言語Gemmaモデルに及ぼす影響について検討した。 52,000対の命令応答対を持つ翻訳データセットを用いて、評価結果が微調整後に低下する一方で、手動による評価では、微調整されたモデルが元のモデルよりも優れていることがしばしば示唆されている。
  論文  参考訳（メタデータ） (2024-11-27T18:14:38Z)
• THaMES: An End-to-End Tool for Hallucination Mitigation and Evaluation in Large Language Models [0.0]
  事実的に誤ったコンテンツの生成である幻覚は、大規模言語モデルにおいてますます困難になっている。 本稿では,このギャップに対処する統合フレームワークとライブラリであるTHaMESを紹介する。 THaMES は LLM における幻覚の評価と緩和のためのエンドツーエンドのソリューションを提供する。
  論文  参考訳（メタデータ） (2024-09-17T16:55:25Z)
• The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights [108.40766216456413]
  大規模言語モデルの英語と非英語のパフォーマンスのギャップを埋めるための質問アライメントフレームワークを提案する。 実験結果から、さまざまな推論シナリオ、モデルファミリー、サイズにわたって、多言語のパフォーマンスを向上できることが示された。 我々は、表現空間、生成された応答とデータスケールを分析し、質問翻訳訓練がLLM内の言語アライメントをどのように強化するかを明らかにする。
  論文  参考訳（メタデータ） (2024-05-02T14:49:50Z)
• ReFT: Representation Finetuning for Language Models [74.51093640257892]
  我々はRepresentation Finetuning(ReFT)手法のファミリーを開発する。 ReFTはフリーズベースモデルで動作し、隠れた表現に対するタスク固有の介入を学ぶ。 我々は,8つの常識推論タスク,4つの算術推論タスク,命令チューニング,GLUEについてLoReFTを紹介する。
  論文  参考訳（メタデータ） (2024-04-04T17:00:37Z)
• MAPLE: Multilingual Evaluation of Parameter Efficient Finetuning of Large Language Models [7.321459642283822]
  ファインチューニングは、膨大なリソースと計算を必要とせずに、言語モデルの性能を向上させることができる。 LLama-2-7B モデルと Mistral-7B モデルを2つの合成多言語命令チューニングデータセット上で微調整し、モデル性能に与える影響を判定する。 小型のオープンソースモデルのPEFTは、これらのモデルとより大きなモデルの間のギャップを埋めることがあるが、英語のパフォーマンスは打撃を受ける可能性がある。
  論文  参考訳（メタデータ） (2024-01-15T11:06:43Z)
• On the Analysis of Cross-Lingual Prompt Tuning for Decoder-based Multilingual Model [49.81429697921861]
  多言語自己回帰モデルにおけるパラメータ効率細調整(PEFT)と言語間タスクの相互作用について検討する。 高速チューニングは、微調整よりも低リソース言語の性能向上に有効であることを示す。
  論文  参考訳（メタデータ） (2023-11-14T00:43:33Z)
• LoftQ: LoRA-Fine-Tuning-Aware Quantization for Large Language Models [104.23434818428062]
  我々は、事前訓練されたモデルに量子化とLoRA微調整を併用するシナリオに焦点を当てる。 本稿では,新しい量子化フレームワークであるLoftQ(LoRA-Fine-Tuning-Aware Quantization)を提案する。 実験の結果,本手法は有効であり,既存の量子化法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-10-12T18:34:08Z)
• SimOAP: Improve Coherence and Consistency in Persona-based Dialogue Generation via Over-sampling and Post-evaluation [54.66399120084227]
  大規模コーパスで訓練された言語モデルは、オープンドメイン対話において驚くほど流動的な結果を生み出すことができる。 ペルソナに基づく対話生成タスクでは、一貫性と一貫性が言語モデルにとって大きな課題である。 オーバーサンプリングとポスト評価という2段階のSimOAP戦略が提案されている。
  論文  参考訳（メタデータ） (2023-05-18T17:23:00Z)
• A Comparative Study between Full-Parameter and LoRA-based Fine-Tuning on Chinese Instruction Data for Instruction Following Large Language Model [8.21938165599387]
  基礎モデルの選択、トレーニングデータセットのスケール、学習可能なパラメータ量、モデルのトレーニングコストは、すべて重要な要素である。 論文の結果の再現を容易にするため、データセット、モデル、コードを公開します。
  論文  参考訳（メタデータ） (2023-04-17T09:36:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。