Fugu-MT 論文翻訳(概要): Abstractive summarization from Audio Transcription

論文の概要: Abstractive summarization from Audio Transcription

arxiv url: http://arxiv.org/abs/2408.04639v1
Date: Tue, 30 Jul 2024 16:38:38 GMT
ステータス: 処理完了
システム内更新日: 2024-08-19 04:27:34.320536
Title: Abstractive summarization from Audio Transcription
Title（参考訳）: 音声転写からの抽象的要約
Authors: Ilia Derkach,
Abstract要約: これらの手法を用いて,E2E(End to End)音声要約モデルを提案する。本稿では,これらの手法の有効性を考察し,これらの手法の適用性について結論を導出する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Currently, large language models are gaining popularity, their achievements are used in many areas, ranging from text translation to generating answers to queries. However, the main problem with these new machine learning algorithms is that training such models requires large computing resources that only large IT companies have. To avoid this problem, a number of methods (LoRA, quantization) have been proposed so that existing models can be effectively fine-tuned for specific tasks. In this paper, we propose an E2E (end to end) audio summarization model using these techniques. In addition, this paper examines the effectiveness of these approaches to the problem under consideration and draws conclusions about the applicability of these methods.
Abstract（参考訳）: 現在、大規模な言語モデルが人気を集めており、その成果はテキスト翻訳からクエリへの回答生成まで、多くの分野で利用されている。しかし、これらの新しい機械学習アルゴリズムの大きな問題は、そのようなモデルのトレーニングには、大規模なIT企業しか持たない巨大なコンピューティングリソースが必要であることである。この問題を回避するために、既存のモデルを特定のタスクに対して効果的に微調整できるように、多くの手法(LoRA、量子化)が提案されている。本稿では,これらの手法を用いたE2E(End to End)音声要約モデルを提案する。さらに,本手法の有効性を考察し,本手法の適用性について結論を導出する。

関連論文リスト

A Comprehensive Study on Quantization Techniques for Large Language Models [0.0]
大規模言語モデル(LLM)は、学術と産業の両方で広く研究され、利用されている。 LLMは、リソースに制約のあるIoTデバイスや組み込みシステムにデプロイする上で、重大な課題を提示している。量子化(Quantization)は、モデルの値の精度を小さな離散値のセットに縮める技術であり、有望な解決策を提供する。
論文参考訳（メタデータ） (2024-10-30T04:55:26Z)
A Survey of Small Language Models [104.80308007044634]
小言語モデル (SLM) は, 計算資源の最小化による言語タスクの効率化と性能の向上により, ますます重要になってきている。本稿では,SLMのアーキテクチャ,トレーニング技術,モデル圧縮技術に着目した総合的な調査を行う。
論文参考訳（メタデータ） (2024-10-25T23:52:28Z)
NL2OR: Solve Complex Operations Research Problems Using Natural Language Inputs [9.105616622623629]
オペレーションリサーチ(OR)は、数学的モデルを使用して意思決定を強化するが、これらのモデルを開発するには専門家の知識が必要であり、時間を要する可能性がある。本稿では,Large Language Model (LLM) の最近の進歩を利用して,自然言語を用いて表現された非専門的ユーザクエリからORソリューションを作成し,編集する手法を提案する。
論文参考訳（メタデータ） (2024-08-14T03:42:53Z)
Machine Unlearning for Traditional Models and Large Language Models: A Short Survey [11.539080008361662]
機械学習は、データを削除し、ユーザーの要求に応じてモデルへの影響を減らすことを目的としている。本稿では,従来のモデルとLarge Language Models(LLMs)の両方の非学習を分類し,検討する。
論文参考訳（メタデータ） (2024-04-01T16:08:18Z)
The Efficiency Spectrum of Large Language Models: An Algorithmic Survey [54.19942426544731]
LLM(Large Language Models)の急速な成長は、様々なドメインを変換する原動力となっている。本稿では,LLMのエンドツーエンドのアルゴリズム開発に不可欠な多面的効率性について検討する。
論文参考訳（メタデータ） (2023-12-01T16:00:25Z)
Large Language Models as Analogical Reasoners [155.9617224350088]
CoT(Chain-of- Thought)は、言語モデルのプロンプトとして、推論タスク全体で素晴らしいパフォーマンスを示す。そこで本稿では,大規模言語モデルの推論プロセスを自動的にガイドする,新たなプロンプト手法であるアナログプロンプトを導入する。
論文参考訳（メタデータ） (2023-10-03T00:57:26Z)
Do Generative Large Language Models need billions of parameters? [0.0]
この研究は、モデルの異なる部分がパラメータを共有することを可能にする新しい方法を探究する。このアプローチは、複雑な言語構造を学習し表現する能力を犠牲にすることなく、モデルがコンパクトであることを保証する。
論文参考訳（メタデータ） (2023-09-12T20:25:22Z)
Automatically Correcting Large Language Models: Surveying the landscape of diverse self-correction strategies [104.32199881187607]
大規模言語モデル(LLM)は、幅広いNLPタスクで顕著な性能を示した。これらの欠陥を正すための有望なアプローチは自己補正であり、LLM自体が自身の出力で問題を修正するために誘導される。本稿では,この新技術について概観する。
論文参考訳（メタデータ） (2023-08-06T18:38:52Z)
Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2022-06-12T04:42:49Z)
Model Reprogramming: Resource-Efficient Cross-Domain Machine Learning [65.268245109828]
視覚、言語、音声などのデータに富む領域では、ディープラーニングが高性能なタスク固有モデルを提供するのが一般的である。リソース制限されたドメインでのディープラーニングは、(i)限られたデータ、(ii)制約付きモデル開発コスト、(iii)効果的な微調整のための適切な事前学習モデルの欠如など、多くの課題に直面している。モデル再プログラミングは、ソースドメインから十分に訓練されたモデルを再利用して、モデル微調整なしでターゲットドメインのタスクを解くことで、リソース効率のよいクロスドメイン機械学習を可能にする。
論文参考訳（メタデータ） (2022-02-22T02:33:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。