論文の概要: Leveraging Large Language Models for Topic Classification in the Domain
of Public Affairs
- arxiv url: http://arxiv.org/abs/2306.02864v2
- Date: Tue, 8 Aug 2023 09:48:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-09 16:44:58.762753
- Title: Leveraging Large Language Models for Topic Classification in the Domain
of Public Affairs
- Title（参考訳）: 公務分野における話題分類のための大規模言語モデル活用
- Authors: Alejandro Pe\~na, Aythami Morales, Julian Fierrez, Ignacio Serna,
Javier Ortega-Garcia, I\~nigo Puente, Jorge Cordova, Gonzalo Cordova
- Abstract要約: 大規模言語モデル (LLM) は公務員文書の分析を大幅に強化する可能性を秘めている。
LLMは、公共の分野など、ドメイン固有のドキュメントを処理するのに非常に役立ちます。
- 参考スコア（独自算出の注目度）: 65.9077733300329
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The analysis of public affairs documents is crucial for citizens as it
promotes transparency, accountability, and informed decision-making. It allows
citizens to understand government policies, participate in public discourse,
and hold representatives accountable. This is crucial, and sometimes a matter
of life or death, for companies whose operation depend on certain regulations.
Large Language Models (LLMs) have the potential to greatly enhance the analysis
of public affairs documents by effectively processing and understanding the
complex language used in such documents. In this work, we analyze the
performance of LLMs in classifying public affairs documents. As a natural
multi-label task, the classification of these documents presents important
challenges. In this work, we use a regex-powered tool to collect a database of
public affairs documents with more than 33K samples and 22.5M tokens. Our
experiments assess the performance of 4 different Spanish LLMs to classify up
to 30 different topics in the data in different configurations. The results
shows that LLMs can be of great use to process domain-specific documents, such
as those in the domain of public affairs.
- Abstract（参考訳）: 行政文書の分析は、透明性、説明責任、情報的意思決定を促進するため、市民にとって不可欠である。
市民は政府の政策を理解し、公的な議論に参加し、代表者が責任を負うことができる。
特定の規制に依存している企業にとって、これは重要なことであり、時には命または死の問題である。
大規模言語モデル(LLM)は、そのような文書で使用される複雑な言語を効果的に処理し理解することで、公務文書の分析を大幅に強化する可能性がある。
本研究では,公務文書の分類におけるLCMの性能分析を行う。
自然なマルチラベルタスクとして、これらの文書の分類は重要な課題である。
本研究では,33K以上のサンプルと22.5Mトークンを持つ公開事務文書のデータベース収集に,Regexを利用したツールを使用する。
実験では,スペインにおける4つの異なるllmの性能を評価し,最大30のトピックを異なる構成で分類した。
その結果, LLM は公務分野の文書など, ドメイン固有の文書の処理に有効であることが示唆された。
関連論文リスト
- Large Language Models for Judicial Entity Extraction: A Comparative Study [0.0]
本研究では,事例法文書におけるドメイン固有エンティティの同定における大規模言語モデルの適用について検討する。
この研究は、Large Language Model Meta AI 3、Mistral、Gemmaを含む最先端のLarge Language Modelアーキテクチャの性能を評価する。
論文 参考訳（メタデータ） (2024-07-08T09:49:03Z) - Quantifying Generative Media Bias with a Corpus of Real-world and Generated News Articles [12.356251871670011]
大規模言語モデル(LLM)は、タスクやドメインにまたがってますます活用されてきている。
本研究では、政治バイアスに着目し、教師付きモデルとLLMの両方を用いて検出する。
ジャーナリストの領域内ではじめて、この研究は定量化実験の枠組みを概説した。
論文 参考訳（メタデータ） (2024-06-16T01:32:04Z) - LLM vs. Lawyers: Identifying a Subset of Summary Judgments in a Large UK
Case Law Dataset [0.0]
本研究は, 英国裁判所判決の大規模コーパスから, 判例, 判例、 判例、 判例、 判例、 判例、 判例、 判例、 判例、 判例、 判例、 判例、 判例、 判例、 判例、 判例、 判例、 判例、 判例、 判例、 判例、 判例、 判例、 判例、 判例、 判例、 判例、 判例、
我々は、ケンブリッジ法コーパス356,011英国の裁判所決定を用いて、大きな言語モデルは、キーワードに対して重み付けされたF1スコアが0.94対0.78であると判断する。
我々は,3,102件の要約判断事例を同定し抽出し,その分布を時間的範囲の様々な英国裁判所にマップできるようにする。
論文 参考訳（メタデータ） (2024-03-04T10:13:30Z) - L-Eval: Instituting Standardized Evaluation for Long Context Language
Models [91.05820785008527]
長い文脈言語モデル(LCLM)のより標準化された評価を行うためにL-Evalを提案する。
20のサブタスク、508の長いドキュメント、2000以上の人間ラベルのクエリ応答対を含む新しい評価スイートを構築した。
その結果、一般的なn-gramマッチングの指標は人間の判断とよく相関しないことがわかった。
論文 参考訳（メタデータ） (2023-07-20T17:59:41Z) - One Law, Many Languages: Benchmarking Multilingual Legal Reasoning for Judicial Support [18.810320088441678]
この研究は、法域に対する新しいNLPベンチマークを導入している。
エンフロング文書(最大50Kトークン)の処理、エンフドメイン固有の知識(法的テキストに具体化されている)、エンフマルチリンガル理解(5つの言語をカバーしている)の5つの重要な側面においてLCMに挑戦する。
我々のベンチマークにはスイスの法体系からの多様なデータセットが含まれており、基礎となる非英語、本質的には多言語法体系を包括的に研究することができる。
論文 参考訳（メタデータ） (2023-06-15T16:19:15Z) - Document Layout Annotation: Database and Benchmark in the Domain of
Public Affairs [62.38140271294419]
レイアウトラベルの異なるデジタル文書を半自動アノテートする手法を提案する。
スペイン政府から24データソースの集合を用いて,行政領域におけるDLAの新しいデータベースを収集する。
実験の結果,提案したテキストラベリング手順を99%の精度で検証した。
論文 参考訳（メタデータ） (2023-06-12T08:21:50Z) - Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。
26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
論文 参考訳（メタデータ） (2023-05-24T10:45:25Z) - ElitePLM: An Empirical Study on General Language Ability Evaluation of
Pretrained Language Models [78.08792285698853]
本稿では,事前学習型言語モデル(ElitePLM)の汎用言語能力評価に関する大規模実証的研究について述べる。
実験の結果,(1)訓練対象の異なるPLMは異なる能力試験に適しており,(2)下流タスクの微調整PLMはデータサイズや分布に敏感であり,(3)PLMは類似タスク間の転送性に優れていた。
論文 参考訳（メタデータ） (2022-05-03T14:18:10Z) - Algorithmic Fairness Datasets: the Story so Far [68.45921483094705]
データ駆動アルゴリズムは、人々の幸福に直接影響し、批判的な決定をサポートするために、さまざまな領域で研究されている。
研究者のコミュニティは、既存のアルゴリズムの株式を調査し、新しいアルゴリズムを提案し、歴史的に不利な人口に対する自動意思決定のリスクと機会の理解を深めてきた。
公正な機械学習の進歩はデータに基づいており、適切に文書化された場合にのみ適切に使用できる。
残念なことに、アルゴリズムフェアネスコミュニティは、特定のリソース(オパシティ)に関する情報の不足と利用可能な情報の分散(スパーシティ)によって引き起こされる、集合的なデータドキュメント負債に悩まされている。
論文 参考訳（メタデータ） (2022-02-03T17:25:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。