論文の概要: Foundations and Evaluations in NLP

• arxiv url: http://arxiv.org/abs/2504.01342v1
• Date: Wed, 02 Apr 2025 04:14:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:22:41.323930
• Title: Foundations and Evaluations in NLP
• Title（参考訳）: NLPの基礎と評価
• Authors: Jungyeul Park,
• Abstract要約: この回顧録では,自然言語処理(NLP)の基本的側面として,言語資源の作成とNLPシステムの性能評価について考察する。 私の研究は、形態学から意味論まで言語特性をキャプチャする、韓国語のための形態素ベースのアノテーションスキームの開発に重点を置いてきた。 I have proposed a novel evaluation framework, the jp-algorithm, which is introduced a alignment-based method to address challenges in preprocessing task。
• 参考スコア（独自算出の注目度）: 1.0619039878979954
• License:
• Abstract: This memoir explores two fundamental aspects of Natural Language Processing (NLP): the creation of linguistic resources and the evaluation of NLP system performance. Over the past decade, my work has focused on developing a morpheme-based annotation scheme for the Korean language that captures linguistic properties from morphology to semantics. This approach has achieved state-of-the-art results in various NLP tasks, including part-of-speech tagging, dependency parsing, and named entity recognition. Additionally, this work provides a comprehensive analysis of segmentation granularity and its critical impact on NLP system performance. In parallel with linguistic resource development, I have proposed a novel evaluation framework, the jp-algorithm, which introduces an alignment-based method to address challenges in preprocessing tasks like tokenization and sentence boundary detection (SBD). Traditional evaluation methods assume identical tokenization and sentence lengths between gold standards and system outputs, limiting their applicability to real-world data. The jp-algorithm overcomes these limitations, enabling robust end-to-end evaluations across a variety of NLP tasks. It enhances accuracy and flexibility by incorporating linear-time alignment while preserving the complexity of traditional evaluation metrics. This memoir provides key insights into the processing of morphologically rich languages, such as Korean, while offering a generalizable framework for evaluating diverse end-to-end NLP systems. My contributions lay the foundation for future developments, with broader implications for multilingual resource development and system evaluation.
• Abstract（参考訳）: この回顧録では,自然言語処理(NLP)の基本的側面として,言語資源の作成とNLPシステムの性能評価について考察する。 過去10年間、私の研究は、形態学から意味論まで言語特性をキャプチャする、韓国語のための形態素ベースのアノテーションスキームの開発に重点を置いてきた。 このアプローチは、音声のタグ付け、依存性解析、名前付きエンティティ認識など、さまざまなNLPタスクで最先端の結果を達成した。 さらに, この研究は, セグメンテーションの粒度を包括的に解析し, NLPシステムの性能に重要な影響を与える。 言語資源開発と並行して,トークン化や文境界検出(SBD)といった前処理タスクの課題に対処するアライメントベースの手法を導入する,新しい評価フレームワークであるjp-algorithmを提案してきた。 従来の評価手法では、金の基準とシステム出力の間に同じトークン化と文長を仮定し、実際のデータに適用性を制限する。 jp-algorithmはこれらの制限を克服し、様々なNLPタスクにわたる堅牢なエンドツーエンド評価を可能にする。 従来の評価指標の複雑さを保ちながら、線形時間アライメントを組み込むことで、精度と柔軟性を向上させる。 この回顧録は、朝鮮語のような形態学的に豊かな言語の処理に関する重要な洞察を提供するとともに、多様なエンドツーエンドのNLPシステムを評価するための一般化可能なフレームワークを提供する。 私のコントリビューションは、多言語リソース開発とシステム評価に幅広い意味を持つ、将来の開発の基礎を築いてきました。

関連論文リスト

• Tokenization Standards for Linguistic Integrity: Turkish as a Benchmark [0.29687381456163997]
  トークン化はNLPの基本的な前処理ステップであり、大きな言語モデルが構文、形態素合成、意味構造をキャプチャする能力に直接影響を及ぼす。 本稿では,形態的にリッチで低リソースな言語における課題に対処する,トークン化戦略を評価するための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-10T21:47:49Z)
• Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
  我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。 このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
  論文  参考訳（メタデータ） (2024-02-16T13:53:26Z)
• Leveraging Large Language Models for NLG Evaluation: Advances and Challenges [57.88520765782177]
  大規模言語モデル(LLM)は、コヒーレンス、クリエイティビティ、コンテキスト関連など、生成されたコンテンツ品質を評価するための新たな道を開いた。 既存のLCMに基づく評価指標を整理し、これらの手法を理解し比較するための構造化された枠組みを提供する。 本稿では, 偏見, 堅牢性, ドメイン固有性, 統一評価などの未解決課題を議論することによって, 研究者に洞察を提供し, より公平で高度なNLG評価手法を提唱することを目的とする。
  論文  参考訳（メタデータ） (2024-01-13T15:59:09Z)
• Natural Language Processing for Dialects of a Language: A Survey [56.93337350526933]
  最先端自然言語処理(NLP)モデルは、大規模なトレーニングコーパスでトレーニングされ、評価データセットで最上位のパフォーマンスを報告します。 この調査は、これらのデータセットの重要な属性である言語の方言を掘り下げる。 方言データセットにおけるNLPモデルの性能劣化と言語技術のエクイティへのその影響を動機として,我々はデータセットやアプローチの観点から,方言に対するNLPの過去の研究を調査した。
  論文  参考訳（メタデータ） (2024-01-11T03:04:38Z)
• L2CEval: Evaluating Language-to-Code Generation Capabilities of Large Language Models [102.00201523306986]
  大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。 モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。 モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
  論文  参考訳（メタデータ） (2023-09-29T17:57:00Z)
• Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language Modelling [70.23876429382969]
  本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。 ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。 また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
  論文  参考訳（メタデータ） (2023-07-16T15:18:25Z)
• A Multilingual Perspective Towards the Evaluation of Attribution Methods in Natural Language Inference [28.949004915740776]
  本稿では,自然言語推論(NLI)タスクに対する帰属的手法を評価するための多言語的手法を提案する。 まず,単語アライメントに基づいて忠実度を測定するための新たな言語間戦略を導入する。 次に、異なる出力機構と集約手法を考慮し、帰属手法の包括的な評価を行う。
  論文  参考訳（メタデータ） (2022-04-11T22:11:05Z)
• Robust Natural Language Processing: Recent Advances, Challenges, and Future Directions [4.409836695738517]
  文献を様々な次元にわたって体系的に要約することで,NLPロバストネス研究の構造化概要を述べる。 次に、テクニック、メトリクス、埋め込み、ベンチマークなど、堅牢性のさまざまな側面を深く掘り下げます。
  論文  参考訳（メタデータ） (2022-01-03T17:17:11Z)
• TextFlint: Unified Multilingual Robustness Evaluation Toolkit for Natural Language Processing [73.16475763422446]
  NLPタスク(TextFlint)のための多言語ロバスト性評価プラットフォームを提案する。 普遍的なテキスト変換、タスク固有の変換、敵攻撃、サブポピュレーション、およびそれらの組み合わせを取り入れ、包括的な堅牢性分析を提供する。 TextFlintは、モデルの堅牢性の欠点に対処するために、完全な分析レポートとターゲットとした拡張データを生成します。
  論文  参考訳（メタデータ） (2021-03-21T17:20:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。