論文の概要: Standardising the NLP Workflow: A Framework for Reproducible Linguistic Analysis

• arxiv url: http://arxiv.org/abs/2511.15512v1
• Date: Wed, 19 Nov 2025 15:06:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-20 15:51:28.858901
• Title: Standardising the NLP Workflow: A Framework for Reproducible Linguistic Analysis
• Title（参考訳）: NLPワークフローの標準化:再現可能な言語分析のためのフレームワーク
• Authors: Yves Pauli, Jan-Bernard Marsman, Finn Rabe, Victoria Edkins, Roya Hüppi, Silvia Ciampelli, Akhil Ratan Misra, Nils Lang, Wolfram Hinzen, Iris Sommer, Philipp Homan,
• Abstract要約: 脳画像データ構造(BIDS)にインスパイアされた言語処理データ構造(LPDS)を提案する。 次に,言語処理の合理化を目的としたモジュール型神経科学およびPythonパッケージであるペリカンnlpを紹介する。 処理ワークフロー全体は単一の共有可能な構成ファイル内で指定可能で、ペリカンnlpはLPDS形式のデータ上で実行される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The introduction of large language models and other influential developments in AI-based language processing have led to an evolution in the methods available to quantitatively analyse language data. With the resultant growth of attention on language processing, significant challenges have emerged, including the lack of standardisation in organising and sharing linguistic data and the absence of standardised and reproducible processing methodologies. Striving for future standardisation, we first propose the Language Processing Data Structure (LPDS), a data structure inspired by the Brain Imaging Data Structure (BIDS), a widely adopted standard for handling neuroscience data. It provides a folder structure and file naming conventions for linguistic research. Second, we introduce pelican nlp, a modular and extensible Python package designed to enable streamlined language processing, from initial data cleaning and task-specific preprocessing to the extraction of sophisticated linguistic and acoustic features, such as semantic embeddings and prosodic metrics. The entire processing workflow can be specified within a single, shareable configuration file, which pelican nlp then executes on LPDS-formatted data. Depending on the specifications, the reproducible output can consist of preprocessed language data or standardised extraction of both linguistic and acoustic features and corresponding result aggregations. LPDS and pelican nlp collectively offer an end-to-end processing pipeline for linguistic data, designed to ensure methodological transparency and enhance reproducibility.
• Abstract（参考訳）: 大規模言語モデルの導入とAIベースの言語処理における他の影響力ある発展は、言語データを定量的に分析する手法の進化につながった。 言語処理への注目の高まりに伴い、言語データの整理と共有の標準化の欠如や、標準化および再現可能な処理方法論の欠如など、大きな課題が生じた。 まず,脳画像データ構造(BIDS)にインスパイアされた言語処理データ構造(LPDS)を提案する。 言語研究のためのフォルダ構造とファイル命名規則を提供する。 第二にペリカンnlpは,初期データクリーニングやタスク固有の前処理から,セマンティック埋め込みや韻律メトリクスなどの洗練された言語的・音響的特徴の抽出まで,言語処理の合理化を実現するために設計されたモジュールで拡張可能なPythonパッケージである。 処理ワークフロー全体は単一の共有可能な構成ファイル内で指定可能で、ペリカンnlpはLPDS形式のデータ上で実行される。 仕様によっては、再現可能な出力は、事前処理された言語データからなり、言語的特徴と音響的特徴と対応する結果集合の両方を標準化された抽出から得ることができる。 LPDSとペリカンnlpは総合的に言語データのためのエンドツーエンド処理パイプラインを提供し、方法論的透明性と再現性の向上を目的としている。

関連論文リスト

• Chunk-Distilled Language Modeling [25.238256586953487]
  Chunk-Distilled Language Modeling (CD-LM)は、現在の大規模言語モデル(LLM)における2つの課題に対処するテキスト生成のアプローチである。 提案手法は,ディープネットワークベースのLCMと簡単な検索モジュールを組み合わせることで,単一のデコードステップでマルチトークンテキストチャンクを生成する。
  論文  参考訳（メタデータ） (2024-12-31T08:32:15Z)
• Boosting the Capabilities of Compact Models in Low-Data Contexts with Large Language Models and Retrieval-Augmented Generation [2.9921619703037274]
  本稿では,形態素解析の言語タスクにおいて,より小さなモデルの出力を補正するために,大言語モデル(LLM)を基盤とした検索拡張生成(RAG)フレームワークを提案する。 データ不足や訓練可能なパラメータの不足を補うために,言語情報を活用するとともに,LLMを通して解釈・蒸留された記述文法からの入力を許容する。 コンパクトなRAG支援モデルがデータスカース設定に極めて有効であることを示し、このタスクとターゲット言語に対する新しい最先端技術を実現する。
  論文  参考訳（メタデータ） (2024-10-01T04:20:14Z)
• Language and Task Arithmetic with Parameter-Efficient Layers for Zero-Shot Summarization [126.96113831681338]
  本稿では,言語やタスク特化パラメータを構成することで,ゼロショットの言語間移動を改善することを提案する。 本手法は,言語とタスクPEFTモジュールを要素演算により構成し,ラベルなしデータと英語ラベル付きデータを活用する。
  論文  参考訳（メタデータ） (2023-11-15T20:04:58Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Prompting Language Models for Linguistic Structure [73.11488464916668]
  本稿では,言語構造予測タスクに対する構造化プロンプト手法を提案する。 提案手法は, 音声タグ付け, 名前付きエンティティ認識, 文チャンキングについて評価する。 PLMはタスクラベルの事前知識を事前学習コーパスに漏えいすることで有意な事前知識を含むが、構造化プロンプトは任意のラベルで言語構造を復元することも可能である。
  論文  参考訳（メタデータ） (2022-11-15T01:13:39Z)
• Annotated Dataset Creation through General Purpose Language Models for non-English Medical NLP [0.5482532589225552]
  我々の研究では、事前訓練された言語モデルをデータ取得のトレーニングに活用することを提案する。 我々は、ドイツのテキストであるGPTNERMEDの医療用NERモデルをトレーニングするために使用するカスタムデータセットを作成します。
  論文  参考訳（メタデータ） (2022-08-30T18:42:55Z)
• Cross-Lingual Dialogue Dataset Creation via Outline-Based Generation [70.81596088969378]
  言語間アウトラインに基づく対話データセット(COD)は、自然言語の理解を可能にする。 CODは、4つの異なる言語で対話状態の追跡とエンドツーエンドの対話モデリングと評価を可能にする。
  論文  参考訳（メタデータ） (2022-01-31T18:11:21Z)
• Exploring Software Naturalness through Neural Language Models [56.1315223210742]
  ソフトウェア自然性仮説(Software Naturalness hypothesis)は、自然言語処理で使用されるのと同じ手法でプログラミング言語を理解することができると主張している。 この仮説は,事前学習されたトランスフォーマーベース言語モデルを用いて,コード解析タスクを実行することによって検討する。
  論文  参考訳（メタデータ） (2020-06-22T21:56:14Z)
• Unnatural Language Processing: Bridging the Gap Between Synthetic and Natural Language Data [37.542036032277466]
  本稿では,言語理解問題における-simulation-to-real'転送手法を提案する。 我々のアプローチは、いくつかのドメインで自然言語データに基づいて訓練された最先端のモデルと一致または性能を向上する。
  論文  参考訳（メタデータ） (2020-04-28T16:41:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。