論文の概要: Svarna: An Open Corpus Workbench for Modern Greek
- arxiv url: http://arxiv.org/abs/2607.00970v2
- Date: Thu, 02 Jul 2026 06:31:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-03 19:45:08.513359
- Title: Svarna: An Open Corpus Workbench for Modern Greek
- Title（参考訳）: Svarna: 現代ギリシャのためのオープンコーパスワークベンチ
- Authors: Stergios Chatzikyriakidis,
- Abstract要約: Svarna(スヴァルナ)は、現代ギリシャの無料のオープンソースWebベースのコーパスである。
様々な登録、制度、文学、方言、ソーシャルメディア、歴史を含む5つのデータベースを統合している。
総語数は5億7700万語、文数は約2900万文だ。
- 参考スコア（独自算出の注目度）: 0.16798332175741593
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper introduces Svarna, a free, open-source, web-based corpus workbench for modern Greek. Svarna integrates five databases covering various registers, institutional, literary, dialectal, social media, and historical, to provide a total of more than 507 million words and around 29 million sentences. This platform addresses the chronic gaps in Greek language technology. Although various corpus resources exist, they are scattered across different platforms, and in many cases, institutional access is restricted or they are no longer available online. Svarna integrates these resources into a single interface that can be used without logging in, installation, or specialized training. This system provides a concordancer with KWIC marking capabilities, frequency analysis including register-by-register normalization, collocation extraction using mutual information, a dictionary of 93 Greek discourse markers providing distribution profiles, text-level analysis tools including n-grams, variants, and collocation networks, register comparison using log-ratio, regular expression search, and an optional LLM layer for pragmatic annotation and free research mode. This platform is built upon SQLite FTS5 full-text indexes provided via a FastAPI backend, deployed as Docker containers on Azure, and released under the MIT license. Source code, build scripts, and deployment configurations are publicly available on GitHub. Users can add their own corpora and deploy their own instances. This document describes the system design, corpus structure, and use cases demonstrating the various queries supported by the platform. Svarna serves as the first step in exploring available data and is expected to lay the foundation for more comprehensive research in the future.
- Abstract（参考訳）: 本稿では,Svarnaについて紹介する。Svarnaは,現代のギリシャ語のための,オープンソースのWebベースのコーパスワークベンチである。
Svarnaは5つのデータベースを統合し、さまざまなレジスター、機関、文学、方言、ソーシャルメディア、歴史を網羅し、合計で5700万以上の単語と約2900万の文を提供している。
このプラットフォームはギリシャ語技術の慢性的なギャップに対処する。
様々なコーパス資源が存在するが、様々なプラットフォームに分散しており、多くの場合、制度的なアクセスは制限されているか、オンラインでは利用できない。
Svarnaはこれらのリソースを単一のインターフェースに統合し、ログイン、インストール、特別なトレーニングなしで使用することができる。
本システムは、KWICマーキング機能付きコンコーダ、レジスタバイレジスト正規化を含む周波数解析、相互情報を用いたコロケーション抽出、分布プロファイルを提供する93のギリシャ語談話マーカーの辞書、n-gram、変種、コロケーションネットワークを含むテキストレベルの分析ツール、ログ比を用いたレジスタ比較、正規表現探索、および実用的なアノテーションとフリーリサーチモードのためのオプションのLCMレイヤを提供する。
このプラットフォームは、FastAPIバックエンド経由で提供されるSQLite FTS5フルテキストインデックス上に構築されており、Azure上のDockerコンテナとしてデプロイされ、MITライセンス下でリリースされている。
ソースコード、ビルドスクリプト、デプロイメント設定はGitHubで公開されている。
ユーザは自分のコーパスを追加して、自分のインスタンスをデプロイできる。
この文書では、システム設計、コーパス構造、プラットフォームがサポートする様々なクエリを示すユースケースについて記述する。
Svarnaは利用可能なデータを探索する最初のステップとして機能し、将来的にはより包括的な研究の基礎となることが期待されている。
関連論文リスト
- ScheMatiQ: From Research Question to Structured Data through Interactive Schema Discovery [14.006213362312435]
バックボーン LLM を呼び出すことで,質問やコーパスを取り込み,スキーマとグラウンドドデータベースを生成する ScheMatiQ を紹介する。
ドメインの専門家と共同で、ScheMatiQは、法と計算生物学における実世界の分析をサポートする出力を出力することを示した。
公開Webインターフェースを備えたオープンソースとしてScheMatiQをリリースし、専門分野の専門家を招待して、独自のデータで使用します。
論文 参考訳（メタデータ） (2026-04-10T11:51:23Z) - SocialED: A Python Library for Social Event Detection [53.928241775629566]
SocialEDは、ソーシャルイベント検出(SED)タスクをサポートするように設計された、包括的なオープンソースのPythonライブラリである。
詳細なドキュメンテーションを備えた統一APIを提供し、研究者や実践者がソーシャルメディアにおけるイベント検出の完全なソリューションを提供する。
SocialEDは、グラフ構築やトークン化など、幅広い事前処理技術をサポートし、モデルのトレーニングや予測のための標準化されたインターフェースを含んでいる。
論文 参考訳（メタデータ） (2024-12-18T03:37:47Z) - CoIR: A Comprehensive Benchmark for Code Information Retrieval Models [52.61625841028781]
COIR(Code Information Retrieval Benchmark)は、コード検索機能を評価するために設計された、堅牢で包括的なベンチマークである。
COIRは、厳密にキュレートされた10のコードデータセットで構成され、7つの異なるドメインにまたがる8つの特有の検索タスクにまたがる。
我々は,COIRを用いた9つの広く使用されている検索モデルを評価し,最先端システムにおいても,コード検索タスクの実行に重大な困難があることを明らかにする。
論文 参考訳（メタデータ） (2024-07-03T07:58:20Z) - LexMatcher: Dictionary-centric Data Collection for LLM-based Machine Translation [67.24113079928668]
本稿では、バイリンガル辞書に見られる感覚のカバレッジによって駆動されるデータキュレーション手法であるLexMatcherを提案する。
我々の手法は、WMT2022テストセットの確立されたベースラインよりも優れています。
論文 参考訳（メタデータ） (2024-06-03T15:30:36Z) - Learning Multiplex Representations on Text-Attributed Graphs with One Language Model Encoder [55.24276913049635]
テキスト分散グラフ上での多重表現学習のための新しいフレームワークMETAGを提案する。
既存の手法とは対照的に、MeTAGは1つのテキストエンコーダを使用して関係性間の共有知識をモデル化する。
学術分野と電子商取引分野の5つのグラフにおいて,9つの下流タスクについて実験を行った。
論文 参考訳（メタデータ） (2023-10-10T14:59:22Z) - Autoregressive Search Engines: Generating Substrings as Document
Identifiers [53.0729058170278]
自動回帰言語モデルは、回答を生成するデファクト標準として現れています。
これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。
本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
論文 参考訳（メタデータ） (2022-04-22T10:45:01Z) - Demo of the Linguistic Field Data Management and Analysis System -- LiFE [1.2139158398361864]
LiFEは、オープンソースのWebベースの言語データ管理および分析アプリケーションである。
ユーザーは語彙項目、文、段落、オーディオ・ビジュアルコンテンツ、リッチ・グロス/アノテーションを保存できる。
対話的で印刷された辞書を生成し、自然言語処理ツールやモデルを訓練し、使用する。
論文 参考訳（メタデータ） (2022-03-22T03:34:10Z) - \textit{StateCensusLaws.org}: A Web Application for Consuming and
Annotating Legal Discourse Learning [89.77347919191774]
法律テキストの対話セグメントを解析およびラベル付けするために訓練されたNLPモデルの出力を強調表示するためのWebアプリケーションを作成します。
我々は、米国国勢調査人口を用いて資源を割り当て、政府を組織する州レベルの法律に焦点を当てる。
論文 参考訳（メタデータ） (2021-04-20T22:00:54Z) - LOME: Large Ontology Multilingual Extraction [41.03628217448552]
LOMEは多言語情報抽出を行うシステムである。
入力としてテキストドキュメントが与えられると、コアシステムはテキストエンティティとイベント参照をFrameNetで識別する。
これにより、システムはイベントとエンティティに焦点を当てた知識グラフを構築する。
論文 参考訳（メタデータ） (2021-01-28T18:28:59Z) - Interactive Extractive Search over Biomedical Corpora [41.72755714431404]
本稿では,生命科学研究者が言語的に注釈付けされたテキストのコーパスを検索できるようにするシステムを提案する。
本稿では,下層の言語表現の詳細を知る必要のない軽量なクエリ言語を提案する。
探索は,効率的な言語グラフインデクシングと検索エンジンにより,対話的な速度で行われる。
論文 参考訳（メタデータ） (2020-06-07T13:26:32Z) - Syntactic Search by Example [44.69040040007045]
本稿では,依存グラフ上の構文パターンを用いて,言語的に注釈付けされた大規模コーパスを検索するシステムを提案する。
本稿では,下層の構文表現の詳細を知る必要のない軽量なクエリ言語を提案する。
探索は,効率的な言語グラフインデクシングと検索エンジンにより,対話的な速度で行われる。
論文 参考訳（メタデータ） (2020-06-04T16:59:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。