論文の概要: grapheme-kit: Grapheme-Level Metrics and Text Processing for Multilingual NLP
- arxiv url: http://arxiv.org/abs/2607.22456v1
- Date: Fri, 24 Jul 2026 16:14:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 20:58:57.178384
- Title: grapheme-kit: Grapheme-Level Metrics and Text Processing for Multilingual NLP
- Title(参考訳): Grapheme-kit:多言語NLPのためのGrapheme-Level Metricsとテキスト処理
- Abstract要約: Grapheme-kitはオープンソースのPythonライブラリで、これらのメトリクスを拡張して、代わりにGraphemeクラスタで運用します。
ライブラリはまた、TamilとSinhalaのグラフ処理の改善も提供する。
- 参考スコア(独自算出の注目度): 0.3805935148497361
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing lexical distance, similarity, and evaluation metrics operate on Unicode code points, which can misrepresent errors in writing systems where a single grapheme is represented by multiple Unicode code points. We introduce grapheme-kit, an open-source Python library that extends these metrics to operate on grapheme clusters instead. The library also provides improved grapheme processing for Tamil and Sinhala, including accurate grapheme cluster identification and grapheme composition/decomposition utilities. Through an OCR case study, we demonstrate that grapheme-level metrics provide a more faithful evaluation of complex scripts.
- Abstract(参考訳): 既存の語彙距離、類似度、評価指標はUnicodeコードポイントで動作し、単一のグラフが複数のUnicodeコードポイントで表現されている書き込みシステムのエラーを誤表現することができる。
Grapheme-kitはオープンソースのPythonライブラリで、これらのメトリクスを拡張して、代わりにGraphemeクラスタで運用します。
ライブラリはまた、正確なGraphemeクラスタ識別とGrapheme合成/分解ユーティリティを含む、TamilとSinhalaの改善したGrapheme処理も提供する。
OCRのケーススタディを通じて、グラフレベルのメトリクスが複雑なスクリプトをより忠実に評価することを示した。
関連論文リスト
- A Grapheme-Aware Indic Tokenizer for Tamil: Large-Scale Training and Intrinsic Evaluation [0.0]
本稿では,完全なGraphemeクラスタを保持するTamil用のGrapheme対応Indicトークンについて述べる。
トークン化器は、トランスフォーマーベースの言語モデルと完全に互換性を維持しながら、言語的に意味のあるトークン境界を生成する。
論文 参考訳(メタデータ) (2026-09-06T16:01:26Z) - Instruction set for the representation of graphs [0.0]
有限な単純なグラフの構造を9文字の命令上のコンパクトな文字列として表現するIsalGraphを提案する。
鍵となる性質は、アルファベット上の全ての文字列が有効なグラフにデコードされ、無効な状態が到達できないことである。
実世界の5つのグラフベンチマークデータセットの表現を評価する。
論文 参考訳(メタデータ) (2026-03-11T17:57:44Z) - Semi-supervised Instruction Tuning for Large Language Models on Text-Attributed Graphs [62.544129365882014]
本稿では,SIT-Graph というグラフ学習用セミ教師付きインストラクションチューニングパイプラインを提案する。
SIT-Graphはモデルに依存しず、LSMを予測子として利用するグラフ命令チューニングメソッドにシームレスに統合することができる。
SIT-Graphは、最先端グラフチューニング手法に組み込むと、テキスト分散グラフベンチマークの性能を大幅に向上することを示した。
論文 参考訳(メタデータ) (2026-01-19T08:10:53Z) - Contextual Tokenization for Graph Inverted Indices [38.641973640693585]
CORGIIは、効率的な逆リストへの離散トークンマッピングを用いた高密度グラフ表現のインデクサである。
私たちは、グラフ上のトークン'の古典的で固定されたインパクトウェイトを、データ駆動でトレーニング可能なインパクトウェイトで置き換えます。
我々の知る限り、CORGIIは効率的な逆リストへの離散トークンマッピングを用いた高密度グラフ表現の最初のインデクサである。
論文 参考訳(メタデータ) (2025-10-26T01:38:16Z) - DiscoSG: Towards Discourse-Level Text Scene Graph Parsing through Iterative Graph Refinement [41.77893006227148]
視覚言語モデルは、談話レベルの多文視覚記述を生成する。
現在のアプローチでは、談話入力のための文レベルの構文解析出力をマージする。
新しいタスクであるDiscoSG(DiscoSG)を導入した。
400のエキスパートアノテーションと8,430のマルチ文キャプショングラフペアからなるデータセットであるDiscoSG-DSをリリースする。
論文 参考訳(メタデータ) (2025-06-18T16:00:19Z) - Graph Chain-of-Thought: Augmenting Large Language Models by Reasoning on Graphs [60.71360240206726]
大規模言語モデル(LLM)は、特に知識集約的なタスクにおいて幻覚に悩まされる。
既存の研究は、外部知識コーパスから取得した個々のテキスト単位でLLMを拡張することを提案する。
本稿では,グラフを反復的に推論することで,LLMをグラフで拡張するためのGraph Chain-of-thinkt (Graph-CoT) というフレームワークを提案する。
論文 参考訳(メタデータ) (2024-04-10T15:41:53Z) - MGNet: Learning Correspondences via Multiple Graphs [78.0117352211091]
学習対応は、不均一な対応分布と低い不整合率で設定された初期対応から正しい対応を見つけることを目的としている。
最近の進歩は、通常、グラフニューラルネットワーク(GNN)を使用して単一のタイプのグラフを構築したり、グローバルなグラフに局所グラフをスタックしてタスクを完了させる。
本稿では,複数の補完グラフを効果的に組み合わせるためのMGNetを提案する。
論文 参考訳(メタデータ) (2024-01-10T07:58:44Z) - Efficient Graph Deep Learning in TensorFlow with tf_geometric [53.237754811019464]
グラフ深層学習のための効率的でフレンドリなライブラリであるtf_geometricを導入する。
tf_geometricは、人気のあるGNNの実装と同様に、グラフニューラルネットワーク(GNN)を構築するためのカーネルライブラリを提供する。
カーネルライブラリは、グラフデータ構造、グラフマップ-リデュースフレームワーク、グラフミニバッチ戦略など、効率的なGNNを構築するためのインフラストラクチャで構成されている。
論文 参考訳(メタデータ) (2021-01-27T17:16:36Z) - Inverse Graph Identification: Can We Identify Node Labels Given Graph
Labels? [89.13567439679709]
グラフ識別(GI)は、グラフ学習において長い間研究されており、特定の応用において不可欠である。
本稿では,逆グラフ識別(Inverse Graph Identification, IGI)と呼ばれる新しい問題を定義する。
本稿では,グラフアテンションネットワーク(GAT)を用いたノードレベルのメッセージパッシング処理を,GIのプロトコルの下でシンプルかつ効果的に行う方法を提案する。
論文 参考訳(メタデータ) (2020-07-12T12:06:17Z) - Multilevel Graph Matching Networks for Deep Graph Similarity Learning [79.3213351477689]
グラフ構造オブジェクト間のグラフ類似性を計算するためのマルチレベルグラフマッチングネットワーク(MGMN)フレームワークを提案する。
標準ベンチマークデータセットの欠如を補うため、グラフグラフ分類とグラフグラフ回帰タスクの両方のためのデータセットセットを作成し、収集した。
総合的な実験により、MGMNはグラフグラフ分類とグラフグラフ回帰タスクの両方において、最先端のベースラインモデルより一貫して優れていることが示された。
論文 参考訳(メタデータ) (2020-07-08T19:48:19Z) - Distance Metric Learning for Graph Structured Data [23.3700989820887]
グラフ分類問題に対する教師付き距離メトリック学習法を提案する。
本手法は,IGML (Interpretable graph metric learning) と命名され,サブグラフに基づく特徴空間における識別的指標を学習する。
いくつかのベンチマークデータセットを用いて,IGMLの計算効率と分類性能を実験的に評価した。
論文 参考訳(メタデータ) (2020-02-03T13:42:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。