論文の概要: A Pāninian Foundation for Indic Language Processing

• arxiv url: http://arxiv.org/abs/2606.24172v1
• Date: Tue, 23 Jun 2026 05:53:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 22:16:48.796755
• Title: A Pāninian Foundation for Indic Language Processing
• Title（参考訳）: Pāninian Foundation for Indic Language Processing (英語)
• Authors: Ritwik Banerjee, Lav R. Varshney,
• Abstract要約: インドの言語は、Pniniの文法であるAstdhyyで形式化されたモルフォシンタクティックなアーキテクチャを共有するようになった。 我々は、このPninianフレームワークが、この分野に欠けている統一的な計算アーキテクチャを提供すると論じる。 我々は、この共有アーキテクチャを明確にし、測定可能で、活用可能な4つのベンチマークスイートを提案する。
• 参考スコア（独自算出の注目度）: 16.164759165132935
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: More than a billion people communicate in Indic languages, yet the natural language processing infrastructure serving them remains fragmented and underdeveloped. The cause is structural: the field organizes its tools and benchmarks around individual languages or small subsets of genealogical language families, building separate analyzers, parsers, and datasets for each language and starting over for the next. This overlooks a deep regularity. Through more than two millennia of convergence around Sanskrit, Indic languages came to share a morphosyntactic architecture formalized in Pānini's grammar, the Astādhyāyī. This cuts across genealogical lines, uniting languages through a common framework. We argue that this Pāninian framework supplies a unifying computational architecture the field has lacked, and that benchmarks grounded explicitly in it would make Indic language systems more accurate, more data-efficient, and more transferable, effectively merging many apparently disparate and sparse Indic language resources into a single high-resource metalanguage bedrock. We propose a four-part benchmark suite to render this shared architecture explicit, measurable, and ready to be leveraged for practical applications. Moreover, we underscore the question it raises for interpretability research: whether neural models trained on these languages come to represent Pānini's categories on their own.
• Abstract（参考訳）: 10億人以上がIndic言語でコミュニケーションしていますが、自然言語処理のインフラは断片化され、未開発のままです。 フィールドは、個々の言語または家系言語ファミリーの小さなサブセットに関するツールとベンチマークを整理し、別々のアナライザ、パーサ、データセットを各言語のために構築し、次に開始する。 これは深い規則性を見落としている。 サンスクリット周辺の2千年以上の収束を経て、インディク語はパニーニの文法であるアスターディヤーイ(Astādhyāyī)で形式化された形態素構文のアーキテクチャを共有するようになった。 これは、共通の枠組みを通じて言語を統一する、系譜にまたがる。 我々は、このPāninianフレームワークは、フィールドが欠落している統一的な計算アーキテクチャを提供し、そのベンチマークを明示的に基礎づけることで、Indic言語システムはより正確で、よりデータ効率が良く、転送しやすくなり、事実上多くの異なる、スパースなIndic言語リソースを単一の高リソースのメタ言語岩にマージする、と論じている。 我々は,この共有アーキテクチャを明示的で,測定可能で,実用的なアプリケーションに活用可能な4部ベンチマークスイートを提案する。 さらに、これらの言語で訓練されたニューラルモデルが、パニーニのカテゴリを独自に表現するようになるかどうかという、解釈可能性の研究のために提起される疑問も強調する。

関連論文リスト

• Multilinguality of Large Language Models From a Structural Perspective [55.097821802807566]
  大規模言語モデル(LLM)は、多言語データに対する事前および後訓練によって複数の言語を処理するのに優れている。 その結果,低リソース言語は高水準言語や中級言語と構造的に異なることが明らかとなった。
  論文  参考訳（メタデータ） (2026-06-01T07:18:09Z)
• CorIL: Towards Enriching Indian Language to Indian Language Parallel Corpora and Machine Translation Systems [18.521673953685575]
  インドの言語風景は世界でも最も多様であり、120以上の主要言語と1,600以上の追加言語から構成されている。 最近の多言語ニューラルネットワーク翻訳(NMT)の進歩にもかかわらず、インドの言語に対する高品質な並列コーパスは依然として乏しい。 本稿では,11言語を対象とした大規模で高品質な並列コーパスを提案する。
  論文  参考訳（メタデータ） (2025-09-24T09:48:26Z)
• PARAM-1 BharatGen 2.9B Model [14.552007884700618]
  PARAM-1は2.9Bパラメータデコーダのみのテキストのみの言語モデルである。 25%のコーパス割り当てによるIndic言語の公平な表現、インドの形態的構造に適合したSentencePieceトークン化によるトークン化公正性、IndicQA全体にわたる文化的に整合した評価ベンチマーク、コード混合推論、社会言語的堅牢性タスクである。
  論文  参考訳（メタデータ） (2025-07-16T06:14:33Z)
• IndicMMLU-Pro: Benchmarking Indic Large Language Models on Multi-Task Language Understanding [2.062076715606512]
  インド亜大陸の15億人以上の人々によって知られており、Indic言語は自然言語処理(NLP)の研究に固有の課題と機会を提示している。 IndicMMLU-Proは、Indic言語全体にわたる大規模言語モデル(LLM)を評価するために設計されたベンチマークである。
  論文  参考訳（メタデータ） (2025-01-27T03:19:03Z)
• Navigating Text-to-Image Generative Bias across Indic Languages [53.92640848303192]
  本研究ではインドで広く話されているIndic言語に対するテキスト・ツー・イメージ(TTI)モデルのバイアスについて検討する。 これらの言語における主要なTTIモデルの生成的パフォーマンスと文化的関連性を評価し,比較する。
  論文  参考訳（メタデータ） (2024-08-01T04:56:13Z)
• No Language Left Behind: Scaling Human-Centered Machine Translation [69.28110770760506]
  低レベルの言語と高レベルの言語のパフォーマンスギャップを狭めるためのデータセットとモデルを作成します。 何千ものタスクをトレーニングしながらオーバーフィッティングに対処するために,複数のアーキテクチャとトレーニングの改善を提案する。 本モデルでは,従来の最先端技術と比較して,BLEUの44%の改善を実現している。
  論文  参考訳（メタデータ） (2022-07-11T07:33:36Z)
• Role of Language Relatedness in Multilingual Fine-tuning of Language Models: A Case Study in Indo-Aryan Languages [34.79533646549939]
  我々は,多言語微調整を用いたNLPモデルにおいて,同族に属する言語の関連性を活用した影響について検討する。 Oriya や Punjabi のような低資源言語は多言語微調整の最大の受益者である。
  論文  参考訳（メタデータ） (2021-09-22T06:37:39Z)
• Towards Zero-shot Language Modeling [90.80124496312274]
  人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。 類型的に多様な訓練言語のサンプルからこの分布を推測する。 我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
  論文  参考訳（メタデータ） (2021-08-06T23:49:18Z)
• HinFlair: pre-trained contextual string embeddings for pos tagging and text classification in the Hindi language [0.0]
  HinFlairは、巨大な単言語Hindiコーパスで事前訓練された言語表現モデル(コンテキスト文字列埋め込み)である。 結果は、HinFlairが、テキスト分類やposタグ付けといった下流タスクのために、既存の最先端の公開トレーニング済みの埋め込みよりも優れていることを示している。
  論文  参考訳（メタデータ） (2021-01-18T09:23:35Z)
• SIGMORPHON 2020 Shared Task 0: Typologically Diverse Morphological Inflection [81.85463892070085]
  形態的回帰に関するSIGMORPHON 2020の課題は、型的に異なる言語にまたがるシステムの一般化能力を調査することを目的としている。 システムは45言語と5つの言語ファミリーのデータを使用して開発され、追加の45言語と10の言語ファミリー(合計13言語)のデータで微調整され、90言語すべてで評価された。
  論文  参考訳（メタデータ） (2020-06-20T13:24:14Z)
• Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations [83.27475281544868]
  特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。 我々の表現は類型学を組み込み、言語関係と相関関係を強化する。 次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
  論文  参考訳（メタデータ） (2020-04-30T16:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。