論文の概要: Language Identification with Succinct Machine-Independent Traces
- arxiv url: http://arxiv.org/abs/2607.12443v1
- Date: Tue, 14 Jul 2026 07:18:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-15 17:08:30.061064
- Title: Language Identification with Succinct Machine-Independent Traces
- Title（参考訳）: アクセント非依存トレースを用いた言語識別
- Abstract要約: 限界の同定を可能にする計算トレースを定義する方法を示す。
言語が定義されているアルファベットの大きさに線形なトークンのアルファベットを用いてトレースを定義する方法を示す。
- 参考スコア（独自算出の注目度）: 10.036312061637764
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Motivated by the power of large language models, there has been renewed interest in the Gold-Angluin model of language identification in the limit, with an eye toward variants of the model that might overcome the negative results for its original formulation. Recent papers on this question have proposed looking at computational traces and annotations of training strings as a source of additional power for a learner, reflecting empirical regularities such as the way that commented source code is easier to learn from than arbitrary source code, and text annotated with algorithmically generated chain-of-thought tokens can be easier to learn from than the raw text itself. This recent work has shown positive results for language identification in the presence of such computational traces, but the traces in these positive results come from explicit automata-theoretic machine models that generate the language, where the underlying vocabulary of tokens for the traces is very large. In this paper, we address two fundamental issues left open by this line of work: can we achieve positive results with traces that use only a small alphabet, and can we define traces directly from the language itself, without requiring an underlying machine model that generates it? We establish positive results for both of these questions: for an arbitrary collection of languages, we show how to define computational traces that enable identification in the limit, using an alphabet of tokens that is linear in the size of the alphabet that the languages are defined over, and independent of any other properties of the languages.
- Abstract（参考訳）: 大規模言語モデルの力に触発されて、その限界における言語識別のゴールド・アングルインモデルに新たな関心が寄せられ、元々の定式化の否定的な結果を克服するであろうモデルの変種への注目が高まっている。
近年の研究では、任意のソースコードから簡単に学習できる方法や、アルゴリズムによって生成された連鎖トークンで注釈付けされたテキストなど、経験則を反映し、学習者にとって追加的な力の源として、訓練文字列の計算トレースやアノテーションについて検討している。
最近の研究は、そのような計算トレースの存在下での言語識別について肯定的な結果を示しているが、これらの肯定的な結果の痕跡は、言語を生成する明示的なオートマチック・セオラティクス・マシンモデルによるもので、トレースに対するトークンの語彙は非常に大きい。
本稿では,この研究で残された2つの基本的課題に対処する。小さなアルファベットのみを使用するトレースに対して,肯定的な結果が得られるか,それを生成する基盤となるマシンモデルを必要とせずに,言語自体から直接トレースを定義することができるか?
任意の言語集合に対して、言語が定義されているアルファベットの大きさで線形なトークンのアルファベットを用いて、極限における識別を可能にする計算トレースを定義する方法を示す。
関連論文リスト
- What Language is This? Ask Your Tokenizer [32.28976119949841]
言語識別(LID)は多くの多言語自然言語処理パイプラインの重要なコンポーネントである。
我々は,UnigramLMトークン化アルゴリズムに基づくシンプルで効率的なLID手法UniLIDを紹介する。
我々の定式化は、データと計算効率が良く、既存のモデルを再訓練することなく、新しい言語の漸進的な追加をサポートしています。
論文 参考訳（メタデータ） (2026-02-19T18:58:39Z) - LANGSAE EDITING: Improving Multilingual Information Retrieval via Post-hoc Language Identity Removal [34.73949500194166]
多言語埋め込みは、セマンティクスと共に言語アイデンティティをエンコードする。
本稿では,プール埋め込みを訓練したポストホックスパースオートエンコーダであるLangSAE EDIINGを提案する。
複数の言語にわたる実験では、ランキング品質と言語間カバレッジが一貫して改善されている。
論文 参考訳（メタデータ） (2026-01-08T09:36:41Z) - Signs as Tokens: A Retrieval-Enhanced Multilingual Sign Language Generator [55.94334001112357]
テキスト入力から3Dサインアバターを自動回帰的に生成できる多言語手話モデルSigns as Tokens(SOKE)を導入する。
単語レベルの正確な記号を提供するために,外部記号辞書を組み込んだ検索強化SLG手法を提案する。
論文 参考訳（メタデータ） (2024-11-26T18:28:09Z) - Training Neural Networks as Recognizers of Formal Languages [87.06906286950438]
ニューラルネットワークを文字列のバイナリ分類器として直接訓練し評価する。
3つのニューラルアーキテクチャに対して、チョムスキー階層の様々な言語について結果を提供する。
我々の貢献は、将来の研究において、言語認識の主張を理論的に健全に検証するのに役立つだろう。
論文 参考訳（メタデータ） (2024-11-11T16:33:25Z) - Small Language Models Also Work With Small Vocabularies: Probing the Linguistic Abilities of Grapheme- and Phoneme-Based Baby Llamas [7.585433383340306]
トークン化のない,音素および音素に基づく言語モデルにより,強力な言語性能が得られることを示す。
以上の結果から,より言語学的に妥当な言語モデルを作成する上で,有望な方向性が示唆された。
論文 参考訳（メタデータ） (2024-10-02T12:36:08Z) - Egalitarian Language Representation in Language Models: It All Begins with Tokenizers [0.0]
すべてのトークンライザが、Tamil、Sinhala、Hindiといった複雑なスクリプト言語に対して公正な表現を提供するわけではないことを示す。
本稿では,Grapheme Pair と呼ばれるグラフエムを組み込むことにより,Byte Pair アルゴリズムの改良を提案する。
実験の結果, 文字抽出は複雑なスクリプトに対して, バイトレベルのトークン化器よりも優れていることがわかった。
論文 参考訳（メタデータ） (2024-09-17T19:05:37Z) - Soft Language Identification for Language-Agnostic Many-to-One End-to-End Speech Translation [40.0365339798752]
多くのエンドツーエンドの音声翻訳モデルは、異なるソース言語からの音声信号をターゲット言語でテキストに変換することができる。
場合によっては、入力言語を付与または推定することができる。
我々は、単純で効果的な線形入力ネットワークを導入することで、これを実現する。
論文 参考訳（メタデータ） (2024-06-12T00:00:39Z) - Language Generation in the Limit [0.7787343335258782]
候補言語の可算リストに限って生成できるエージェントが存在することを示す。
これは、言語学習のよく研究されたモデルにおいて、ゴールドとアングルインによる否定的な結果と劇的に対照的である。
論文 参考訳（メタデータ） (2024-04-10T05:53:25Z) - Leveraging Adversarial Training in Self-Learning for Cross-Lingual Text
Classification [52.69730591919885]
本稿では,ラベル保存型入力摂動の最大損失を最小限に抑える半教師付き対向学習法を提案する。
多様な言語群に対する文書分類と意図分類において,有効性が著しく向上するのを観察する。
論文 参考訳（メタデータ） (2020-07-29T19:38:35Z) - Exploring Software Naturalness through Neural Language Models [56.1315223210742]
ソフトウェア自然性仮説(Software Naturalness hypothesis)は、自然言語処理で使用されるのと同じ手法でプログラミング言語を理解することができると主張している。
この仮説は,事前学習されたトランスフォーマーベース言語モデルを用いて,コード解析タスクを実行することによって検討する。
論文 参考訳（メタデータ） (2020-06-22T21:56:14Z) - Limits of Detecting Text Generated by Large-Scale Language Models [65.46403462928319]
誤情報キャンペーンで使用される可能性があるため、長く一貫性のあるテキストを生成できる大規模な言語モデルが危険であると考える者もいる。
ここでは、仮説テスト問題として大規模言語モデル出力検出を定式化し、テキストを真あるいは生成されたものと分類する。
論文 参考訳（メタデータ） (2020-02-09T19:53:23Z) - On the Importance of Word Order Information in Cross-lingual Sequence
Labeling [80.65425412067464]
ソース言語の単語順に適合する言語間モデルでは、ターゲット言語を処理できない可能性がある。
本研究では,ソース言語の単語順序に敏感なモデルを作成することで,対象言語の適応性能が向上するかどうかを検討する。
論文 参考訳（メタデータ） (2020-01-30T03:35:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。