論文の概要: Evolution of Efficient Symbolic Communication Codes

• arxiv url: http://arxiv.org/abs/2306.02383v2
• Date: Sun, 11 Jun 2023 06:38:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-13 23:13:36.375886
• Title: Evolution of Efficient Symbolic Communication Codes
• Title（参考訳）: 効率的なシンボリック通信符号の進化
• Authors: Anton Kolonin
• Abstract要約: 本稿では,人間の自然言語構造を対人コミュニケーションコードの進化の産物とみなす方法について考察する。 これは、アンチエントロピー、圧縮係数、クロススプリットF1スコアといった、文化に依存しない、言語間のメトリクスを最大化することを目的としている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The paper explores how the human natural language structure can be seen as a product of evolution of inter-personal communication code, targeting maximisation of such culture-agnostic and cross-lingual metrics such as anti-entropy, compression factor and cross-split F1 score. The exploration is done as part of a larger unsupervised language learning effort, the attempt is made to perform meta-learning in a space of hyper-parameters maximising F1 score based on the "ground truth" language structure, by means of maximising the metrics mentioned above. The paper presents preliminary results of cross-lingual word-level segmentation tokenisation study for Russian, Chinese and English as well as subword segmentation or morphological parsing study for English. It is found that language structure form the word-level segmentation or tokenisation can be found as driven by all of these metrics, anti-entropy being more relevant to English and Russian while compression factor more specific for Chinese. The study for subword segmentation or morphological parsing on English lexicon has revealed straight connection between the compression been found to be associated with compression factor, while, surprising, the same connection with anti-entropy has turned to be the inverse.
• Abstract（参考訳）: 本稿では,人間の自然言語構造を対人コミュニケーションコードの進化の産物とみなし,反エントロピー,圧縮係数,F1スコアといった,文化的・言語的指標の最大化を目標としている。 この調査は、教師なし言語学習の取り組みの一環として行われ、上述のメトリクスを最大化することで、"ground truth"言語構造に基づくf1スコアを最大化するハイパーパラメータの領域でメタラーニングを行う。 本稿では,ロシア語,中国語,英語の言語間単語レベルのセグメンテーショントークン化研究と,英語のサブワードセグメンテーションや形態素解析研究の予備結果について述べる。 単語レベルのセグメンテーションやトークン化を形成する言語構造は、これらの指標の全てによって駆動され、反エントロピーは英語とロシア語とより関係があり、一方圧縮係数は中国語に特有である。 英語語彙におけるサブワードのセグメンテーションや形態素解析の研究により、圧縮と圧縮係数の直接関係が明らかになったが、驚くべきことに、反エントロピーとの関係は逆数に変化した。

関連論文リスト

• Entropy and type-token ratio in gigaword corpora [0.0]
  本研究では,英語,スペイン語,トルコ語の6つの大規模言語データセットにおいて,語彙の多様性を示す2つの指標であるエントロピーとテキストトケン比について検討した。 コーパスを横切るエントロピーとテキスト-トケン比の関数的関係が検討されている。 この結果は,テキスト構造の理論的理解に寄与し,自然言語処理などの分野に実践的な意味を与える。
  論文  参考訳（メタデータ） (2024-11-15T14:40:59Z)
• Linguistic Structure from a Bottleneck on Sequential Information Processing [5.850665541267672]
  予測情報によって制約されたコードに自然言語のような体系性が生じることを示す。 人間の言語は、音韻学、形態学、構文学、意味論のレベルにおいて、低い予測情報を持つように構成されている。
  論文  参考訳（メタデータ） (2024-05-20T15:25:18Z)
• How Important Is Tokenization in French Medical Masked Language Models? [7.866517623371908]
  自然言語処理(NLP)分野において,サブワードトークン化が主流となっている。 本稿では,フランス生物医学領域におけるサブワードトークン化の複雑さを,多種多様なNLPタスクにまたがって探究する。 従来のトークン化手法に形態素に富んだ単語セグメンテーションを統合するオリジナルトークン化戦略を導入する。
  論文  参考訳（メタデータ） (2024-02-22T23:11:08Z)
• Syntactic Language Change in English and German: Metrics, Parsers, and Convergences [56.47832275431858]
  本論文は,過去160年間の議会討論のコーパスを用いて,英語とドイツ語の統語的言語変化のダイアクロニックな傾向を考察する。 私たちは、広く使われているStanford Coreと、新しい4つの選択肢を含む5つの依存関係をベースとしています。 文長分布の尾部では,構文的尺度の変化が頻繁であることが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-18T11:46:16Z)
• VECO 2.0: Cross-lingual Language Model Pre-training with Multi-granularity Contrastive Learning [56.47303426167584]
  複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。 具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。 トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
  論文  参考訳（メタデータ） (2023-04-17T12:23:41Z)
• Self-tuning hyper-parameters for unsupervised cross-lingual tokenization [0.0]
  教師なしトークン化モデルのハイパーパラメータの自動決定のためのメタラーニング手法を実装した。 英語とロシア語の3つの指標の付加的な組み合わせの間には,かなりよい相関関係があることが判明した。 中国語の場合,F1スコアと圧縮係数との間に有意な相関が認められた。
  論文  参考訳（メタデータ） (2023-03-04T14:23:02Z)
• A Massively Multilingual Analysis of Cross-linguality in Shared Embedding Space [61.18554842370824]
  言語間モデルでは、多くの異なる言語に対する表現は同じ空間に存在している。 我々は,bitext検索性能の形式で,言語間アライメントのタスクベース尺度を計算した。 我々はこれらのアライメント指標の潜在的な予測因子として言語的、準言語的、および訓練関連の特徴について検討する。
  論文  参考訳（メタデータ） (2021-09-13T21:05:37Z)
• More Than Words: Collocation Tokenization for Latent Dirichlet Allocation Models [71.42030830910227]
  モデルが異なる環境でクラスタリングの品質を測定するための新しい指標を提案する。 マージトークンでトレーニングされたトピックは、マージされていないモデルよりも、より明確で、一貫性があり、トピックを区別する効果が高いトピックキーをもたらすことを示す。
  論文  参考訳（メタデータ） (2021-08-24T14:08:19Z)
• VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
  我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。 独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。 提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
  論文  参考訳（メタデータ） (2020-10-30T03:41:38Z)
• Constructing a Family Tree of Ten Indo-European Languages with Delexicalized Cross-linguistic Transfer Patterns [57.86480614673034]
  我々は,デレクシカル化転送を,解釈可能なツリー・ツー・ストリングパターンとツリー・ツー・ツリーパターンとして定式化する。 これにより、言語間移動を定量的に探索し、第二言語習得の問い合わせを拡張することができる。
  論文  参考訳（メタデータ） (2020-07-17T15:56:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。