論文の概要: Spectral Probing

• arxiv url: http://arxiv.org/abs/2210.11860v1
• Date: Fri, 21 Oct 2022 10:29:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-24 14:54:40.664015
• Title: Spectral Probing
• Title（参考訳）: スペクトル探査
• Authors: Max M\"uller-Eberstein, Rob van der Goot and Barbara Plank
• Abstract要約: 与えられたタスクのスペクトルプロファイルを識別するための完全学習可能な周波数フィルタを開発した。 従来の手作りフィルタよりもはるかに粒度の細かい分析を可能にする。 本分析では,言語的に直感的にクロスタスクの類似性を定量化する特徴的スペクトルプロファイルを同定する。
• 参考スコア（独自算出の注目度）: 25.723591566201343
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Linguistic information is encoded at varying timescales (subwords, phrases, etc.) and communicative levels, such as syntax and semantics. Contextualized embeddings have analogously been found to capture these phenomena at distinctive layers and frequencies. Leveraging these findings, we develop a fully learnable frequency filter to identify spectral profiles for any given task. It enables vastly more granular analyses than prior handcrafted filters, and improves on efficiency. After demonstrating the informativeness of spectral probing over manual filters in a monolingual setting, we investigate its multilingual characteristics across seven diverse NLP tasks in six languages. Our analyses identify distinctive spectral profiles which quantify cross-task similarity in a linguistically intuitive manner, while remaining consistent across languages-highlighting their potential as robust, lightweight task descriptors.
• Abstract（参考訳）: 言語情報は、構文や意味論のような様々な時間スケール(単語、フレーズなど)とコミュニケーションレベルで符号化される。 文脈的埋め込みは、これらの現象を特徴的な層や周波数で捉えるのに類似している。 これらの知見を活かし、任意のタスクのスペクトルプロファイルを識別する完全学習可能な周波数フィルタを開発した。 従来の手作りフィルタよりもはるかにきめ細かい分析を可能にし、効率を向上する。 単言語環境では,手動フィルタによるスペクトル探索の有意性を実証した後,その多言語的特徴を6言語で検討した。 本分析では,言語的に直感的にクロスタスクの類似性を定量化しながら,言語間での一貫性を維持しながら,頑健で軽量なタスク記述子としての可能性を強調した。

関連論文リスト

• Towards a Deep Understanding of Multilingual End-to-End Speech Translation [52.26739715012842]
  我々は22言語以上で訓練された多言語エンドツーエンド音声翻訳モデルで学習した表現を解析する。 我々は分析から3つの大きな発見を得た。
  論文  参考訳（メタデータ） (2023-10-31T13:50:55Z)
• Multilingual Representation Distillation with Contrastive Learning [20.715534360712425]
  コントラスト学習を多言語表現蒸留に統合し,並列文の品質評価に利用する。 我々は,多言語類似性探索とコーパスフィルタリングタスクによるアプローチの有効性を検証した。
  論文  参考訳（メタデータ） (2022-10-10T22:27:04Z)
• Corpus-Guided Contrast Sets for Morphosyntactic Feature Detection in Low-Resource English Varieties [3.3536302616846734]
  コーパス誘導編集による効率的なコントラストセットの生成とフィルタリングを行う。 我々は、インド英語とアフリカ系アメリカ人の英語の特徴検出を改善し、言語研究をいかに支援できるかを実証し、他の研究者が使用するための微調整されたモデルをリリースすることを示した。
  論文  参考訳（メタデータ） (2022-09-15T21:19:31Z)
• Learning spectro-temporal representations of complex sounds with parameterized neural networks [16.270691619752288]
  本稿では、Gaborカーネル(Learnable STRF)に基づく特定の分光時間変調を演算するパラメトリゼーションニューラルネットワーク層を提案する。 音声活動検出,話者照合,都市音響分類,ゼブラフィンチ呼出タイプの分類において,この層の予測能力を評価した。 この層は完全に解釈可能であるので、学習した分光時間変調の分布を記述するために定量的な尺度を用いた。
  論文  参考訳（メタデータ） (2021-03-12T07:53:47Z)
• Evaluating Multilingual Text Encoders for Unsupervised Cross-Lingual Retrieval [51.60862829942932]
  本稿では,言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性に着目した体系的実証研究を行う。 文レベルのCLIRでは、最先端のパフォーマンスが達成できることを実証する。 しかし、ピーク性能は、汎用の多言語テキストエンコーダをオフ・ザ・シェルフで使うのではなく、文の理解タスクにさらに特化したバリエーションに依存している。
  論文  参考訳（メタデータ） (2021-01-21T00:15:38Z)
• Intrinsic Probing through Dimension Selection [69.52439198455438]
  現代のほとんどのNLPシステムは、様々なタスクにおいて驚くほど高いパフォーマンスが得られる事前訓練された文脈表現を使用している。 このような高いパフォーマンスは、ある種の言語構造がこれらの表現に根ざしない限りはあり得ず、それを探究する研究が盛んに行われている。 本稿では,言語情報が表現内でどのように構造化されているかを示す内在的探索と,先行研究で広く普及している外在的探索とを区別し,抽出に成功したことを示すことによって,そのような情報の存在を主張するのみである。
  論文  参考訳（メタデータ） (2020-10-06T15:21:08Z)
• Feature Selection on Noisy Twitter Short Text Messages for Language Identification [0.0]
  アルゴリズムの効果を分析するために,様々な学習アルゴリズムに異なる特徴選択アルゴリズムを適用した。 この手法は、Twitterから抽出された6903ツイートの新しいデータセットを用いた単語レベルの言語識別に焦点を当てている。
  論文  参考訳（メタデータ） (2020-07-11T09:22:01Z)
• Linguistic Typology Features from Text: Inferring the Sparse Features of World Atlas of Language Structures [73.06435180872293]
  我々は、バイト埋め込みと畳み込み層に基づく繰り返しニューラルネットワーク予測器を構築する。 様々な言語型の特徴を確実に予測できることを示す。
  論文  参考訳（メタデータ） (2020-04-30T21:00:53Z)
• Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations [83.27475281544868]
  特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。 我々の表現は類型学を組み込み、言語関係と相関関係を強化する。 次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
  論文  参考訳（メタデータ） (2020-04-30T16:25:39Z)
• From text saliency to linguistic objects: learning linguistic interpretable markers with a multi-channels convolutional architecture [2.064612766965483]
  本稿では,分類プロセスを利用したテキストから解釈可能な言語オブジェクトを抽出するために,実装されたCNNの隠れ層を検査する手法を提案する。 我々は、英語とフランス語の2つの異なる言語からのコーパスに対するアプローチの効率を実証的に実証した。
  論文  参考訳（メタデータ） (2020-04-07T10:46:58Z)
• The Secret is in the Spectra: Predicting Cross-lingual Task Performance with Spectral Similarity Measures [83.53361353172261]
  本稿では,モノリンガル埋め込み空間の類似性とタスク性能の相関性に着目した大規模研究を行う。 2つの埋め込み空間間のいくつかの同型測度を導入し、それぞれのスペクトルの関連統計に基づく。 このようなスペクトル同型尺度から得られた言語類似度スコアは、異なる言語間タスクで観測された性能と強く関連していることを実証的に示す。
  論文  参考訳（メタデータ） (2020-01-30T00:09:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。