論文の概要: Learning representations of learning representations

• arxiv url: http://arxiv.org/abs/2404.08403v1
• Date: Fri, 12 Apr 2024 11:30:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-15 15:16:32.473779
• Title: Learning representations of learning representations
• Title（参考訳）: 学習表現の学習表現
• Authors: Rita González-Márquez, Dmitry Kobak,
• Abstract要約: 我々は、2017年から2024年までの24万件のICLRサブミッションの抽象化からなるICLRデータセットを提示する。 単語のback-of-words表現は、$k$NNの分類精度で、ほとんどの専用文変換器モデルより優れていることがわかった。 ICLRデータセットを使用して、機械学習の分野が過去7年間でどのように変化したかも調べています。
• 参考スコア（独自算出の注目度）: 5.6322311453490475
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The ICLR conference is unique among the top machine learning conferences in that all submitted papers are openly available. Here we present the ICLR dataset consisting of abstracts of all 24 thousand ICLR submissions from 2017-2024 with meta-data, decision scores, and custom keyword-based labels. We find that on this dataset, bag-of-words representation outperforms most dedicated sentence transformer models in terms of $k$NN classification accuracy, and the top performing language models barely outperform TF-IDF. We see this as a challenge for the NLP community. Furthermore, we use the ICLR dataset to study how the field of machine learning has changed over the last seven years, finding some improvement in gender balance. Using a 2D embedding of the abstracts' texts, we describe a shift in research topics from 2017 to 2024 and identify hedgehogs and foxes among the authors with the highest number of ICLR submissions.
• Abstract（参考訳）: ICLRカンファレンスは、提出されたすべての論文が公開されているという点で、トップクラスの機械学習カンファレンスの中でもユニークなものだ。 ここでは、メタデータ、決定スコア、カスタムキーワードベースのラベルを含む2017-2024の24万のICLRサブミッションの抽象化からなるICLRデータセットを示す。 このデータセットでは、back-of-words表現は、$k$NNの分類精度でほとんどの専用文変換器モデルより優れており、上位言語モデルはTF-IDFよりほとんど優れていない。 これはNLPコミュニティにとっての課題だと考えています。 さらに、ICLRデータセットを使用して、機械学習の分野が過去7年間でどのように変化したかを調べ、ジェンダーバランスのいくつかの改善を見出した。 要約のテキストの2D埋め込みを用いて、2017年から2024年までの研究トピックのシフトを説明し、最も多くのICLR提出者がいる著者の間では、ヘッジホッグとキツネを識別する。

関連論文リスト

• Are Large Language Models Good Classifiers? A Study on Edit Intent Classification in Scientific Document Revisions [62.12545440385489]
  大規模言語モデル(LLM)は、テキスト生成の大幅な進歩をもたらしたが、分類タスクの強化の可能性はまだ未検討である。 生成と符号化の両方のアプローチを含む分類のための微調整LDMを徹底的に研究するためのフレームワークを提案する。 我々はこのフレームワークを編集意図分類(EIC)においてインスタンス化する。
  論文  参考訳（メタデータ） (2024-10-02T20:48:28Z)
• LMSYS-Chat-1M: A Large-Scale Real-World LLM Conversation Dataset [75.9621305227523]
  LMSYS-Chat-1M(LMSYS-Chat-1M)について紹介する。 このデータセットは、VicunaのデモとArenaのWebサイトで、210KのIPアドレスから収集されています。 GPT-4と同様の動作を行うコンテンツモデレーションモデルの開発、安全性ベンチマークの構築、Vicunaと同様の動作を行う命令追従モデルのトレーニング、挑戦的なベンチマーク問題の作成、という4つのユースケースを通じて、その汎用性を実証する。
  論文  参考訳（メタデータ） (2023-09-21T12:13:55Z)
• Self-Supervised Video Transformers for Isolated Sign Language Recognition [19.72944125318495]
  最近導入された4つのトランスフォーマーベースのビデオからの自己教師型学習アプローチと4つの事前学習データレギュレーションについて検討する。 MaskFeatは、ポーズベースおよび教師付きビデオモデルよりもパフォーマンスが優れており、GlossベースのWLASL2000では、トップ1の精度は79.02%である。
  論文  参考訳（メタデータ） (2023-09-02T03:00:03Z)
• Mao-Zedong At SemEval-2023 Task 4: Label Represention Multi-Head Attention Model With Contrastive Learning-Enhanced Nearest Neighbor Mechanism For Multi-Label Text Classification [0.0]
  SemEval 2023 Task 4citekiesel:2023は、引数のセットと、各引数に暗黙的に表現される20種類の人間の値を提供する。 特定のラベルとセマンティックコンポーネント間の接続を確立するためのマルチヘッドアテンション機構を提案する。 テストセットではF1スコアが0.533で,リーダボードでは4位にランクインした。
  論文  参考訳（メタデータ） (2023-07-11T11:12:06Z)
• Always Keep your Target in Mind: Studying Semantics and Improving Performance of Neural Lexical Substitution [124.99894592871385]
  本稿では,従来の言語モデルと最近の言語モデルの両方を用いた語彙置換手法の大規模比較研究を行う。 目的語に関する情報を適切に注入すれば,SOTA LMs/MLMsによるすでに競合する結果がさらに大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2022-06-07T16:16:19Z)
• Exploring Multi-Modal Representations for Ambiguity Detection & Coreference Resolution in the SIMMC 2.0 Challenge [60.616313552585645]
  会話型AIにおける効果的なあいまいさ検出と参照解決のためのモデルを提案する。 具体的には,TOD-BERTとLXMERTをベースとしたモデルを用いて,多数のベースラインと比較し,アブレーション実験を行う。 以上の結果から,(1)言語モデルでは曖昧さを検出するためにデータの相関を活用でき,(2)言語モデルではビジョンコンポーネントの必要性を回避できることがわかった。
  論文  参考訳（メタデータ） (2022-02-25T12:10:02Z)
• Team Cogitat at NeurIPS 2021: Benchmarks for EEG Transfer Learning Competition [55.34407717373643]
  脳波復号のための主題に依存しないディープラーニングモデルの構築は、強い共シフトの課題に直面している。 我々のアプローチは、ディープラーニングモデルの様々な層に特徴分布を明示的に整列させることです。 この方法論は、NeurIPSカンファレンスで開催されている2021年のEEG Transfer Learningコンペティションで優勝した。
  論文  参考訳（メタデータ） (2022-02-01T11:11:08Z)
• Transferring BERT-like Transformers' Knowledge for Authorship Verification [8.443350618722562]
  著者確認作業におけるBERT様変圧器の有効性について検討した。 我々はPAN-2020の新しいスプリットを提供し、不連続なトピックや著者からトレーニングデータとテストデータをサンプリングする。 これらの分割は、新しい、かなり異なるデータセット上で知識を伝達するモデルの能力を高めることができることを示す。
  論文  参考訳（メタデータ） (2021-12-09T18:57:29Z)
• NEMO: Frequentist Inference Approach to Constrained Linguistic Typology Feature Prediction in SIGTYP 2020 Shared Task [83.43738174234053]
  タイプ的特徴間の相関関係を表現するために頻繁な推論を用い、この表現を用いて、個々の特徴を予測する単純なマルチクラス推定器を訓練する。 テスト言語149言語に対して,マイクロ平均精度0.66を達成できた。
  論文  参考訳（メタデータ） (2020-10-12T19:25:43Z)
• Cascaded Models for Better Fine-Grained Named Entity Recognition [10.03287972980716]
  細粒度NERをラベル付けするためのケースドアプローチを新たにリリースした細粒度NERデータセットに適用する。 完全きめ細かな型で構築された直感的なモデルと比較して,20F1絶対値で性能を向上できることを示す。
  論文  参考訳（メタデータ） (2020-09-15T18:41:29Z)
• CLUENER2020: Fine-grained Named Entity Recognition Dataset and Benchmark for Chinese [18.673425507885938]
  CLUE組織(CLUENER 2020)のNERデータセットを中国語で名前付きエンティティ認識に導入する。 CLUENER 2020には10のカテゴリがあります。人、組織、場所といった一般的なラベルとは別に、より多様なカテゴリが含まれています。 これは現在の中国のNERデータセットよりも難しく、現実世界のアプリケーションをよりよく反映できる。
  論文  参考訳（メタデータ） (2020-01-13T15:39:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。