論文の概要: Free Lunch for Efficient Textual Commonsense Integration in Language Models

• arxiv url: http://arxiv.org/abs/2305.15516v1
• Date: Wed, 24 May 2023 19:14:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 19:01:47.600528
• Title: Free Lunch for Efficient Textual Commonsense Integration in Language Models
• Title（参考訳）: 言語モデルにおける効率的なテキストコモンセンス統合のためのフリーランチ
• Authors: Wanyun Cui, Xingran Chen
• Abstract要約: 類似したコモンセンス記述を持つサンプルを1つのバッチにグループ化し、複数のサンプル間でエンコードされた記述を再利用する。 大規模な実験では、提案したバッチ分割手法が性能を保ちながら計算コストを効果的に削減することを示した。 効率の改善は、大規模なデータセットや、メモリ容量の大きいデバイスでより顕著であり、大規模なアプリケーションに実用性があることを証明している。
• 参考スコア（独自算出の注目度）: 20.02647320786556
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent years have witnessed the emergence of textual commonsense knowledge bases, aimed at providing more nuanced and context-rich knowledge. The integration of external commonsense into language models has been shown to be a key enabler in advancing the state-of-the-art for a wide range of NLP tasks. However, incorporating textual commonsense descriptions is computationally expensive, as compared to encoding conventional symbolic knowledge. In this paper, we propose a method to improve its efficiency without modifying the model. We group training samples with similar commonsense descriptions into a single batch, thus reusing the encoded description across multiple samples. One key observation is that the upper bound of batch partitioning can be reduced to the classic {\it graph k-cut problem}. Consequently, we propose a spectral clustering-based algorithm to solve this problem. Extensive experiments illustrate that the proposed batch partitioning approach effectively reduces the computational cost while preserving performance. The efficiency improvement is more pronounced on larger datasets and on devices with more memory capacity, attesting to its practical utility for large-scale applications.
• Abstract（参考訳）: 近年では、よりニュアンス豊かで文脈に富んだ知識を提供することを目的とした、文章の常識的な知識ベースが出現している。 言語モデルへの外部コモンセンスの統合は、幅広いNLPタスクの最先端化における重要な実現要因であることが示されている。 しかし、従来の記号的知識の符号化と比較して、テキストのコモンセンス記述を組み込むことは計算コストがかかる。 本稿では,モデルを変更することなく効率を向上させる手法を提案する。 類似したコモンセンス記述を持つサンプルを1つのバッチにグループ化し、複数のサンプル間でエンコードされた記述を再利用する。 1つの重要な観察は、バッチ分割の上限は古典的なグラフ k-カット問題に還元できるということである。 そこで本研究では,スペクトルクラスタリングに基づくアルゴリズムを提案する。 大規模な実験により,提案手法は性能を保ちながら計算コストを効果的に削減することを示した。 効率の改善は、より大きなデータセットとより多くのメモリ容量を持つデバイスでより顕著であり、大規模なアプリケーションで実用性が証明されている。

関連論文リスト

• Learning Context-aware Classifier for Semantic Segmentation [88.88198210948426]
  本稿では,文脈認識型分類器の学習を通じて文脈ヒントを利用する。 本手法はモデルに依存しないため,ジェネリックセグメンテーションモデルにも容易に適用できる。 無視できる追加パラメータと+2%の推論時間だけで、小型モデルと大型モデルの両方で十分な性能向上が達成されている。
  論文  参考訳（メタデータ） (2023-03-21T07:00:35Z)
• Active Learning for Abstractive Text Summarization [50.79416783266641]
  本稿では,抽象テキスト要約におけるアクティブラーニングのための最初の効果的なクエリ戦略を提案する。 ALアノテーションにおける私たちの戦略は、ROUGEと一貫性スコアの点からモデル性能を向上させるのに役立ちます。
  論文  参考訳（メタデータ） (2023-01-09T10:33:14Z)
• Beyond Contrastive Learning: A Variational Generative Model for Multilingual Retrieval [109.62363167257664]
  本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。 我々のモデルは、$N$言語で並列データを操作する。 本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
  論文  参考訳（メタデータ） (2022-12-21T02:41:40Z)
• Fine-tuning Pre-trained Language Models with Noise Stability Regularization [111.3117112585139]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)
• CCLF: A Contrastive-Curiosity-Driven Learning Framework for Sample-Efficient Reinforcement Learning [56.20123080771364]
  我々は、強化学習のためのモデルに依存しないコントラスト駆動学習フレームワーク(CCLF)を開発した。 CCLFは、サンプルの重要性を完全に活用し、自己管理的な学習効率を向上させる。 このアプローチをDeepMind Control Suite、Atari、MiniGridベンチマークで評価する。
  論文  参考訳（メタデータ） (2022-05-02T14:42:05Z)
• On-the-Fly Rectification for Robust Large-Vocabulary Topic Inference [14.664456948527292]
  オブジェクト語彙が大きくなるにつれて、共起統計に基づく推論アルゴリズムの保存と実行がより高価になる。 本稿では,共起統計を同時に圧縮・修正する新しい手法を提案する。 また、圧縮された統計量から潜伏変数を学習し、テキストデータと非テキストデータの両方において従来の手法と相容れない性能を検証した。
  論文  参考訳（メタデータ） (2021-11-12T06:44:04Z)
• Contrastive Quantization with Code Memory for Unsupervised Image Retrieval [41.23507715687314]
  コードメモリによるコントラスト量子化(MeCoQ)は、教師なしのディープ量子化の新しいソリューションである。 比較学習により教師なしのバイナリ記述子を学習し、識別的視覚的意味論をよりよく捉えることができる。 MeCoQは、ベンチマークデータセットの実験において最先端のメソッドよりも優れています。
  論文  参考訳（メタデータ） (2021-09-11T07:16:18Z)
• Obtaining Better Static Word Embeddings Using Contextual Embedding Models [53.86080627007695]
  提案手法はCBOWをベースとした簡易な蒸留法である。 副作用として、我々の手法は文脈的および静的な埋め込みの公正な比較を可能にする。
  論文  参考訳（メタデータ） (2021-06-08T12:59:32Z)
• Improving Federated Relational Data Modeling via Basis Alignment and Weight Penalty [18.096788806121754]
  近年,フェデレートラーニング(FL)が注目されている。 知識グラフ(KG)上でのフェデレーションモデリングを行うグラフニューラルネットワークアルゴリズムの修正版を提案する。 我々は,1) クライアント上でのパーソナライズのための最適輸送(OT)と,2) 収束を高速化するための重み制約を備えた新しい最適化アルゴリズムであるFedAlignを提案する。 実験の結果,提案手法はFedAVGやFedProxといった最先端のFL法よりも優れており,収束性が高いことがわかった。
  論文  参考訳（メタデータ） (2020-11-23T12:52:18Z)
• Hybrid Attention-Based Transformer Block Model for Distant Supervision Relation Extraction [20.644215991166902]
  DSREタスクを実行するために,マルチインスタンス学習を用いたハイブリッドアテンションベースのトランスフォーマーブロックを用いた新しいフレームワークを提案する。 提案手法は評価データセットの最先端アルゴリズムより優れている。
  論文  参考訳（メタデータ） (2020-03-10T13:05:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。