論文の概要: With Measured Words: Simple Sentence Selection for Black-Box
Optimization of Sentence Compression Algorithms
- arxiv url: http://arxiv.org/abs/2101.10096v1
- Date: Mon, 25 Jan 2021 14:00:56 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-14 19:10:45.193758
- Title: With Measured Words: Simple Sentence Selection for Black-Box
Optimization of Sentence Compression Algorithms
- Title（参考訳）: 測定語を用いた文圧縮アルゴリズムのブラックボックス最適化のための簡易文選択
- Authors: Yotam Shichel, Meir Kalech, Oren Tsur
- Abstract要約: 文圧縮は、与えられた文の短いが文法的なバージョンを生成するタスクである。
圧縮用ブラックボックス(B-BOC)を提案する。
i)単一文圧縮, (ii)文列圧縮の2つのシナリオを検討する。
- 参考スコア（独自算出の注目度）: 15.13642936963968
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Sentence Compression is the task of generating a shorter, yet grammatical
version of a given sentence, preserving the essence of the original sentence.
This paper proposes a Black-Box Optimizer for Compression (B-BOC): given a
black-box compression algorithm and assuming not all sentences need be
compressed -- find the best candidates for compression in order to maximize
both compression rate and quality. Given a required compression ratio, we
consider two scenarios: (i) single-sentence compression, and (ii)
sentences-sequence compression. In the first scenario, our optimizer is trained
to predict how well each sentence could be compressed while meeting the
specified ratio requirement. In the latter, the desired compression ratio is
applied to a sequence of sentences (e.g., a paragraph) as a whole, rather than
on each individual sentence. To achieve that, we use B-BOC to assign an optimal
compression ratio to each sentence, then cast it as a Knapsack problem, which
we solve using bounded dynamic programming. We evaluate B-BOC on both scenarios
on three datasets, demonstrating that our optimizer improves both accuracy and
Rouge-F1-score compared to direct application of other compression algorithms.
- Abstract（参考訳）: 文圧縮 (Sentence Compression) とは、ある文の短いが文法的なバージョンを生成し、原文の本質を保存するタスクである。
本稿では,圧縮のためのブラックボックスオプティマイザ(b-boc)を提案する。ブラックボックス圧縮アルゴリズムが与えられたとき,すべての文が圧縮される必要はないと仮定し,圧縮速度と品質の両方を最大化するために最適な圧縮候補を探す。
必要な圧縮比を考えると、(i)単文圧縮と(ii)文シーケンス圧縮の2つのシナリオを検討する。
第1のシナリオでは、指定された比率要件を満たしながら、各文がどの程度圧縮できるかを予測するために最適化器を訓練する。
後者では、所望の圧縮比を個々の文ではなく、全体としての文の列(例えば、段落)に適用する。
そこで我々は,B-BOCを用いて各文に最適な圧縮比を割り当て,それをKnapsack問題としてキャストし,有界動的プログラミングを用いて解く。
両シナリオのB-BOCを3つのデータセットで評価し、他の圧縮アルゴリズムの直接適用と比較して精度とルージュF1スコアの両方を改善することを実証した。
関連論文リスト
- Advancing Learned Video Compression with In-loop Frame Prediction [177.67218448278143]
本稿では,ループ内フレーム予測モジュールを用いたALVC(Advanced Learned Video Compression)アプローチを提案する。
予測フレームは、以前圧縮されたフレームよりも優れた参照として機能し、圧縮性能の恩恵を受けることができる。
本実験は,学習ビデオ圧縮におけるALVC手法の最先端性能を示すものである。
論文 参考訳（メタデータ） (2022-11-13T19:53:14Z) - Once-for-All Sequence Compression for Self-Supervised Speech Models [62.60723685118747]
時間軸に沿ったシーケンス長は、しばしば自己教師付き音声モデルの計算コストの主要な要因である。
本稿では,連続的な圧縮速度をサポートする自己教師型音声モデルのための一括圧縮フレームワークを提案する。
論文 参考訳（メタデータ） (2022-11-04T09:19:13Z) - Espresso: Revisiting Gradient Compression from the System Perspective [8.535644448611928]
分散ディープラーニング(DDL)における通信ボトルネックに対処するためのGC(Gradient compression)は有望なアプローチである
しかし、テンソル間の複雑な相互作用のため、DDLにGCを適用するための最適圧縮戦略を見つけることは困難である。
Espressoは、あらゆるDDLトレーニングジョブのテンソル間のすべての圧縮戦略と対応する相互作用を表現するように設計されている。
これにより、DDLトレーニングジョブの代表者に対して、最先端の圧縮対応システムによるトレーニングスループットを最大77%向上させることができる。
論文 参考訳（メタデータ） (2022-05-28T15:47:00Z) - A Highly Effective Low-Rank Compression of Deep Neural Networks with
Modified Beam-Search and Modified Stable Rank [3.0938904602244355]
自動ランク選択にビームサーチを改良し,圧縮フレンドリーなトレーニングに安定度を改良した低ランク圧縮法を提案する。
BSRの精度と圧縮比トレードオフ曲線のパフォーマンスは、これまで知られていた低ランク圧縮法よりも優れていることが判明した。
論文 参考訳（メタデータ） (2021-11-30T07:36:23Z) - Compressing Neural Networks: Towards Determining the Optimal Layer-wise
Decomposition [62.41259783906452]
本稿では,ディープニューラルネットワークのための新しいグローバル圧縮フレームワークを提案する。
各層を自動的に解析し、最適な層間圧縮比を特定する。
我々の結果は、現代のニューラルネットワークのグローバルなパフォーマンス-サイズトレードオフに関する将来の研究のための新たな道を開く。
論文 参考訳（メタデータ） (2021-07-23T20:01:30Z) - Towards Compact CNNs via Collaborative Compression [166.86915086497433]
チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。
52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
論文 参考訳（メタデータ） (2021-05-24T12:07:38Z) - LBS: Loss-aware Bit Sharing for Automatic Model Compression [141.76536598851786]
モデル圧縮設定を自動的に検索するロスアウェアビット共有。
CIFAR-100とImageNetの実験は、LCSが有望な性能を維持しながら計算コストを大幅に削減できることを示しています。
論文 参考訳（メタデータ） (2021-01-13T08:28:21Z) - Linear Convergent Decentralized Optimization with Compression [50.44269451541387]
圧縮を伴う既存の分散アルゴリズムは主にDGD型アルゴリズムの圧縮に焦点を当てている。
原始双対アルゴリズムによって動機付けられた本論文は、最初のアンダーラインLinunderlineEAr収束を提案する。
underline Decentralized with compression, LEAD。
論文 参考訳（メタデータ） (2020-07-01T04:35:00Z) - Uncertainty Principle for Communication Compression in Distributed and
Federated Learning and the Search for an Optimal Compressor [5.09755285351264]
我々は,ベクトルのカシン表現にインスパイアされた非バイアス圧縮法を考察し,これをエムカシン圧縮(KC)と呼ぶ。
KC は、各ベクトルエントリごとに数ビットしか通信する必要のない状態であっても、明示的な公式を導出するエム次元独立分散境界を享受する。
論文 参考訳（メタデータ） (2020-02-20T17:20:51Z) - A Difference-of-Convex Programming Approach With Parallel
Branch-and-Bound For Sentence Compression Via A Hybrid Extractive Model [3.797235868157938]
文圧縮は自然言語処理において重要な問題であり、テキスト要約、検索エンジン、人間とAIのインタラクションシステムに広く応用されている。
本研究では,確率言語モデルと構文木言語モデルを組み合わせたハイブリッド抽出文圧縮モデルを設計し,文を圧縮する。
数値計算により,Fスコアで評価した文圧縮モデルにより,優れた圧縮結果が得られることが示された。
論文 参考訳（メタデータ） (2020-02-02T18:33:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。