論文の概要: With Measured Words: Simple Sentence Selection for Black-Box
Optimization of Sentence Compression Algorithms
- arxiv url: http://arxiv.org/abs/2101.10096v1
- Date: Mon, 25 Jan 2021 14:00:56 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-14 19:10:45.193758
- Title: With Measured Words: Simple Sentence Selection for Black-Box
Optimization of Sentence Compression Algorithms
- Title（参考訳）: 測定語を用いた文圧縮アルゴリズムのブラックボックス最適化のための簡易文選択
- Authors: Yotam Shichel, Meir Kalech, Oren Tsur
- Abstract要約: 文圧縮は、与えられた文の短いが文法的なバージョンを生成するタスクである。
圧縮用ブラックボックス(B-BOC)を提案する。
i)単一文圧縮, (ii)文列圧縮の2つのシナリオを検討する。
- 参考スコア（独自算出の注目度）: 15.13642936963968
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Sentence Compression is the task of generating a shorter, yet grammatical
version of a given sentence, preserving the essence of the original sentence.
This paper proposes a Black-Box Optimizer for Compression (B-BOC): given a
black-box compression algorithm and assuming not all sentences need be
compressed -- find the best candidates for compression in order to maximize
both compression rate and quality. Given a required compression ratio, we
consider two scenarios: (i) single-sentence compression, and (ii)
sentences-sequence compression. In the first scenario, our optimizer is trained
to predict how well each sentence could be compressed while meeting the
specified ratio requirement. In the latter, the desired compression ratio is
applied to a sequence of sentences (e.g., a paragraph) as a whole, rather than
on each individual sentence. To achieve that, we use B-BOC to assign an optimal
compression ratio to each sentence, then cast it as a Knapsack problem, which
we solve using bounded dynamic programming. We evaluate B-BOC on both scenarios
on three datasets, demonstrating that our optimizer improves both accuracy and
Rouge-F1-score compared to direct application of other compression algorithms.
- Abstract（参考訳）: 文圧縮 (Sentence Compression) とは、ある文の短いが文法的なバージョンを生成し、原文の本質を保存するタスクである。
本稿では,圧縮のためのブラックボックスオプティマイザ(b-boc)を提案する。ブラックボックス圧縮アルゴリズムが与えられたとき,すべての文が圧縮される必要はないと仮定し,圧縮速度と品質の両方を最大化するために最適な圧縮候補を探す。
必要な圧縮比を考えると、(i)単文圧縮と(ii)文シーケンス圧縮の2つのシナリオを検討する。
第1のシナリオでは、指定された比率要件を満たしながら、各文がどの程度圧縮できるかを予測するために最適化器を訓練する。
後者では、所望の圧縮比を個々の文ではなく、全体としての文の列(例えば、段落)に適用する。
そこで我々は,B-BOCを用いて各文に最適な圧縮比を割り当て,それをKnapsack問題としてキャストし,有界動的プログラミングを用いて解く。
両シナリオのB-BOCを3つのデータセットで評価し、他の圧縮アルゴリズムの直接適用と比較して精度とルージュF1スコアの両方を改善することを実証した。
関連論文リスト
- Problem-dependent convergence bounds for randomized linear gradient compression [4.656302602746228]
分散最適化では、通信モデルの更新がパフォーマンスのボトルネックになる可能性がある。
最適化向上の手段として勾配圧縮法が提案されている。
我々は, 圧縮がスループットに与える影響を, ヘッセン目標のノルムの観点から検討する。
論文 参考訳（メタデータ） (2024-11-19T22:26:42Z) - Order of Compression: A Systematic and Optimal Sequence to Combinationally Compress CNN [5.25545980258284]
本稿では,複数の圧縮手法を最も効率的な順序で適用するための,体系的かつ最適なシーケンスを提案する。
提案手法では,ResNet34の計算コストを最大859倍に削減する。
我々は, モデル圧縮の行程をシンプルかつ効果的に探索することで, モデル圧縮の実践に光を当てることができると考えている。
論文 参考訳（メタデータ） (2024-03-26T07:26:00Z) - Optimal Compression of Unit Norm Vectors in the High Distortion Regime [30.6205706348233]
本稿では,単位ノルムベクトルを最小ビット数に圧縮する手法について検討する。
本研究は, バイアス圧縮法と非バイアス圧縮法の両方を考察し, 最適圧縮率を決定する。
結果は新しいものと既知のものが混在しているが、完全性のためにこの論文にまとめられている。
論文 参考訳（メタデータ） (2023-07-16T04:23:57Z) - DiffRate : Differentiable Compression Rate for Efficient Vision
Transformers [98.33906104846386]
Token圧縮は、プルーニング(ドロップ)やトークンのマージによって、大規模な視覚変換器(ViTなど)を高速化することを目的としている。
DiffRate(ディフレート)は、先行技術にはないいくつかの魅力的な特性を持つ新しいトークン圧縮手法である。
論文 参考訳（メタデータ） (2023-05-29T10:15:19Z) - Advancing Learned Video Compression with In-loop Frame Prediction [177.67218448278143]
本稿では,ループ内フレーム予測モジュールを用いたALVC(Advanced Learned Video Compression)アプローチを提案する。
予測フレームは、以前圧縮されたフレームよりも優れた参照として機能し、圧縮性能の恩恵を受けることができる。
本実験は,学習ビデオ圧縮におけるALVC手法の最先端性能を示すものである。
論文 参考訳（メタデータ） (2022-11-13T19:53:14Z) - Once-for-All Sequence Compression for Self-Supervised Speech Models [62.60723685118747]
自己教師型音声モデルのための一括圧縮フレームワークを提案する。
このフレームワークは様々なタスクで評価され、固定圧縮率の変種と比較して限界劣化を示す。
また、適応圧縮率学習についても検討し、グリッド探索を必要とせず、タスク固有の好ましいフレーム期間を選択する能力を示す。
論文 参考訳（メタデータ） (2022-11-04T09:19:13Z) - A Highly Effective Low-Rank Compression of Deep Neural Networks with
Modified Beam-Search and Modified Stable Rank [3.0938904602244355]
自動ランク選択にビームサーチを改良し,圧縮フレンドリーなトレーニングに安定度を改良した低ランク圧縮法を提案する。
BSRの精度と圧縮比トレードオフ曲線のパフォーマンスは、これまで知られていた低ランク圧縮法よりも優れていることが判明した。
論文 参考訳（メタデータ） (2021-11-30T07:36:23Z) - Compressing Neural Networks: Towards Determining the Optimal Layer-wise
Decomposition [62.41259783906452]
本稿では,ディープニューラルネットワークのための新しいグローバル圧縮フレームワークを提案する。
各層を自動的に解析し、最適な層間圧縮比を特定する。
我々の結果は、現代のニューラルネットワークのグローバルなパフォーマンス-サイズトレードオフに関する将来の研究のための新たな道を開く。
論文 参考訳（メタデータ） (2021-07-23T20:01:30Z) - Towards Compact CNNs via Collaborative Compression [166.86915086497433]
チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。
52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
論文 参考訳（メタデータ） (2021-05-24T12:07:38Z) - Linear Convergent Decentralized Optimization with Compression [50.44269451541387]
圧縮を伴う既存の分散アルゴリズムは主にDGD型アルゴリズムの圧縮に焦点を当てている。
原始双対アルゴリズムによって動機付けられた本論文は、最初のアンダーラインLinunderlineEAr収束を提案する。
underline Decentralized with compression, LEAD。
論文 参考訳（メタデータ） (2020-07-01T04:35:00Z) - Uncertainty Principle for Communication Compression in Distributed and
Federated Learning and the Search for an Optimal Compressor [5.09755285351264]
我々は,ベクトルのカシン表現にインスパイアされた非バイアス圧縮法を考察し,これをエムカシン圧縮(KC)と呼ぶ。
KC は、各ベクトルエントリごとに数ビットしか通信する必要のない状態であっても、明示的な公式を導出するエム次元独立分散境界を享受する。
論文 参考訳（メタデータ） (2020-02-20T17:20:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。