Fugu-MT 論文翻訳(概要): A Difference-of-Convex Programming Approach With Parallel Branch-and-Bound For Sentence Compression Via A Hybrid Extractive Model

論文の概要: A Difference-of-Convex Programming Approach With Parallel Branch-and-Bound For Sentence Compression Via A Hybrid Extractive Model

arxiv url: http://arxiv.org/abs/2002.01352v2
Date: Sun, 14 Feb 2021 14:59:45 GMT
ステータス: 処理完了
システム内更新日: 2023-01-04 20:14:58.323177
Title: A Difference-of-Convex Programming Approach With Parallel Branch-and-Bound For Sentence Compression Via A Hybrid Extractive Model
Title（参考訳）: ハイブリッド抽出モデルを用いたパラレル分岐境界による文圧縮の差分計画法
Authors: Yi-Shuai Niu, Yu You, Wenxu Xu, Wentao Ding, Junpeng Hu, Songquan Yao
Abstract要約: 文圧縮は自然言語処理において重要な問題であり、テキスト要約、検索エンジン、人間とAIのインタラクションシステムに広く応用されている。本研究では,確率言語モデルと構文木言語モデルを組み合わせたハイブリッド抽出文圧縮モデルを設計し,文を圧縮する。数値計算により,Fスコアで評価した文圧縮モデルにより,優れた圧縮結果が得られることが示された。
参考スコア（独自算出の注目度）: 3.797235868157938
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Sentence compression is an important problem in natural language processing with wide applications in text summarization, search engine and human-AI interaction system etc. In this paper, we design a hybrid extractive sentence compression model combining a probability language model and a parse tree language model for compressing sentences by guaranteeing the syntax correctness of the compression results. Our compression model is formulated as an integer linear programming problem, which can be rewritten as a Difference-of-Convex (DC) programming problem based on the exact penalty technique. We use a well-known efficient DC algorithm -- DCA to handle the penalized problem for local optimal solutions. Then a hybrid global optimization algorithm combining DCA with a parallel branch-and-bound framework, namely PDCABB, is used for finding global optimal solutions. Numerical results demonstrate that our sentence compression model can provide excellent compression results evaluated by F-score, and indicate that PDCABB is a promising algorithm for solving our sentence compression model.
Abstract（参考訳）: 文圧縮は自然言語処理において重要な問題であり,テキスト要約や検索エンジン,人間とAIのインタラクションシステムなどに広く応用されている。本稿では,確率言語モデルと解析木モデルを組み合わせたハイブリッド抽出文圧縮モデルを設計し,圧縮結果の構文的正しさを保証して文を圧縮する。我々の圧縮モデルは整数線形プログラミング問題として定式化されており、正確なペナルティ手法に基づいて差分凸(DC)プログラミング問題として書き換えることができる。局所最適解に対するペナライズド問題を扱うために、よく知られた効率的なdcアルゴリズム -- dca を用いる。次に、DCAと並列分岐結合フレームワーク(PDCABB)を組み合わせたハイブリッドグローバル最適化アルゴリズムを用いて、大域最適解を求める。その結果,f-scoreで評価した圧縮結果に優れた文圧縮モデルが得られ,pdcabbは文圧縮モデルの解法として有望なアルゴリズムであることが示された。

関連論文リスト

A Random-Key Optimizer for Combinatorial Optimization [0.0]
Random-Key Hubs (RKO) は最適化問題に適した汎用的で効率的な局所探索手法である。ランダムキーの概念を用いて、RKOは解をランダムキーのベクトルとしてエンコードし、後に問題固有のデコーダを介して実現可能な解へとデコードする。 RKOフレームワークは古典的メタヒューリスティクスの多元体を組み合わせ、それぞれが独立して、あるいは並列に動作可能であり、エリートソリューションプールを通じてソリューション共有が促進される。
論文参考訳（メタデータ） (2024-11-06T22:23:29Z)
Fundamental Limits of Prompt Compression: A Rate-Distortion Framework for Black-Box Language Models [21.025001473355996]
大規模言語モデル(LLM)の即時圧縮問題について定式化する。ブラックボックスモデルのハードプロンプトを生成するトークンレベルのプロンプト圧縮手法を統合するためのフレームワークを提案する。本稿では,現在の高速圧縮法の性能と最適戦略との間に大きなギャップがあることを述べる。
論文参考訳（メタデータ） (2024-07-22T09:40:13Z)
Ranking LLMs by compression [13.801767671391604]
圧縮の先駆けとして5つの大きな言語モデルを使用し、課題のある自然言語処理タスクのパフォーマンスを比較します。実験の結果,圧縮比とモデル性能は正の相関関係にあることが明らかとなった。
論文参考訳（メタデータ） (2024-06-20T10:23:38Z)
CORE: Common Random Reconstruction for Distributed Optimization with Provable Low Communication Complexity [110.50364486645852]
コミュニケーションの複雑さは、トレーニングをスピードアップし、マシン番号をスケールアップする上で、大きなボトルネックになっています。本稿では,機械間で送信される情報を圧縮するための共通Om REOmを提案する。
論文参考訳（メタデータ） (2023-09-23T08:45:27Z)
Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
論文参考訳（メタデータ） (2022-10-14T01:42:05Z)
EF-BV: A Unified Theory of Error Feedback and Variance Reduction Mechanisms for Biased and Unbiased Compression in Distributed Optimization [7.691755449724637]
分散最適化と学習では、異なるコンピュータユニット間の通信がボトルネックとなることが多い。圧縮演算子には2つのクラスがあり、それを利用するアルゴリズムは別々である。本稿では,特にDIANAとEF21を復元する新しいアルゴリズムを提案する。
論文参考訳（メタデータ） (2022-05-09T10:44:23Z)
Lossless Compression with Probabilistic Circuits [42.377045986733776]
確率回路 (PC) は、$|p|$計算単位を含むニューラルネットワークのクラスである。時間複雑性が $mathcalO (log(D) cdot |p|)$ であるような効率的な符号化と復号化スキームを導出する。従来のPC構造学習パイプラインをスケールアップすることにより、MNISTなどの画像データセットで最先端の結果が得られた。
論文参考訳（メタデータ） (2021-11-23T03:30:22Z)
Highly Parallel Autoregressive Entity Linking with Discriminative Correction [51.947280241185]
自己回帰リンクを全ての潜在的な言及に対して並列化する,非常に効率的な手法を提案する。我々のモデルは以前の生成法より70倍高速で精度が高い。
論文参考訳（メタデータ） (2021-09-08T17:28:26Z)
PowerGossip: Practical Low-Rank Communication Compression in Decentralized Deep Learning [62.440827696638664]
本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
論文参考訳（メタデータ） (2020-08-04T09:14:52Z)
Combining Deep Learning and Optimization for Security-Constrained Optimal Power Flow [94.24763814458686]
セキュリティに制約のある最適電力フロー(SCOPF)は、電力システムの基本である。 SCOPF問題におけるAPRのモデル化は、複雑な大規模混合整数プログラムをもたらす。本稿では,ディープラーニングとロバスト最適化を組み合わせた新しい手法を提案する。
論文参考訳（メタデータ） (2020-07-14T12:38:21Z)
Linear Convergent Decentralized Optimization with Compression [50.44269451541387]
圧縮を伴う既存の分散アルゴリズムは主にDGD型アルゴリズムの圧縮に焦点を当てている。原始双対アルゴリズムによって動機付けられた本論文は、最初のアンダーラインLinunderlineEAr収束を提案する。 underline Decentralized with compression, LEAD。
論文参考訳（メタデータ） (2020-07-01T04:35:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。