論文の概要: Decoupled Rationalization with Asymmetric Learning Rates: A Flexible Lipschitz Restraint

• arxiv url: http://arxiv.org/abs/2305.13599v3
• Date: Sat, 24 Jun 2023 08:54:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-27 22:40:42.754345
• Title: Decoupled Rationalization with Asymmetric Learning Rates: A Flexible Lipschitz Restraint
• Title（参考訳）: 非対称学習率による分離合理化:フレキシブルリプシッツ拘束法
• Authors: Wei Liu, Jun Wang, Haozhao Wang, Ruixuan Li, Yang Qiu, YuanKai Zhang, Jie Han, Yixiong Zou
• Abstract要約: 自己説明的合理化モデルは、一般的に、生成者が入力テキストから最も人間的な知性のある断片を論理として選択する協調ゲームによって構成され、次に選択された合理性に基づいて予測を行う予測器が続く。 そのような協調ゲームは、予測者がまだ十分に訓練されていないジェネレータによって生成される非形式的ピースに過度に適合する退化問題を生じさせ、それからジェネレータを無意味なピースを選択する傾向にある準最適モデルに収束させる。 我々は、自然かつ柔軟にリプシッツ定数を抑制できるDRという、単純で効果的な手法を実証的に提案する。
• 参考スコア（独自算出の注目度）: 16.54547887989801
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: A self-explaining rationalization model is generally constructed by a cooperative game where a generator selects the most human-intelligible pieces from the input text as rationales, followed by a predictor that makes predictions based on the selected rationales. However, such a cooperative game may incur the degeneration problem where the predictor overfits to the uninformative pieces generated by a not yet well-trained generator and in turn, leads the generator to converge to a sub-optimal model that tends to select senseless pieces. In this paper, we theoretically bridge degeneration with the predictor's Lipschitz continuity. Then, we empirically propose a simple but effective method named DR, which can naturally and flexibly restrain the Lipschitz constant of the predictor, to address the problem of degeneration. The main idea of DR is to decouple the generator and predictor to allocate them with asymmetric learning rates. A series of experiments conducted on two widely used benchmarks have verified the effectiveness of the proposed method. Codes: \href{https://github.com/jugechengzi/Rationalization-DR}{https://github.com/jugechengzi/Rationalization-DR}.
• Abstract（参考訳）: 自己説明的合理化モデルは通常、生成者が入力テキストから最も人間的な知性のある断片を論理として選択する協調ゲームで構築され、次に選択された合理性に基づいて予測を行う予測器が続く。 しかし、そのような協調ゲームは、予測者がまだ十分に訓練されていないジェネレータによって生成される非形式的ピースに過度に適合し、その結果、ジェネレータが無意味なピースを選択する傾向にあるサブ最適モデルに収束する、退化問題を引き起こす可能性がある。 本稿では,理論上,予測子のリプシッツ連続性による変性を橋渡しする。 そこで我々は, 予測器のリプシッツ定数を自然かつ柔軟に抑制し, 縮退の問題に対処する, DR という簡単な手法を実証的に提案する。 DRの主な考え方は、ジェネレータと予測器を分離して非対称な学習率で割り当てることである。 2つの広く使われているベンチマークで実施した一連の実験により,提案手法の有効性が検証された。 コード: \href{https://github.com/jugechengzi/Rationalization-DR}{https://github.com/jugechengzi/Rationalization-DR}。

関連論文リスト

• Enhancing the Rationale-Input Alignment for Self-explaining Rationalization [22.74436500022893]
  DAR(textbfDiscriminatively textbfAligned textbfRationalization)と呼ばれる新しい手法を導入する。 2つの実世界のベンチマーク実験により,提案手法は説明の質を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2023-12-07T07:37:15Z)
• Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level Stability and High-Level Behavior [51.60683890503293]
  生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。 任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
  論文  参考訳（メタデータ） (2023-07-27T04:27:26Z)
• Unsupervised Selective Rationalization with Noise Injection [7.17737088382948]
  教師なし選択的合理化は、2つの共同訓練されたコンポーネント、有理生成器と予測器をチェーンすることで、予測と共に有理性を生成する。 本稿では,生成器と予測器との間にノイズを注入することにより,有理数生成を効果的に抑制する新しい訓練手法を提案する。 新しいベンチマークを含め、さまざまなタスクにおける最先端技術に対する合理的な妥当性とタスク精度の大幅な改善を実現しています。
  論文  参考訳（メタデータ） (2023-05-27T17:34:36Z)
• FR: Folded Rationalization with a Unified Encoder [14.899075910719189]
  文意味抽出の観点から有理モデルの2つのフェーズを1つに折り畳むFolded Rationalization (FR)を提案する。 FRは最先端手法と比較してF1スコアを最大10.3%改善することを示した。
  論文  参考訳（メタデータ） (2022-09-17T08:49:45Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Discovering Invariant Rationales for Graph Neural Networks [104.61908788639052]
  グラフニューラルネットワーク(GNN)の固有の解釈可能性とは、入力グラフの特徴の小さなサブセットを見つけることである。 本稿では,本質的に解釈可能なGNNを構築するために,不変理性(DIR)を発見するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2022-01-30T16:43:40Z)
• Understanding Interlocking Dynamics of Cooperative Rationalization [90.6863969334526]
  選択的合理化(Selective rationalization)は、ニューラルネットワークの出力を予測するのに十分な入力の小さなサブセットを見つけることによって、複雑なニューラルネットワークの予測を説明する。 このような合理化パラダイムでは,モデルインターロックという大きな問題が浮かび上がっている。 A2Rと呼ばれる新しい合理化フレームワークを提案し、アーキテクチャに第3のコンポーネントを導入し、選択とは対照的にソフトアテンションによって駆動される予測器を提案する。
  論文  参考訳（メタデータ） (2021-10-26T17:39:18Z)
• Rationales for Sequential Predictions [117.93025782838123]
  シーケンスモデルは現代のNLPシステムにおいて重要な要素であるが、それらの予測は説明が難しい。 モデル説明は有理だが、個々のモデル予測を説明できる文脈のサブセットを考える。 この目的を近似する効率的なグリードアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-09-14T01:25:15Z)
• Invariant Rationalization [84.1861516092232]
  典型的な合理化基準、すなわち最大相互情報(MMI)は、合理性のみに基づいて予測性能を最大化する合理性を見つける。 ゲーム理論の不変な有理化基準を導入し、各環境において同じ予測器を最適にするために、有理を制約する。 理論的にも実証的にも、提案された理性は、素早い相関を除外し、異なるテストシナリオをより一般化し、人間の判断とよく一致させることができることを示す。
  論文  参考訳（メタデータ） (2020-03-22T00:50:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。