論文の概要: A Causal Lens for Controllable Text Generation

• arxiv url: http://arxiv.org/abs/2201.09119v1
• Date: Sat, 22 Jan 2022 19:31:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-28 04:48:59.553290
• Title: A Causal Lens for Controllable Text Generation
• Title（参考訳）: 制御可能なテキスト生成のための因果レンズ
• Authors: Zhiting Hu, Li Erran Li
• Abstract要約: 本稿では、原理的因果的観点から制御可能なテキスト生成を定式化することを提案する。 因果関係の定式化の直接的な利点は、生成バイアスを緩和し、制御を改善するためにリッチ因果関係のツールを使用することである。 実験では、制御精度の向上とバイアス低減のために、従来の条件付きモデルよりも因果的アプローチが顕著に優れていることが示された。
• 参考スコア（独自算出の注目度）: 36.26478600135344
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Controllable text generation concerns two fundamental tasks of wide applications, namely generating text of given attributes (i.e., attribute-conditional generation), and minimally editing existing text to possess desired attributes (i.e., text attribute transfer). Extensive prior work has largely studied the two problems separately, and developed different conditional models which, however, are prone to producing biased text (e.g., various gender stereotypes). This paper proposes to formulate controllable text generation from a principled causal perspective which models the two tasks with a unified framework. A direct advantage of the causal formulation is the use of rich causality tools to mitigate generation biases and improve control. We treat the two tasks as interventional and counterfactual causal inference based on a structural causal model, respectively. We then apply the framework to the challenging practical setting where confounding factors (that induce spurious correlations) are observable only on a small fraction of data. Experiments show significant superiority of the causal approach over previous conditional models for improved control accuracy and reduced bias.
• Abstract（参考訳）: コントロール可能なテキスト生成は、与えられた属性(すなわち属性条件生成)のテキストを生成することと、所望の属性(すなわちテキスト属性転送)を保持するために既存のテキストを最小限に編集することである。 広範な先行研究は、主に2つの問題を別々に研究し、異なる条件モデルを開発したが、バイアス付きテキスト(例えば、様々なジェンダーステレオタイプ)を生成する傾向にある。 本稿では,2つのタスクを統一的なフレームワークでモデル化する原理的因果的観点から,制御可能なテキスト生成を定式化する。 因果的定式化の直接的な利点は、生成バイアスを緩和し、制御を改善するためにリッチ因果性ツールを使用することである。 この2つのタスクを,構造因果モデルに基づく介入因果推論と反事実因果推論として扱う。 そして,この枠組みを,少数のデータでのみ観測可能な共起因子(突発的相関を誘導する)が成立する,困難な実践環境に適用する。 実験では, 制御精度の向上とバイアス低減のために, 先行条件モデルよりも因果的アプローチが有意な優位を示した。

関連論文リスト

• How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
  テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。 その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。 多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-14T08:51:00Z)
• FacTool: Factuality Detection in Generative AI -- A Tool Augmented Framework for Multi-Task and Multi-Domain Scenarios [87.12753459582116]
  より広い範囲のタスクは、生成モデルによって処理されると、事実エラーを含むリスクが増大する。 大規模言語モデルにより生成されたテキストの事実誤りを検出するためのタスクおよびドメインに依存しないフレームワークであるFacToolを提案する。
  論文  参考訳（メタデータ） (2023-07-25T14:20:51Z)
• Advancing Precise Outline-Conditioned Text Generation with Task Duality and Explicit Outline Control [15.881568820009797]
  そこで我々は,Precise Outline-conditioned Generationと呼ばれる新しいテキスト生成タスクを導入する。 このタスクは、特定の文レベルのアウトラインに基づいてストーリーを生成する必要がある。 本稿では,要約と生成のタスク双対性を生かした,明示的なアウトライン利用制御手法と新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-23T18:33:52Z)
• Debiasing Stance Detection Models with Counterfactual Reasoning and Adversarial Bias Learning [15.68462203989933]
  スタンス検出モデルは、ショートカットとしてテキスト部分のデータセットバイアスに依存する傾向がある。 より正確にバイアスをモデル化するための逆バイアス学習モジュールを提案する。
  論文  参考訳（メタデータ） (2022-12-20T16:20:56Z)
• A Causal Framework to Quantify the Robustness of Mathematical Reasoning with Language Models [81.15974174627785]
  入力空間における直接的介入に対する頑健さと感度の観点から言語モデルの振舞いについて検討する。 しかし, GPT-3 Davinciモデル(175B)は, 他のGPTモデルと比較して, 頑健さと感度の両面で劇的な改善を実現している。
  論文  参考訳（メタデータ） (2022-10-21T15:12:37Z)
• FAST: Improving Controllability for Text Generation with Feedback Aware Self-Training [25.75982440355576]
  制御可能なテキスト生成システムは、しばしば制御コードを利用して、スタイルや長さといった出力の様々な特性を指示する。 NLPの因果推論に関する最近の研究に触発された本論文は、これらの制御符号に基づく条件付きテキスト生成アルゴリズムにおいて、これまで見過ごされていた欠陥を明らかにする。 トレーニングセットにおけるこれらの相関を減少させるための2つの簡単な手法を提案する。
  論文  参考訳（メタデータ） (2022-10-06T19:00:51Z)
• Text Generation with Text-Editing Models [78.03750739936956]
  このチュートリアルは、テキスト編集モデルと最先端のアプローチの概要を提供する。 生産化に関わる課題と、これらのモデルが幻覚や偏見を軽減するためにどのように使用できるかについて議論する。
  論文  参考訳（メタデータ） (2022-06-14T17:58:17Z)
• Textual Explanations and Critiques in Recommendation Systems [8.406549970145846]
  論文は、このニーズに対処する2つの根本的な課題に焦点を当てています。 1つ目は、スケーラブルでデータ駆動的な説明生成である。 第2の課題は、説明を実行可能なものにすることだ。
  論文  参考訳（メタデータ） (2022-05-15T11:59:23Z)
• Guided Generation of Cause and Effect [52.44584102429394]
  本稿では,原因や影響のセンテンシャルな表現を提示する条件付きテキスト生成フレームワークを提案する。 このフレームワークは2つの新しいリソースに依存している: 因果パターンを表現した大規模な英語文の収集、および大きな語彙因果知識グラフの構築に関する以前の研究に対する改良。
  論文  参考訳（メタデータ） (2021-07-21T02:32:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。