論文の概要: Causal Prompting: Debiasing Large Language Model Prompting based on Front-Door Adjustment

• arxiv url: http://arxiv.org/abs/2403.02738v3
• Date: Tue, 17 Dec 2024 16:10:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 13:55:35.405473
• Title: Causal Prompting: Debiasing Large Language Model Prompting based on Front-Door Adjustment
• Title（参考訳）: Causal Prompting: フロントドア調整に基づく大規模言語モデルのプロンプトの回避
• Authors: Congzhi Zhang, Linhai Zhang, Jialong Wu, Yulan He, Deyu Zhou,
• Abstract要約: 大規模言語モデル(LLM)のバイアスを効果的に軽減するために,正面調整に基づく新たな因果的プロンプト手法を提案する。 実験結果から,提案手法は7つの自然言語処理データセットにおいて優れた性能を発揮することが示された。
• 参考スコア（独自算出の注目度）: 32.12998469814097
• License:
• Abstract: Despite the notable advancements of existing prompting methods, such as In-Context Learning and Chain-of-Thought for Large Language Models (LLMs), they still face challenges related to various biases. Traditional debiasing methods primarily focus on the model training stage, including approaches based on data augmentation and reweighting, yet they struggle with the complex biases inherent in LLMs. To address such limitations, the causal relationship behind the prompting methods is uncovered using a structural causal model, and a novel causal prompting method based on front-door adjustment is proposed to effectively mitigate LLMs biases. In specific, causal intervention is achieved by designing the prompts without accessing the parameters and logits of LLMs. The chain-of-thought generated by LLM is employed as the mediator variable and the causal effect between input prompts and output answers is calculated through front-door adjustment to mitigate model biases. Moreover, to accurately represent the chain-of-thoughts and estimate the causal effects, contrastive learning is used to fine-tune the encoder of chain-of-thought by aligning its space with that of the LLM. Experimental results show that the proposed causal prompting approach achieves excellent performance across seven natural language processing datasets on both open-source and closed-source LLMs.
• Abstract（参考訳）: In-Context LearningやChain-of-Thought for Large Language Models (LLMs)のような既存のプロンプト手法の顕著な進歩にもかかわらず、それらは依然として様々なバイアスに関連する課題に直面している。 従来のデバイアス法は主に、データ拡張と再重み付けに基づくアプローチを含むモデルのトレーニング段階に重点を置いているが、LLMに固有の複雑なバイアスに苦慮している。 このような制約に対処するため、構造因果モデルを用いてプロンプト法の背後にある因果関係を解明し、LLMのバイアスを効果的に軽減するために、フロントドア調整に基づく新しい因果的プロンプト法を提案する。 具体的には、LSMのパラメータやロジットにアクセスせずにプロンプトを設計することで因果介入が達成される。 LLMが生成するチェーン・オブ・シントをメディエータ変数とし、入力プロンプトと出力応答の因果効果を、モデルバイアスを軽減するためのフロントドア調整により算出する。 さらに、思考の連鎖を正確に表現し、因果効果を推定するために、LLMの空間を整列させて思考の連鎖のエンコーダを微調整するために、コントラスト学習を用いる。 実験結果から,提案手法は7つの自然言語処理データセットに対して,オープンソースLLMとクローズドソースLLMの両方で優れた性能を実現することが示された。

関連論文リスト

• SoftCoT: Soft Chain-of-Thought for Efficient Reasoning with LLMs [48.28847964704554]
  CoT(Chain-of-Thought)推論により、LLM(Large Language Models)は複雑な推論タスクを解くことができる。 本稿では,LLMの変更を必要としない連続空間推論のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:52:29Z)
• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• Investigating the Robustness of Deductive Reasoning with Large Language Models [7.494617747914778]
  大規模言語モデル(LLM)は多くの推論に基づく自然言語処理(NLP)タスクにおいて印象的な結果が得られることが示されている。 LLMが、非公式および自己形式化の両方の手法で、どの程度論理的推論タスクに頑健であるかは、まだ不明である。
  論文  参考訳（メタデータ） (2025-02-04T17:16:51Z)
• Preference Leakage: A Contamination Problem in LLM-as-a-judge [69.96778498636071]
  審査員としてのLLM(Large Language Models)とLLMに基づくデータ合成は、2つの基本的なLLM駆動型データアノテーション法として登場した。 本研究では, 合成データ生成器とLCMに基づく評価器の関連性に起因するLCM-as-a-judgeの汚染問題である選好リークを明らかにする。
  論文  参考訳（メタデータ） (2025-02-03T17:13:03Z)
• LLM-based Discriminative Reasoning for Knowledge Graph Question Answering [42.277864969014296]
  生成事前学習型トランスフォーマーに基づく大規模言語モデル(LLM)は,知識グラフ質問応答タスクにおいて顕著な性能を達成している。 サブグラフ検索と解答推論を明示的にモデル化するLLMに基づく識別推論(LDR)手法を提案する。
  論文  参考訳（メタデータ） (2024-12-17T08:07:16Z)
• Provenance: A Light-weight Fact-checker for Retrieval Augmented LLM Generation Output [49.893971654861424]
  検索強化生成(RAG)から非実効出力を検出する軽量な手法を提案する。 私たちは、二項決定を下すためにしきい値にできる事実性スコアを計算します。 実験の結果, ROC曲線 (AUC) の下では, 関連するオープンソースデータセットの広範囲にわたって高い面積を示すことができた。
  論文  参考訳（メタデータ） (2024-11-01T20:44:59Z)
• R-SFLLM: Jamming Resilient Framework for Split Federated Learning with Large Language Models [83.77114091471822]
  Split Federated Learning (SFL)は、分散機械学習(ML)における計算効率のパラダイムである。 SFLの課題は、特に無線チャネル上に展開する場合、送信されたモデルパラメータが相手のジャミングに感受性を持つことである。 これは、言語理解に不可欠である大規模言語モデル(LLM)における単語埋め込みパラメータに対して特に顕著である。 無線ネットワーク上でのLLM(R-SFLLM)を用いたレジリエンスSFLのための物理層フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-07-16T12:21:29Z)
• Through the Thicket: A Study of Number-Oriented LLMs derived from Random Forest Models [0.0]
  大規模言語モデル (LLM) はテキスト処理において例外的な性能を示した。 本稿では,ランダムフォレスト(RF)アンサンブルからの知識伝達を用いたLLMの学習手法を提案する。 我々は、細調整のためのアウトプットを生成し、その決定を分類し、説明するモデルの能力を高めます。
  論文  参考訳（メタデータ） (2024-06-07T13:31:51Z)
• UniBias: Unveiling and Mitigating LLM Bias through Internal Attention and FFN Manipulation [12.04811490937078]
  フィードフォワードニューラルネットワーク(FFN)とアテンションヘッドが大規模言語モデル(LLM)のバイアスをもたらすかを検討する。 これらのバイアスを軽減するために,推定のみの手法であるUniBiasを導入し,バイアス付きFFNベクトルとアテンションヘッドを効果的に識別・除去する。
  論文  参考訳（メタデータ） (2024-05-31T03:59:15Z)
• Steering LLMs Towards Unbiased Responses: A Causality-Guided Debiasing Framework [20.753141804841]
  大規模言語モデル(LLM)はバイアスや差別的な応答を容易に生成できる。 本稿では,人口統計情報とLCMのアウトプットの関連性に着目し,社会的偏見に着目した。
  論文  参考訳（メタデータ） (2024-03-13T17:46:28Z)
• Debiasing Multimodal Large Language Models [61.6896704217147]
  LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。 本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。 これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
  論文  参考訳（メタデータ） (2024-03-08T12:35:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。