論文の概要: Eliciting Causal Abilities in Large Language Models for Reasoning Tasks

• arxiv url: http://arxiv.org/abs/2412.15314v1
• Date: Thu, 19 Dec 2024 17:03:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 18:46:08.691615
• Title: Eliciting Causal Abilities in Large Language Models for Reasoning Tasks
• Title（参考訳）: タスク推論のための大規模言語モデルにおける因果確率の回避
• Authors: Yajing Wang, Zongwei Luo, Jingzhe Wang, Zhanke Zhou, Yongqiang Chen, Bo Han,
• Abstract要約: 我々は,LLMが高品質で低品質な観測データを生成することができる自己因果的指導強化法(SCIE)を導入する。 SCIEでは、命令は治療として扱われ、自然言語を処理するためにテキストの特徴が使用される。 提案手法は,プロンプトのトレーニングコストを削減し,推論性能を向上させる命令を効果的に生成する。
• 参考スコア（独自算出の注目度）: 14.512834333917414
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompt optimization automatically refines prompting expressions, unlocking the full potential of LLMs in downstream tasks. However, current prompt optimization methods are costly to train and lack sufficient interpretability. This paper proposes enhancing LLMs' reasoning performance by eliciting their causal inference ability from prompting instructions to correct answers. Specifically, we introduce the Self-Causal Instruction Enhancement (SCIE) method, which enables LLMs to generate high-quality, low-quantity observational data, then estimates the causal effect based on these data, and ultimately generates instructions with the optimized causal effect. In SCIE, the instructions are treated as the treatment, and textual features are used to process natural language, establishing causal relationships through treatments between instructions and downstream tasks. Additionally, we propose applying Object-Relational (OR) principles, where the uncovered causal relationships are treated as the inheritable class across task objects, ensuring low-cost reusability. Extensive experiments demonstrate that our method effectively generates instructions that enhance reasoning performance with reduced training cost of prompts, leveraging interpretable textual features to provide actionable insights.
• Abstract（参考訳）: プロンプト最適化は自動的に表現のプロンプトを洗練し、下流タスクにおけるLLMの潜在能力を解放する。 しかし、現在のプロンプト最適化手法は訓練に費用がかかり、十分な解釈性が欠如している。 本稿では,LLMの推論性能を向上するために,その因果推論能力を正解の指示から引き出す手法を提案する。 具体的には、LLMが高品質で低頻度な観測データを生成し、これらのデータに基づいて因果効果を推定し、最終的に最適化された因果効果で指示を生成することができる自己因果指示強化法(SCIE)を導入する。 SCIEでは、命令は処理として扱われ、テキストの特徴は自然言語処理に使用され、命令と下流タスクの処理を通して因果関係を確立する。 さらに,タスクオブジェクト間の因果関係を継承可能なクラスとして扱い,低コスト再使用性を確保するオブジェクト指向(OR)の原則を適用することを提案する。 大規模な実験により,提案手法は,解釈可能なテキスト特徴を活用して動作可能な洞察を提供することにより,推論性能を向上させる命令を効果的に生成できることが実証された。

関連論文リスト

• Robustness via Referencing: Defending against Prompt Injection Attacks by Referencing the Executed Instruction [68.6543680065379]
  大型言語モデル(LLM)はインジェクション攻撃に弱い。 本研究では,LLMの命令追従能力を抑えるのではなく,新たな防御手法を提案する。
  論文  参考訳（メタデータ） (2025-04-29T07:13:53Z)
• Identifying and Mitigating the Influence of the Prior Distribution in Large Language Models [9.075759687357204]
  大規模言語モデル(LLM)が決定論的タスクに適切に対応できない場合があります。 我々は、機械的解釈可能性技術を用いて、LLM内の前者をローカライズし、その前者が応答に影響を与える範囲を操作します。
  論文  参考訳（メタデータ） (2025-04-17T02:00:53Z)
• Learning Task Representations from In-Context Learning [73.72066284711462]
  大規模言語モデル(LLM)は、文脈内学習において顕著な習熟性を示している。 ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。 提案手法の有効性は,最後の隠れ状態の分布と最適に実行されたテキスト内学習モデルとの整合性に起因していることを示す。
  論文  参考訳（メタデータ） (2025-02-08T00:16:44Z)
• On the Loss of Context-awareness in General Instruction Fine-tuning [101.03941308894191]
  教師付き微調整後の文脈認識の喪失について検討した。 性能低下は,会話指導の微調整中に学んだ異なる役割に対する偏見と関連していることがわかった。 一般命令微調整データセットから文脈依存例を識別する指標を提案する。
  論文  参考訳（メタデータ） (2024-11-05T00:16:01Z)
• Think Beyond Size: Adaptive Prompting for More Effective Reasoning [0.0]
  本稿では,動的かつ反復的なフレームワークであるAdaptive Promptingを紹介する。 その結果、Adaptive Promptingは、算術的推論(GSM8K、MultiArithm)、論理的推論、コモンセンスタスクなど、様々な推論ベンチマークのパフォーマンスを著しく向上させることを示した。 提案手法は,計算効率を維持しつつ,GPT-4などの大規模モデルと競合する性能を実現する。
  論文  参考訳（メタデータ） (2024-10-10T17:14:36Z)
• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• PILLOW: Enhancing Efficient Instruction Fine-tuning via Prompt Matching [20.607323649079845]
  Low-Rank Adaptation (LoRA)は、命令の微調整に代わる有望な代替手段となっている。 PILLOWは差別ベースのLLM機能によってLoRAのパフォーマンスを改善することを目的としている。 PILLOWは、一般的な命令の微調整手法と比較して、様々な評価指標に相反する性能を示す。
  論文  参考訳（メタデータ） (2023-12-09T17:38:39Z)
• From Language Modeling to Instruction Following: Understanding the Behavior Shift in LLMs after Instruction Tuning [63.63840740526497]
  そこで本研究では,本質的な変化に着目した事前学習モデルの調整方法について検討する。 次に、事前訓練されたモデルと命令調整されたモデルから導かれた説明を比較することで、命令チューニングの影響について研究する。 この結果から,指導指導の3つの重要な影響が明らかになった。
  論文  参考訳（メタデータ） (2023-09-30T21:16:05Z)
• Query-Dependent Prompt Evaluation and Optimization with Offline Inverse RL [62.824464372594576]
  ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。 このような最適化では、以前見過ごされたクエリ依存の目的を特定します。 本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
  論文  参考訳（メタデータ） (2023-09-13T01:12:52Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。