論文の概要: Controlling Equational Reasoning in Large Language Models with Prompt Interventions

• arxiv url: http://arxiv.org/abs/2307.09998v5
• Date: Mon, 13 Jan 2025 17:01:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 14:23:24.338925
• Title: Controlling Equational Reasoning in Large Language Models with Prompt Interventions
• Title（参考訳）: プロンプト干渉を伴う大規模言語モデルにおける等式推論の制御
• Authors: Jordan Meadows, Marco Valentino, Andre Freitas,
• Abstract要約: 本稿では,Large Language Models (LLMs) における幻覚率を,シンボルデータ生成フレームワークを用いて制御する方法を検討する。 シンボルエンジンを用いて導出タスクのデータを生成し、数学的導出の特徴を摂動させるために目的の介入を適用する。 次に、細調整されたT5モデル、GPTモデル、LLaMaモデルを含む、様々なLLMに対する迅速な介入の効果を評価する。
• 参考スコア（独自算出の注目度）: 3.9735602856280132
• License:
• Abstract: This paper investigates how hallucination rates in Large Language Models (LLMs) may be controlled via a symbolic data generation framework, exploring a fundamental relationship between the rate of certain mathematical errors and types of input intervention. Specifically, we systematically generate data for a derivation generation task using a symbolic engine, applying targeted interventions to prompts to perturb features of mathematical derivations such as the surface forms of symbols, equational tree structures, and mathematical context. We then evaluate the effect of prompt interventions across a range of LLMs including fine-tuned T5 models, GPT, and LLaMa-based models. Our experiments suggest that T5-Large can outperform the few-shot performance of GPT-4 on various evaluation sets generated via the framework. However, an extensive evaluation based on human analysis, template-based error detection, and text generation metrics reveals model weaknesses beyond what the reference-based metrics singularly describe. We use these results to tie characteristic distributional footprints of interventions to the human evaluation of LLM derivation quality, potentially leading to significant control over fine-grained mathematical capabilities of language models with respect to specific types of errors.
• Abstract（参考訳）: 本稿では,Large Language Models (LLMs) における幻覚率を記号データ生成フレームワークを用いて制御し,特定の数学的誤り率と入力介入の種類との基本的な関係について検討する。 具体的には、記号エンジンを用いて導出タスクのデータを体系的に生成し、シンボルの表面形状、方程式木構造、数学的文脈などの数学的導出の特徴を摂動するプロンプトに目的の介入を適用する。 次に、細調整されたT5モデル、GPTモデル、LLaMaモデルを含む、様々なLLMに対する迅速な介入の効果を評価する。 実験の結果,T5-Large は,GPT-4 の多種多様な評価セットにおいて,GPT-4 の撮影性能より優れていたことが示唆された。 しかし、人間の分析、テンプレートベースのエラー検出、テキスト生成のメトリクスに基づく広範囲な評価により、参照ベースのメトリクスが特異に記述したもの以上のモデルの弱点が明らかになる。 これらの結果を用いて, LLMの導出品質の人為的評価に介入の分布的フットプリントを結びつけることにより, 特定の種類の誤りに対して, 言語モデルの詳細な数学的能力を大幅に制御できる可能性が示唆された。

関連論文リスト

• SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
  本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。 英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
  論文  参考訳（メタデータ） (2024-08-28T06:33:03Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Shape Arithmetic Expressions: Advancing Scientific Discovery Beyond Closed-Form Equations [56.78271181959529]
  GAM(Generalized Additive Models)は、変数とターゲットの間の非線形関係をキャプチャできるが、複雑な特徴相互作用をキャプチャすることはできない。 本稿では,GAMのフレキシブルな形状関数と,数学的表現に見られる複雑な特徴相互作用を融合させる形状表現算術(SHARE)を提案する。 また、標準制約を超えた表現の透明性を保証するSHAREを構築するための一連のルールを設計する。
  論文  参考訳（メタデータ） (2024-04-15T13:44:01Z)
• Wasserstein proximal operators describe score-based generative models and resolve memorization [12.321631823103894]
  We first formulate SGMs with terms of Wasserstein proximal operator (WPO) We show that WPO describe the inductive bias of diffusion and score-based model。 本稿では,SGMの性能を劇的に向上させる,スコア関数の解釈可能なカーネルベースモデルを提案する。
  論文  参考訳（メタデータ） (2024-02-09T03:33:13Z)
• On Least Square Estimation in Softmax Gating Mixture of Experts [78.3687645289918]
  決定論的MoEモデルに基づく最小二乗推定器(LSE)の性能について検討する。 我々は,多種多様な専門家関数の収束挙動を特徴付けるために,強い識別可能性という条件を確立する。 本研究は,専門家の選択に重要な意味を持つ。
  論文  参考訳（メタデータ） (2024-02-05T12:31:18Z)
• Discovering Interpretable Physical Models using Symbolic Regression and Discrete Exterior Calculus [55.2480439325792]
  本稿では,記号回帰(SR)と離散指数計算(DEC)を組み合わせて物理モデルの自動発見を行うフレームワークを提案する。 DECは、SRの物理問題への最先端の応用を越えている、場の理論の離散的な類似に対して、ビルディングブロックを提供する。 実験データから連続体物理の3つのモデルを再発見し,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-10-10T13:23:05Z)
• SLEM: Machine Learning for Path Modeling and Causal Inference with Super Learner Equation Modeling [3.988614978933934]
  因果推論は科学の重要な目標であり、研究者は観測データを使って意味のある結論に達することができる。 経路モデル、構造方程式モデル(SEM)および指向非巡回グラフ(DAG)は、現象の根底にある因果構造に関する仮定を明確に特定する手段を提供する。 本稿では,機械学習のスーパーラーナーアンサンブルを統合したパスモデリング手法であるSuper Learner Equation Modelingを提案する。
  論文  参考訳（メタデータ） (2023-08-08T16:04:42Z)
• Lorentz group equivariant autoencoders [6.858459233149096]
  Lorentz group autoencoder (LGAE) 正規直交ローレンツ群 $mathrmSO+(2,1)$ に対して自己エンコーダモデル同型を開発する。 我々はLHCのジェット機のアーキテクチャと実験結果を示し、いくつかの圧縮、再構成、異常検出の指標に基づいて、グラフと畳み込みニューラルネットワークのベースラインモデルより優れています。
  論文  参考訳（メタデータ） (2022-12-14T17:19:46Z)
• Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
  本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。 この問題は楕円分布のペナルティ化された最大推定値として表される。 楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
  論文  参考訳（メタデータ） (2022-10-21T13:19:45Z)
• GAM(e) changer or not? An evaluation of interpretable machine learning models based on additive model constraints [5.783415024516947]
  本稿では,一連の固有解釈可能な機械学習モデルについて検討する。 5つのGAMの予測特性を従来のMLモデルと比較した。
  論文  参考訳（メタデータ） (2022-04-19T20:37:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。