Fugu-MT 論文翻訳(概要): TextualVerifier: Verify TextGrad Step-by-Step

論文の概要: TextualVerifier: Verify TextGrad Step-by-Step

arxiv url: http://arxiv.org/abs/2511.03739v1
Date: Wed, 29 Oct 2025 13:53:42 GMT
ステータス: 翻訳完了
システム内更新日: 2025-11-07 20:17:53.156807
Title: TextualVerifier: Verify TextGrad Step-by-Step
Title（参考訳）: TextualVerifier: TextGrad Step-by-Stepを検証
Authors: Eugenius Mario Situmorang, Adila Alfa Krisnadhi, Ari Wibisono,
Abstract要約: TextualVerifierは、連鎖分解、変種生成、多数決、コンセンサスアグリゲーションを実装している。損失関数と最適化結果の検証段階の両方で、非侵襲的にTextGradと統合する。
参考スコア（独自算出の注目度）: 0.25489046505746704
License: http://creativecommons.org/licenses/by/4.0/
Abstract: TextGrad is a novel approach to text-based automatic differentiation that enables composite AI systems to perform optimization without explicit numerical equations. However, it currently lacks self-verification mechanisms that ensure reasoning validity in text-based decision making. This research introduces TextualVerifier, a verification framework that leverages chain-of-thought reasoning and majority voting with large language models to address this verification gap. TextualVerifier implements a four-stage workflow: chain-of-thought decomposition, variant generation, majority voting, and consensus aggregation. It integrates non-invasively with TextGrad at both the loss function and optimization result verification stages. Experimental evaluation using the Gemini 1.5 Pro model is conducted in two phases: (1) standalone evaluation on PRM800K, and (2) integrated evaluation with TextGrad on GPQA-Diamond, MMLU-ML, and MMLU-CP benchmarks. Results show statistically significant improvements (p < 0.001). In phase one, TextualVerifier improves the validity of reasoning steps by 29 percent. In phase two, integration into TextGrad loss function yields a 2.2 percentage point gain from 68.2 to 70.4 percent with a moderate overhead of 5.9 LLM calls on average. Further evaluations of TextualVerifier versioning yield 8.08, 10.71, and 3.92 percentage point improvements on GPQA, MMLU-ML, and MMLU-CP respectively. TextualVerifier thus presents the first self-verification framework for TextGrad through LLM-based techniques without requiring numerical gradients, enabling more reliable reasoning and opening new directions for verification in text-based optimization.
Abstract（参考訳）: TextGradはテキストベースの自動微分の新たなアプローチであり、明示的な数値方程式を使わずに複合AIシステムが最適化を行うことができる。しかし、現在、テキストベースの意思決定における推論の妥当性を保証する自己検証メカニズムが欠如している。本研究は,この検証ギャップに対処するために,大規模言語モデルを用いた連鎖推論と過半数投票を利用する検証フレームワークであるTextualVerifierを紹介する。 TextualVerifierは4段階のワークフローを実装している。損失関数と最適化結果の検証段階の両方で、非侵襲的にTextGradと統合する。 The Gemini 1.5 Pro model using the Gemini 1.5 Pro model were performed in two phase: (1) standalone evaluation on PRM800K and (2) integrated evaluation with TextGrad on GPQA-Diamond, MMLU-ML, and MMLU-CP benchmarks。その結果, 統計的に有意な改善が認められた(p< 0.001。フェーズ1では、TextualVerifierは推論ステップの妥当性を29%改善する。フェーズ2では、TextGradの損失関数への統合は68.2から70.4%に2.2ポイント上昇し、平均5.9 LLMのオーバーヘッドがある。 TextualVerifierのバージョニングでは,GPQA,MMLU-ML,MMLU-CPで8.08,10.71,3.92ポイントの改善が得られた。そこで TextualVerifier は LLM ベースの手法による TextGrad の自己検証フレームワークを,数値勾配を必要とせずに提供する。

関連論文リスト

Multi-Hierarchical Feature Detection for Large Language Model Generated Text [2.5782420501870287]
AIテキスト検出のための多階層的特徴統合について検討した。我々は,MHFD(Multi-Hierarchical Feature Detection)を実装し,適応融合による意味解析,構文解析,統計的確率特徴を統合する。複数のベンチマークデータセットによる実験結果から、MHFD法はドメイン内検出において89.7%の精度を達成し、クロスドメイン検出において84.2%の安定した性能を維持し、既存の手法よりも0.4-2.6%の緩やかな改善を示した。
論文参考訳（メタデータ） (2025-09-23T09:55:42Z)
RepreGuard: Detecting LLM-Generated Text by Revealing Hidden Representation Patterns [50.401907401444404]
大規模言語モデル(LLM)は、誤用を防止し、信頼できるAIシステムを構築するために不可欠である。本稿では,統計量に基づく効率的な検出手法であるRepreGuardを提案する。実験結果から、RepreGuardは、平均94.92%のAUROCですべてのベースラインでID(in-distriion)とOOD(OOD)の両方のシナリオでパフォーマンスが向上していることが示された。
論文参考訳（メタデータ） (2025-08-18T17:59:15Z)
Text2Vis: A Challenging and Diverse Benchmark for Generating Multimodal Visualizations from Text [30.74255946385862]
テキスト・ツー・ビジュアル化モデルを評価するためのベンチマークであるText2Visを紹介する。 1,985のサンプルからなり、それぞれにデータテーブル、自然言語クエリ、短い回答、視覚化コード、注釈付きチャートがある。これは大きなパフォーマンスギャップを明らかにし、重要な課題を強調し、将来の進歩に対する洞察を提供する。
論文参考訳（メタデータ） (2025-07-26T14:59:04Z)
Ensuring Reproducibility in Generative AI Systems for General Use Cases: A Framework for Regression Testing and Open Datasets [0.0]
汎用ユースケースの回帰テストを実行するベンチマークであるGPR-benchを紹介する。より新しいモデルは一般的に正確性を改善するが、違いは控えめで統計的に有意ではない。対照的に、簡潔な命令は簡潔さを著しく向上させ、迅速なエンジニアリングの有効性を実証する。
論文参考訳（メタデータ） (2025-05-02T12:31:43Z)
EquiBench: Benchmarking Large Language Models' Reasoning about Program Semantics via Equivalence Checking [58.15568681219339]
大規模言語モデル(LLM)を評価するための新しいベンチマークであるEquiBenchを紹介する。このタスクは、プログラムのセマンティクスについて推論するモデルの能力を直接テストする。 19の最先端LCMを評価し、最も難しいカテゴリでは、最高の精度は63.8%と76.2%であり、50%のランダムベースラインよりわずかに高い。
論文参考訳（メタデータ） (2025-02-18T02:54:25Z)
LLM2: Let Large Language Models Harness System 2 Reasoning [65.89293674479907]
大規模言語モデル(LLM)は、無数のタスクにまたがって印象的な機能を示してきたが、時には望ましくない出力が得られる。本稿では LLM とプロセスベースの検証器を組み合わせた新しいフレームワーク LLM2 を紹介する。 LLMs2は妥当な候補を生成するのに責任を持ち、検証者は望ましい出力と望ましくない出力を区別するためにタイムリーなプロセスベースのフィードバックを提供する。
論文参考訳（メタデータ） (2024-12-29T06:32:36Z)
Who Wrote This? The Key to Zero-Shot LLM-Generated Text Detection Is GECScore [51.65730053591696]
我々は,人文テキストがLLM生成テキストよりも文法的誤りを多く含んでいるという観察に基づく,シンプルで効果的なブラックボックスゼロショット検出手法を提案する。実験結果から,本手法はゼロショット法や教師あり手法よりも優れていることがわかった。
論文参考訳（メタデータ） (2024-05-07T12:57:01Z)
Chain of Evidences and Evidence to Generate: Prompting for Context Grounded and Retrieval Augmented Reasoning [3.117335706912261]
チェイン・オブ・エビデンス(CoE)とエビデンス・トゥ・ジェネレーション(E2G)は2つのユニークな戦略に基づいて構築されている。根拠のない推論の主張の代わりに、我々の革新的なアプローチは「意思決定の証拠」の力を利用する。我々のフレームワークは、様々な知識集約的推論および生成タスクにおいて、常に顕著な結果を達成する。
論文参考訳（メタデータ） (2024-01-11T09:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。