論文の概要: TextualVerifier: Verify TextGrad Step-by-Step
- arxiv url: http://arxiv.org/abs/2511.03739v1
- Date: Wed, 29 Oct 2025 13:53:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-07 20:17:53.156807
- Title: TextualVerifier: Verify TextGrad Step-by-Step
- Title（参考訳）: TextualVerifier: TextGrad Step-by-Stepを検証
- Abstract要約: TextualVerifierは、連鎖分解、変種生成、多数決、コンセンサスアグリゲーションを実装している。
損失関数と最適化結果の検証段階の両方で、非侵襲的にTextGradと統合する。
- 参考スコア（独自算出の注目度）: 0.25489046505746704
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: TextGrad is a novel approach to text-based automatic differentiation that enables composite AI systems to perform optimization without explicit numerical equations. However, it currently lacks self-verification mechanisms that ensure reasoning validity in text-based decision making. This research introduces TextualVerifier, a verification framework that leverages chain-of-thought reasoning and majority voting with large language models to address this verification gap. TextualVerifier implements a four-stage workflow: chain-of-thought decomposition, variant generation, majority voting, and consensus aggregation. It integrates non-invasively with TextGrad at both the loss function and optimization result verification stages. Experimental evaluation using the Gemini 1.5 Pro model is conducted in two phases: (1) standalone evaluation on PRM800K, and (2) integrated evaluation with TextGrad on GPQA-Diamond, MMLU-ML, and MMLU-CP benchmarks. Results show statistically significant improvements (p < 0.001). In phase one, TextualVerifier improves the validity of reasoning steps by 29 percent. In phase two, integration into TextGrad loss function yields a 2.2 percentage point gain from 68.2 to 70.4 percent with a moderate overhead of 5.9 LLM calls on average. Further evaluations of TextualVerifier versioning yield 8.08, 10.71, and 3.92 percentage point improvements on GPQA, MMLU-ML, and MMLU-CP respectively. TextualVerifier thus presents the first self-verification framework for TextGrad through LLM-based techniques without requiring numerical gradients, enabling more reliable reasoning and opening new directions for verification in text-based optimization.
- Abstract（参考訳）: TextGradはテキストベースの自動微分の新たなアプローチであり、明示的な数値方程式を使わずに複合AIシステムが最適化を行うことができる。
しかし、現在、テキストベースの意思決定における推論の妥当性を保証する自己検証メカニズムが欠如している。
本研究は,この検証ギャップに対処するために,大規模言語モデルを用いた連鎖推論と過半数投票を利用する検証フレームワークであるTextualVerifierを紹介する。
TextualVerifierは4段階のワークフローを実装している。
損失関数と最適化結果の検証段階の両方で、非侵襲的にTextGradと統合する。
The Gemini 1.5 Pro model using the Gemini 1.5 Pro model were performed in two phase: (1) standalone evaluation on PRM800K and (2) integrated evaluation with TextGrad on GPQA-Diamond, MMLU-ML, and MMLU-CP benchmarks。
その結果, 統計的に有意な改善が認められた(p< 0.001。
フェーズ1では、TextualVerifierは推論ステップの妥当性を29%改善する。
フェーズ2では、TextGradの損失関数への統合は68.2から70.4%に2.2ポイント上昇し、平均5.9 LLMのオーバーヘッドがある。
TextualVerifierのバージョニングでは,GPQA,MMLU-ML,MMLU-CPで8.08,10.71,3.92ポイントの改善が得られた。
そこで TextualVerifier は LLM ベースの手法による TextGrad の自己検証フレームワークを,数値勾配を必要とせずに提供する。
関連論文リスト
- Robustness of LLM-Generated SystemVerilog Assertions to Semantics-Preserving RTL Transformations [0.0]
大規模言語モデル(LLM)は、SystemVerilog Assertion(SVA)の自動生成のために、ますます研究されている。
ほとんどの評価では、入力の単一の構文表現に正確さを報告している。
そのような点の精度は、モデルの正しい出力が同じRTLの振る舞いが異なる場合に安定であるかどうかを明らかにしない。
論文 参考訳（メタデータ） (2026-09-04T18:41:58Z) - Augmenting Text to Increase Translation Difficulty [10.250408287553373]
Adversarial Translation Optimization (ATO) は、トークンを反復的に置き換えるために、難易度と流用度を組み合わせてグラデーションを使用する。
ATO修正ベンチマークでは、平均翻訳品質(xCOMET)が0.93から0.82に低下し、パラフレージングでは0.88、ゼロショットベースラインでは0.86に低下した。
人間の評価では、修正されたテキストはベースラインよりも若干自然でないが、文法的かつ妥当なままである。
論文 参考訳（メタデータ） (2026-08-16T21:13:21Z) - EVIL-Detect for NLPCC 2026 Shared Task 6: LLM-Generated Text Detection [11.65568345337734]
本稿では,NLPCC 2026共有タスク6に対するコンフリクト認識融合を備えた多信号アンサンブルフレームワークEVIL-Detectを提案する。
このシステムは、編集時回帰、ゼロショット確率コントラスト信号、語彙統計、保守的テキストルールを統合している。
本システムでは, 分配シフトが強く, マクロF1スコア0.8888を達成し, 公式評価において第1位となるロバスト性を向上する。
論文 参考訳（メタデータ） (2026-08-11T09:19:56Z) - Team RAS in 11th ABAW Competition: Multimodal Ambivalence Recognition Approach [52.92973028971813]
ビデオレベルのアンビバレンスとヘシタシー認識のための単一のテキスト中心マルチモーダルアプローチを提案する。
提案手法は,テキスト中心のマルチモーダル融合モデルを用いて,言語的,音響的,顔的,シーン的特徴を組み合わせたものである。
行動共生/衛生(BAH)コーパスの実験は、テキストが最強の単調なモダリティであることを確認した。
論文 参考訳（メタデータ） (2026-07-16T08:04:23Z) - PersonalAI 2.0: Enhancing knowledge graph traversal/retrieval with planning mechanism for Personalized LLM Agents [53.369140518949656]
外部知識グラフ(KG)の統合により,大規模言語モデル(LLM)ベースのシステムを強化する新しいフレームワークであるPersonalAI 2.0(PAI-2)を紹介する。
提案手法は,動的でマルチステージなクエリ処理パイプラインを組み込むことにより,既存のGraphRAG(Retrieval-Augmented Generation)メソッドの重要な制限に対処する。
グラフアルゴリズム(例えば、BeamSearch、WaterCircles)は、平均6%の標準フラットテンレトリバーよりも優れた結果が得られる一方で、検索計画強化機構は、6つのデータセットにわたるLLM-as-a-Judgeによる障害アルゴリズムに比べて18%向上することを示す。
論文 参考訳（メタデータ） (2026-05-13T13:06:30Z) - LLMSniffer: Detecting LLM-Generated Code via GraphCodeBERT and Supervised Contrastive Learning [0.31034395048547575]
ソフトウェア開発における大規模言語モデル(LLM)は、AI生成コードと人書きコードとを区別することが重要な課題である。
本稿では,2段階の教師付きコントラスト学習パイプラインを用いて,GraphCodeBERTを微調整する検出フレームワークを提案する。
GPTSnifferとWhodunitの2つのベンチマークデータセットを評価した。
論文 参考訳（メタデータ） (2026-04-17T13:32:25Z) - $\
abla$-Reasoner: LLM Reasoning via Test-Time Gradient Descent in Latent Space [71.23672814629448]
$nabla$-Reasonerは、トークンログに対する差別化可能な最適化をデコードループに統合する反復生成フレームワークである。
$nabla$-Reasonerは、挑戦的な数学的推論ベンチマークで20%以上の精度の向上を実現している。
論文 参考訳（メタデータ） (2026-03-05T08:42:54Z) - CodeFuse-CommitEval: Towards Benchmarking LLM's Power on Commit Message and Code Change Inconsistency Detection [8.631593963090985]
バージョン管理は、コード変更の合理性を伝えるためにコミットメッセージに依存するが、これらのメッセージは、しばしば低品質で、メッセージコード不整合(MCI)として知られる差分と矛盾する。
大規模言語モデル(LLM)を用いたMCI検出のための最初のベンチマークであるCODEFUSE-COMMITEVALを紹介する。
我々は、元々一貫したコミットのルール誘導突然変異を通じて、7種類の一貫性のないメッセージを生成し、正と負の両方のサンプルを検証するために2倍の検証を適用した。
論文 参考訳（メタデータ） (2025-11-25T03:33:57Z) - From Harm to Help: Turning Reasoning In-Context Demos into Assets for Reasoning LMs [58.02809208460186]
デモとしてDeepSeek-R1の高品質なトレースを使って、このパラドックスを再検討する。
デモが最適であっても、より多くの例を加えることで、常に精度が低下することがわかった。
デモを明示的で再利用可能な洞察に変換するシーケンシャルなテストタイム手順であるInsight-to-solve(I2S)を紹介します。
論文 参考訳（メタデータ） (2025-09-27T08:59:31Z) - Multi-Hierarchical Feature Detection for Large Language Model Generated Text [2.5782420501870287]
AIテキスト検出のための多階層的特徴統合について検討した。
我々は,MHFD(Multi-Hierarchical Feature Detection)を実装し,適応融合による意味解析,構文解析,統計的確率特徴を統合する。
複数のベンチマークデータセットによる実験結果から、MHFD法はドメイン内検出において89.7%の精度を達成し、クロスドメイン検出において84.2%の安定した性能を維持し、既存の手法よりも0.4-2.6%の緩やかな改善を示した。
論文 参考訳（メタデータ） (2025-09-23T09:55:42Z) - RepreGuard: Detecting LLM-Generated Text by Revealing Hidden Representation Patterns [50.401907401444404]
大規模言語モデル(LLM)は、誤用を防止し、信頼できるAIシステムを構築するために不可欠である。
本稿では,統計量に基づく効率的な検出手法であるRepreGuardを提案する。
実験結果から、RepreGuardは、平均94.92%のAUROCですべてのベースラインでID(in-distriion)とOOD(OOD)の両方のシナリオでパフォーマンスが向上していることが示された。
論文 参考訳（メタデータ） (2025-08-18T17:59:15Z) - Text2Vis: A Challenging and Diverse Benchmark for Generating Multimodal Visualizations from Text [30.74255946385862]
テキスト・ツー・ビジュアル化モデルを評価するためのベンチマークであるText2Visを紹介する。
1,985のサンプルからなり、それぞれにデータテーブル、自然言語クエリ、短い回答、視覚化コード、注釈付きチャートがある。
これは大きなパフォーマンスギャップを明らかにし、重要な課題を強調し、将来の進歩に対する洞察を提供する。
論文 参考訳（メタデータ） (2025-07-26T14:59:04Z) - Ensuring Reproducibility in Generative AI Systems for General Use Cases: A Framework for Regression Testing and Open Datasets [0.0]
汎用ユースケースの回帰テストを実行するベンチマークであるGPR-benchを紹介する。
より新しいモデルは一般的に正確性を改善するが、違いは控えめで統計的に有意ではない。
対照的に、簡潔な命令は簡潔さを著しく向上させ、迅速なエンジニアリングの有効性を実証する。
論文 参考訳（メタデータ） (2025-05-02T12:31:43Z) - EquiBench: Benchmarking Large Language Models' Reasoning about Program Semantics via Equivalence Checking [58.15568681219339]
大規模言語モデル(LLM)を評価するための新しいベンチマークであるEquiBenchを紹介する。
このタスクは、プログラムのセマンティクスについて推論するモデルの能力を直接テストする。
19の最先端LCMを評価し、最も難しいカテゴリでは、最高の精度は63.8%と76.2%であり、50%のランダムベースラインよりわずかに高い。
論文 参考訳（メタデータ） (2025-02-18T02:54:25Z) - LLM2: Let Large Language Models Harness System 2 Reasoning [65.89293674479907]
大規模言語モデル(LLM)は、無数のタスクにまたがって印象的な機能を示してきたが、時には望ましくない出力が得られる。
本稿では LLM とプロセスベースの検証器を組み合わせた新しいフレームワーク LLM2 を紹介する。
LLMs2は妥当な候補を生成するのに責任を持ち、検証者は望ましい出力と望ましくない出力を区別するためにタイムリーなプロセスベースのフィードバックを提供する。
論文 参考訳（メタデータ） (2024-12-29T06:32:36Z) - Who Wrote This? The Key to Zero-Shot LLM-Generated Text Detection Is GECScore [51.65730053591696]
我々は,人文テキストがLLM生成テキストよりも文法的誤りを多く含んでいるという観察に基づく,シンプルで効果的なブラックボックスゼロショット検出手法を提案する。
実験結果から,本手法はゼロショット法や教師あり手法よりも優れていることがわかった。
論文 参考訳（メタデータ） (2024-05-07T12:57:01Z) - Chain of Evidences and Evidence to Generate: Prompting for Context Grounded and Retrieval Augmented Reasoning [3.117335706912261]
チェイン・オブ・エビデンス(CoE)とエビデンス・トゥ・ジェネレーション(E2G)は2つのユニークな戦略に基づいて構築されている。
根拠のない推論の主張の代わりに、我々の革新的なアプローチは「意思決定の証拠」の力を利用する。
我々のフレームワークは、様々な知識集約的推論および生成タスクにおいて、常に顕著な結果を達成する。
論文 参考訳（メタデータ） (2024-01-11T09:49:15Z) - LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。
ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。
最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
論文 参考訳（メタデータ） (2023-05-23T21:50:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。