論文の概要: Once Upon an Input: Reasoning via Per-Instance Program Synthesis

• arxiv url: http://arxiv.org/abs/2510.22849v1
• Date: Sun, 26 Oct 2025 21:58:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 15:28:15.394891
• Title: Once Upon an Input: Reasoning via Per-Instance Program Synthesis
• Title（参考訳）: Once Upon an Input: Reasoning via Per-Instance Program Synthesis
• Authors: Adam Stein, Neelay Velingker, Mayur Naik, Eric Wong,
• Abstract要約: PIPS(Per-Instance Program Synthesis)は、構造的フィードバックを用いて、インスタンスレベルでプログラムを生成し、洗練する手法である。 パフォーマンスをさらに向上するため、PIPSは直接推論とプログラム合成を動的に選択する信頼度基準をインスタンス毎に組み込んでいる。
• 参考スコア（独自算出の注目度）: 19.86168542588911
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) excel at zero-shot inference but continue to struggle with complex, multi-step reasoning. Recent methods that augment LLMs with intermediate reasoning steps such as Chain of Thought (CoT) and Program of Thought (PoT) improve performance but often produce undesirable solutions, especially in algorithmic domains. We introduce Per-Instance Program Synthesis (PIPS), a method that generates and refines programs at the instance-level using structural feedback without relying on task-specific guidance or explicit test cases. To further improve performance, PIPS incorporates a confidence metric that dynamically chooses between direct inference and program synthesis on a per-instance basis. Experiments across three frontier LLMs and 30 benchmarks including all tasks of Big Bench Extra Hard (BBEH), visual question answering tasks, relational reasoning tasks, and mathematical reasoning tasks show that PIPS improves the absolute harmonic mean accuracy by up to 8.6% and 9.4% compared to PoT and CoT respectively, and reduces undesirable program generations by 65.1% on the algorithmic tasks compared to PoT with Gemini-2.0-Flash.
• Abstract（参考訳）: 大型言語モデル(LLM)はゼロショット推論では優れるが、複雑な多段階推論に苦戦し続けている。 CoT(Chain of Thought)やPoT(Program of Thought)のような中間推論ステップでLCMを増強する最近の手法は、性能を向上するが、特にアルゴリズム領域において、望ましくない解を生成することが多い。 PIPS(Per-Instance Program Synthesis)は,タスク固有のガイダンスや明示的なテストケースに頼ることなく,構造的フィードバックを用いて,インスタンスレベルでプログラムを生成し,洗練する手法である。 パフォーマンスをさらに向上するため、PIPSは直接推論とプログラム合成を動的に選択する信頼度基準をインスタンス毎に組み込んでいる。 ビッグベンチ・エクストラハード(BBEH)、視覚的質問応答タスク、リレーショナル推論タスク、数学的推論タスクを含む3つのフロンティアLSMと30のベンチマークでの実験では、PIPSがそれぞれPoTとCoTと比較して絶対調和平均精度を最大8.6%、9.4%改善し、アルゴリズム上のタスクにおいてGemini-2.0-Flashと比較して65.1%削減した。

関連論文リスト

• Compressing Chain-of-Thought in LLMs via Step Entropy [12.576398947428988]
  Chain-of-Thought (CoT) を用いた大規模言語モデル (LLM) は複雑な推論において優れるが、かなりの冗長性を持つ思考プロセスを生成し、推論コストが増加し効率が低下する。 本稿では,ステップエントロピーに基づく新しいCoT圧縮フレームワークを提案する。これは,個々の推論ステップの情報的寄与を定量化し,冗長性を識別する指標である。
  論文  参考訳（メタデータ） (2025-08-05T11:48:18Z)
• MLLM-CBench:A Comprehensive Benchmark for Continual Instruction Tuning of Multimodal LLMs with Chain-of-Thought Reasoning Analysis [21.091157331212493]
  マルチモーダル大規模言語モデル(MLLM)は、動的実世界の要求に適応するために、訓練後のフェーズで連続的な命令チューニングを必要とする。 textbfMLLM-CTBenchは、6つの異なるドメインから7つの課題を3つのコントリビューションでキュレートしたデータセットである。
  論文  参考訳（メタデータ） (2025-07-31T07:49:36Z)
• Learning Adaptive Parallel Reasoning with Language Models [70.1745752819628]
  本稿では,適応並列推論(Adaptive Parallel Reasoning, APR)を提案する。 APRは、spawn()とjoin()操作を使用して適応的なマルチスレッド推論を可能にすることで、既存の推論メソッドを一般化する。 鍵となる革新は、親と子の両方の推論スレッドを最適化して、事前に定義された推論構造を必要とせずにタスクの成功率を高める、エンドツーエンドの強化学習戦略である。
  論文  参考訳（メタデータ） (2025-04-21T22:29:02Z)
• Fully Autonomous Programming using Iterative Multi-Agent Debugging with Large Language Models [8.70160958177614]
  大言語モデル(LLM)を用いたプログラム合成は「ニアミス症候群」に苦しむ 我々は、SEIDR(Synthesize, Execute, Instruct, Debug and repair)と呼ばれるマルチエージェントフレームワークでこの問題に対処する。 代替に焦点を当てた、修復に焦点を当てた、ハイブリッドなデバッグ戦略を比較することで、これらのトレードオフを実証的に探求します。
  論文  参考訳（メタデータ） (2025-03-10T16:56:51Z)
• BRiTE: Bootstrapping Reinforced Thinking Process to Enhance Language Model Reasoning [78.63421517563056]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて顕著な機能を示した。 本稿では,新しいグラフィカルモデルを用いてLLM推論を定式化する統一確率的フレームワークを提案する。 本稿では,Bootstrapping Reinforced Thinking Process (BRiTE)アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2025-01-31T02:39:07Z)
• Inference Scaling vs Reasoning: An Empirical Analysis of Compute-Optimal LLM Problem-Solving [0.0]
  大規模言語モデル(LLM)の最近の進歩は、精度と推論能力の最大化に重点を置いている。 本稿では,2つの対照的なアプローチの統合を解析することにより,推論の強化と計算効率の相乗効果について検討する。
  論文  参考訳（メタデータ） (2024-12-20T08:42:45Z)
• Think Beyond Size: Adaptive Prompting for More Effective Reasoning [0.0]
  本稿では,動的かつ反復的なフレームワークであるAdaptive Promptingを紹介する。 その結果、Adaptive Promptingは、算術的推論(GSM8K、MultiArithm)、論理的推論、コモンセンスタスクなど、様々な推論ベンチマークのパフォーマンスを著しく向上させることを示した。 提案手法は,計算効率を維持しつつ,GPT-4などの大規模モデルと競合する性能を実現する。
  論文  参考訳（メタデータ） (2024-10-10T17:14:36Z)
• Resprompt: Residual Connection Prompting Advances Multi-Step Reasoning in Large Language Models [73.4425450752596]
  チェーン・オブ・シント(CoT)のプロンプトによって、大きな言語モデル(LLM)の推論の可能性は著しく解放された。 しかし、標準的なCoTは複数の推論ステップを必要とする問題では効果が低い。 LLMにおける多段階推論を推し進める新しいプロンプト戦略であるRESPROMPTを提案する。
  論文  参考訳（メタデータ） (2023-10-07T08:56:28Z)
• SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
  本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。 我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。 我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-16T17:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。