論文の概要: Interactive Program Induction with Language Model Priors
- arxiv url: http://arxiv.org/abs/2611.18485v1
- Date: Fri, 13 Nov 2026 17:59:55 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:21:37.262595
- Title: Interactive Program Induction with Language Model Priors
- Title(参考訳): 言語モデルによる対話型プログラム誘導
- Abstract要約: 我々は,入力出力の例からプログラムを復元するグリージーなクエリ選択アルゴリズムを導出する。
このアルゴリズムは、最大10.5個の入力出力サンプルを観察しながら、LMのみのエージェントの精度を最大22パーセント向上する。
- 参考スコア(独自算出の注目度): 52.710726359379265
- License:
- Abstract: Program induction refers to the process in which a learner aims to recover a program from a few given input-output examples. This paradigm broadens programming access by letting users demonstrate the rule-based behavior they want to apply to unseen data, instead of having to implement it themselves. However, recovering a program from finite input-output examples is fundamentally ambiguous, as a finite set of input-output examples is theoretically consistent with infinitely many programs whose output diverges on unseen inputs. We view this problem from a Bayesian perspective, where, given a prior $p^0$ over programs, identifying the target program means concentrating posterior probability mass on it by observing additional input-output examples. In the interactive program induction setting, the learner chooses maximally informative inputs and queries an oracle, such as the user, for their outputs. We derive a greedy query-selection algorithm and show that it terminates after $\mathcal{O}(\frac{1}γ\log 1/p^0(f^\star))$ informative oracle queries, and returns the target program $f^\star$ up to approximate equivalence when no other class outweighs it under the prior. The algorithm uses a language model as the prior under a PAC-style relaxation of program equivalence, where the query-selection objective is estimated using importance sampling. On the CodeARC benchmark, the algorithm improves accuracy over the LM only agent by up to 22 percentage points while observing up to 10.5 fewer input-output examples.
- Abstract(参考訳): プログラムインジェクション(英: Program induction)とは、学習者が与えられたいくつかの入力出力例からプログラムを復元することを目的としたプロセスである。
このパラダイムは、ユーザが未確認データに適用したいルールベースの振る舞いを、それ自身で実装する代わりに示すことによって、プログラミングアクセスを拡大する。
しかし、有限入力出力例からプログラムを復元することは基本的には曖昧であり、有限入力出力例の集合は理論上、目に見えない入力に対して出力が分岐する無限個のプログラムと一致する。
我々はこの問題をベイズ的視点から見れば、事前の$p^0$のプログラムが与えられた場合、ターゲットプログラムを特定することは、追加の入力出力例を観察することによって、後続確率質量を集中させることを意味する。
対話型プログラム誘導設定では、学習者は最大情報入力を選択し、その出力に対してユーザなどのオラクルをクエリする。
我々は、greedyクエリ選択アルゴリズムを導出し、$\mathcal{O}(\frac{1}γ\log 1/p^0(f^\star))$インフォメーションなオラクルクエリの後に終了することを示し、他のクラスがそれより優れている場合、ターゲットプログラム$f^\star$を近似同値に返します。
このアルゴリズムはPACスタイルのプログラム等価性の緩和の下で,クエリ選択の目的を重要サンプリングを用いて推定する。
CodeARCベンチマークでは、最大10.5個の入力出力サンプルを観察しながら、LMエージェントの精度を最大22ポイント向上する。
関連論文リスト
- Learning How Hard to Think: Input-Adaptive Allocation of LM Computation [41.40870191201561]
計算集約的な復号処理は、コード生成、数値推論、ダイアログにまたがる問題において、言語モデル(LM)出力の品質を向上させることができる。
精度の高い計算割当手順を学習でき、応答品質を犠牲にすることなく最大50%の計算を減らしたり、固定された計算予算で最大10%品質を向上できることを示す。
論文 参考訳(メタデータ) (2024-10-07T02:52:30Z) - Learning from Self-Sampled Correct and Partially-Correct Programs [96.66452896657991]
そこで本研究では,モデルが学習中にサンプリングを行い,自己サンプリングされた完全正当プログラムと部分正当プログラムの両方から学習することを提案する。
自己サンプリング型プログラムと部分修正型プログラムを併用することで,学習とサンプリングプロセスのガイドに役立てることができることを示す。
提案手法は,MLEを用いた単一の参照プログラムからの学習と比較して,パス@kの性能を3.1%から12.3%向上させる。
論文 参考訳(メタデータ) (2022-05-28T03:31:07Z) - Non-Programmers Can Label Programs Indirectly via Active Examples: A
Case Study with Text-to-SQL [61.950839050383514]
APELは、非プログラマがシードセマンティクス(例えば、Codex)によって生成される候補プログラムの中から選択するフレームワークである。
各発話に対してAPELは、候補プログラムが異なる出力を生成する傾向がある単純な入力を積極的に検索する。
非プログラマに対して適切な出力を選択することのみを要求し、どのプログラムが正しいかを推測できるようにします。
論文 参考訳(メタデータ) (2022-05-25T00:35:12Z) - Enforcing Consistency in Weakly Supervised Semantic Parsing [68.2211621631765]
本稿では,関連する入力に対する出力プログラム間の整合性を利用して,スプリアスプログラムの影響を低減することを提案する。
より一貫性のあるフォーマリズムは、一貫性に基づくトレーニングを必要とせずに、モデルパフォーマンスを改善することにつながります。
論文 参考訳(メタデータ) (2021-07-13T03:48:04Z) - Latent Programmer: Discrete Latent Codes for Program Synthesis [56.37993487589351]
プログラム合成や文書要約などの多くのシーケンス学習タスクにおいて、重要な問題は出力シーケンスの広い空間を探索することである。
本稿では,検索対象とする出力の表現を学習することを提案する。
本稿では,まず入力/出力サンプルから離散潜在コードを予測するプログラム合成手法であるemphLatent Programmerを紹介し,そのプログラムを対象言語で生成する。
論文 参考訳(メタデータ) (2020-12-01T10:11:35Z) - Information-theoretic User Interaction: Significant Inputs for Program
Synthesis [11.473616777800318]
重要質問問題を導入し、一般には困難であることを示す。
我々はその問題を解決するための情報理論の欲求的アプローチを開発する。
対話型プログラム合成の文脈では、上記の結果を用いてプログラム学習者を開発する。
私たちのアクティブな学習者は、偽陰性と偽陽性をトレードオフし、現実のデータセット上で少数の反復に収束することができます。
論文 参考訳(メタデータ) (2020-06-22T21:46:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。