論文の概要: Improving Unsupervised Visual Program Inference with Code Rewriting Families

• arxiv url: http://arxiv.org/abs/2309.14972v1
• Date: Tue, 26 Sep 2023 14:44:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-27 13:22:47.016188
• Title: Improving Unsupervised Visual Program Inference with Code Rewriting Families
• Title（参考訳）: コード書き換えファミリによる教師なしビジュアルプログラム推論の改善
• Authors: Aditya Ganeshan, R. Kenny Jones and Daniel Ritchie
• Abstract要約: 視覚データからプログラムを推論するシステムを改善するために,コード書き換えがいかに役立つかを示す。 教師なしブートストラップ学習のためのフレームワークであるSparse Intermittent Rewrite Injection (SIRI)を提案する。 我々は、パラメータ最適化、コードプルーニング、コードグラフトといった、ビジュアルプログラミング領域のための書き換え器のファミリーを設計する。
• 参考スコア（独自算出の注目度）: 21.515789221802493
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Programs offer compactness and structure that makes them an attractive representation for visual data. We explore how code rewriting can be used to improve systems for inferring programs from visual data. We first propose Sparse Intermittent Rewrite Injection (SIRI), a framework for unsupervised bootstrapped learning. SIRI sparsely applies code rewrite operations over a dataset of training programs, injecting the improved programs back into the training set. We design a family of rewriters for visual programming domains: parameter optimization, code pruning, and code grafting. For three shape programming languages in 2D and 3D, we show that using SIRI with our family of rewriters improves performance: better reconstructions and faster convergence rates, compared with bootstrapped learning methods that do not use rewriters or use them naively. Finally, we demonstrate that our family of rewriters can be effectively used at test time to improve the output of SIRI predictions. For 2D and 3D CSG, we outperform or match the reconstruction performance of recent domain-specific neural architectures, while producing more parsimonious programs that use significantly fewer primitives.
• Abstract（参考訳）: プログラムは、視覚データに魅力的な表現を与えるコンパクトさと構造を提供する。 視覚データからプログラムを推論するシステムを改善するために、コード書き換えがどのように利用できるかを検討する。 まず,教師なしブートストラップ学習のためのフレームワークであるSparse Intermittent Rewrite Injection (SIRI)を提案する。 SIRIはトレーニングプログラムのデータセットにコード書き直し操作をわずかに適用し、改善されたプログラムをトレーニングセットに注入する。 我々は、パラメータ最適化、コードプルーニング、コードグラフトといった視覚的プログラミング領域のための書き換え器群を設計する。 2dと3dの3つのシェーププログラミング言語では、リライト器のファミリーでsiriを使用することでパフォーマンスが向上していることが示されています。 最後に,siri予測の出力を改善するために,テスト時に書き直し器のファミリーを効果的に活用できることを実証する。 2Dおよび3D CSGでは、最近のドメイン特化ニューラルアーキテクチャの再構成性能より優れており、プリミティブを著しく少なくした同種のプログラムを生成する。

関連論文リスト

• CodeIt: Self-Improving Language Models with Prioritized Hindsight Replay [12.499776923362461]
  コードイット(Code It)と呼ばれる,言語モデルによる自己改善のための新しい,スケーラブルな手法を提案する。 Code It repeaterates between 1) program sample and hindsight relabeling, and 2) learn from Priord Experience replay。 CodeItをARCデータセットに適用することにより、事前トレーニングとデータ拡張とともに、優先順位付けされた後視リプレイがタスク間の一般化を成功させることを示す。
  論文  参考訳（メタデータ） (2024-02-07T13:55:27Z)
• ReGAL: Refactoring Programs to Discover Generalizable Abstractions [59.05769810380928]
  Generalizable Abstraction Learning (ReGAL)は、再利用可能な関数のライブラリをコード化して学習する手法である。 ReGALによって発見された共有関数ライブラリは、プログラムが様々な領域で容易に予測できることを示している。 CodeLlama-13Bでは、ReGALはLOGOで11.5%、日付理解で26.1%、TextCraftで8.1%という絶対精度が向上し、3つのドメインのうち2つでGPT-3.5を上回った。
  論文  参考訳（メタデータ） (2024-01-29T18:45:30Z)
• Continual Referring Expression Comprehension via Dual Modular Memorization [133.46886428655426]
  Referring Expression (REC) は、自然言語で記述された対象のイメージ領域をローカライズすることを目的としている。 既存のRECアルゴリズムは、モデルへのデータ供給のトレーニングを前もって行うと強く仮定する。 本稿では、入ってくるタスクのストリーム上でモデルが学習するRECの新しい設定である連続参照表現(CREC)を提案する。 学習済みの知識を忘れずに,スクラッチから繰り返し再学習することなく,逐次的タスクのモデルを継続的に改善するために,デュアルモジュール記憶法という効果的なベースライン手法を提案する。
  論文  参考訳（メタデータ） (2023-11-25T02:58:51Z)
• Self-Taught Optimizer (STOP): Recursively Self-Improving Code Generation [23.31928097405939]
  言語モデルに融合した足場プログラムを用いて自己改善を行う。 言語モデルにより、様々な自己改善戦略が提案されている。 これは、近代的な言語モデルであるGPT-4が、自分自身を改善のために呼び出すことができるコードを書くことができることを実証している。
  論文  参考訳（メタデータ） (2023-10-03T17:59:32Z)
• Retrieval-Enhanced Contrastive Vision-Text Models [61.783728119255365]
  そこで本研究では,メモリから取得したクロスモーダルな情報を推論時に表現することで,その埋め込みを洗練できる視覚テキストモデルを提案する。 注目すべきことに、これは凍ったCLIPの上に軽量の単層核融合トランスを用いて行うことができる。 検索強化コントラスト訓練(RECO)がCLIPの性能を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-06-12T15:52:02Z)
• PERFOGRAPH: A Numerical Aware Program Graph Representation for Performance Optimization and Program Analysis [12.778336318809092]
  最新の機械学習メソッドを採用する上で重要な課題は、プログラミング言語の表現である。 本稿では,現在のプログラム表現の限界と課題を克服するため,PERFOGRAPHと呼ばれるグラフベースのプログラム表現を提案する。 PerFOGRAPHは、新しいノードとエッジを導入することで、数値情報と集約データ構造をキャプチャできる。
  論文  参考訳（メタデータ） (2023-05-31T21:59:50Z)
• The Wisdom of Hindsight Makes Language Models Better Instruction Followers [84.9120606803906]
  強化学習は、人間のフィードバックによる指示に合うように、大きな言語モデルを微調整することに成功している。 そこで本稿では,本論文で提案するアプローチとして,原文を緩和することでフィードバックを指導に変換する手法と,教師付き手法によるアライメント向上のためのモデルをトレーニングする手法を提案する。 言語モデルと命令を整合させる新しいアルゴリズムであるHIR(Hindsight Instruction Relabeling)を提案する。
  論文  参考訳（メタデータ） (2023-02-10T12:16:38Z)
• SiRi: A Simple Selective Retraining Mechanism for Transformer-based Visual Grounding [131.0977050185209]
  Selective Retraining (SiRi)は3つの人気のあるベンチマークにおいて、従来のアプローチよりも大幅に優れている。 SiRiは、限られたトレーニングデータでも驚くほど優れている。 また,その妥当性を検証するために,トランスフォーマーベース視覚接地モデルや他の視覚言語タスクにも拡張する。
  論文  参考訳（メタデータ） (2022-07-27T07:01:01Z)
• Circa: Stochastic ReLUs for Private Deep Learning [6.538025863698682]
  我々はReLU計算を再考し、ニューラルネットワークに適したPIの最適化を提案する。 具体的には,ReLUを近似手形テストとして再構成し,手形テストのための新しい切り抜き手法を導入する。 最大4.7倍のストレージと3倍のランタイムをベースライン実装で実現した。
  論文  参考訳（メタデータ） (2021-06-15T22:52:45Z)
• Learning to learn generative programs with Memoised Wake-Sleep [52.439550543743536]
  本研究では,ニューラルネットワークをシンボル型データ生成プログラムの前提として,推論と先行の両方に使用するニューロシンボリック生成モデルのクラスについて検討する。 そこで本研究では,Wake Sleepを拡張したMemoised Wake-Sleep(MWS)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-06T23:51:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。