論文の概要: Towards an Automatic Optimisation Model Generator Assisted with
Generative Pre-trained Transformer
- arxiv url: http://arxiv.org/abs/2305.05811v1
- Date: Tue, 9 May 2023 23:51:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-11 14:54:31.899048
- Title: Towards an Automatic Optimisation Model Generator Assisted with
Generative Pre-trained Transformer
- Title（参考訳）: 生成予習変圧器を用いた最適化モデル自動生成装置の開発
- Authors: Boris Almonacid
- Abstract要約: 本稿では,事前学習した生成変換器を用いて最適化モデルを生成するフレームワークを提案する。
このフレームワークは、最適化モデルが持つべき機能を定義し、言語モデルを使用してモデルの初期バージョンを生成する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This article presents a framework for generating optimisation models using a
pre-trained generative transformer. The framework involves specifying the
features that the optimisation model should have and using a language model to
generate an initial version of the model. The model is then tested and
validated, and if it contains build errors, an automatic edition process is
triggered. An experiment was performed using MiniZinc as the target language
and two GPT-3.5 language models for generation and debugging. The results show
that the use of language models for the generation of optimisation models is
feasible, with some models satisfying the requested specifications, while
others require further refinement. The study provides promising evidence for
the use of language models in the modelling of optimisation problems and
suggests avenues for future research.
- Abstract（参考訳）: 本稿では,事前学習した生成変換器を用いて最適化モデルを生成するフレームワークを提案する。
このフレームワークは、最適化モデルが持つべき機能を定義し、言語モデルを使用してモデルの初期バージョンを生成する。
モデルがテストされ、検証され、ビルドエラーが発生した場合、自動エディションプロセスが起動される。
ターゲット言語としてMiniZincと生成とデバッグのための2つのGPT-3.5言語モデルを用いて実験を行った。
その結果、最適化モデルを生成するための言語モデルの使用は実現可能であり、要求された仕様を満たすモデルもあれば、さらなる改良を必要とするモデルもある。
この研究は、最適化問題のモデリングにおける言語モデルの使用の有望な証拠を提供し、将来の研究への道筋を示唆している。
関連論文リスト
- ML-SUPERB 2.0: Benchmarking Multilingual Speech Models Across Modeling Constraints, Languages, and Datasets [106.7760874400261]
本稿では、事前訓練されたSSLと教師付き音声モデルを評価するための新しいベンチマークであるML-SUPERB2.0を提案する。
ML-SUPERBのセットアップよりも性能が向上するが、性能は下流モデル設計に依存している。
また、言語とデータセットのパフォーマンスに大きな違いがあることから、よりターゲットを絞ったアプローチの必要性も示唆されている。
論文 参考訳（メタデータ） (2024-06-12T21:01:26Z) - Repurposing Language Models into Embedding Models: Finding the Compute-Optimal Recipe [10.34105218186634]
本稿では,テキスト埋め込みモデルに対して,計算-最適方式で対照的に学習する方法について検討する。
我々の革新は、異なる計算予算レベルでのテキスト埋め込みモデルのモデルサイズ、データ量、微調整方法の最適構成を生成するアルゴリズムである。
論文 参考訳（メタデータ） (2024-06-06T15:22:33Z) - Generative Pre-training for Speech with Flow Matching [81.59952572752248]
我々は,フローマッチングとマスク条件を併用した60k時間の無転写音声に対して,SpeechFlowという生成モデルを事前学習した。
実験結果から,事前学習した生成モデルをタスク固有のデータで微調整し,音声強調,分離,合成に関する既存の専門家モデルに適合または超えることを示す。
論文 参考訳（メタデータ） (2023-10-25T03:40:50Z) - Artificial Interrogation for Attributing Language Models [0.0]
この課題は、人気言語モデルの12のオープンソースベースバージョンと、テキスト生成のための12の微調整言語モデルを提供する。
コンテストの目標は、どのモデルがどのベースモデルに由来するかを特定することである。
両集合のモデルから生成された応答の類似性を測定するために4つの異なるアプローチを採用した。
論文 参考訳（メタデータ） (2022-11-20T05:46:29Z) - Investigating Ensemble Methods for Model Robustness Improvement of Text
Classifiers [66.36045164286854]
既存のバイアス機能を分析し、すべてのケースに最適なモデルが存在しないことを実証します。
適切なバイアスモデルを選択することで、より洗練されたモデル設計でベースラインよりもロバスト性が得られる。
論文 参考訳（メタデータ） (2022-10-28T17:52:10Z) - Composing Ensembles of Pre-trained Models via Iterative Consensus [95.10641301155232]
本稿では,異なる事前学習モデルのアンサンブルを構成するための統一的なフレームワークを提案する。
事前学習したモデルを「ジェネレータ」あるいは「スコーラ」として使用し、クローズドループ反復コンセンサス最適化により構成する。
スコアラーのアンサンブルによって達成されたコンセンサスは、シングルスコアラーのフィードバックよりも優れていることを示す。
論文 参考訳（メタデータ） (2022-10-20T18:46:31Z) - N-Grammer: Augmenting Transformers with latent n-grams [35.39961549040385]
本稿では,テキストシーケンスの離散潜在表現から構築したn-gramでモデルを拡張することにより,統計言語モデリングの文献に触発されたトランスフォーマーアーキテクチャの簡易かつ効果的な変更を提案する。
我々は、C4データセットの言語モデリングにおけるN-GrammerモデルとSuperGLUEデータセットのテキスト分類を評価し、TransformerやPrimerといった強力なベースラインよりも優れていることを発見した。
論文 参考訳（メタデータ） (2022-07-13T17:18:02Z) - DIRECTOR: Generator-Classifiers For Supervised Language Modeling [27.86870968048833]
現在の言語モデルは難易度は低いが、結果として生じる世代は依然として有毒な反応、反復性、矛盾に悩まされている。
我々は,各出力トークンに対して,言語モデリングと分類ヘッドを併用した統一型ジェネレータからなる新しいアーキテクチャであるc Directorを導入する。
論文 参考訳（メタデータ） (2022-06-15T17:44:08Z) - A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。
本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。
提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
論文 参考訳（メタデータ） (2022-04-11T18:31:53Z) - Model Selection for Cross-Lingual Transfer [15.197350103781739]
本稿では,モデル選択のための機械学習手法を提案する。
大規模な実験では、この手法は205言語にわたる英語の検証データよりも優れたモデルを選択する。
論文 参考訳（メタデータ） (2020-10-13T02:36:48Z) - Exploring Versatile Generative Language Model Via Parameter-Efficient
Transfer Learning [70.81910984985683]
本稿では,1つの大規模事前学習モデルを用いて,複数のダウンストリーム生成タスクを同時に微調整する効果的な方法を提案する。
5つの多様な言語生成タスクの実験は、各タスクに2-3%のパラメータを追加するだけで、モデル全体の微調整性能を維持または改善できることを示している。
論文 参考訳（メタデータ） (2020-04-08T06:18:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。