論文の概要: Structured Object Language Modeling (SoLM): Native Structured Objects Generation Conforming to Complex Schemas with Self-Supervised Denoising

• arxiv url: http://arxiv.org/abs/2411.19301v1
• Date: Thu, 28 Nov 2024 18:16:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:22:45.466917
• Title: Structured Object Language Modeling (SoLM): Native Structured Objects Generation Conforming to Complex Schemas with Self-Supervised Denoising
• Title（参考訳）: 構造化オブジェクト言語モデリング(SoLM) - 自己監督型Denoisingを伴う複雑なスキーマに適合するネイティブ構造化オブジェクトの生成
• Authors: Amir Tavanaei, Kee Kiat Koo, Hayreddin Ceker, Shaobai Jiang, Qi Li, Julien Han, Karim Bouyarmane,
• Abstract要約: 私たちは、言語モデリング問題(構造化オブジェクト言語モデリング)として問題を枠組み化します。 本稿では,そのようなオブジェクトの既存のデータセットからモデルを学習するための自己教師付きデノベーション手法を提案する。 実験結果から,提案手法は即時駆動型汎用LCMと一致し,性能が良くなることがわかった。
• 参考スコア（独自算出の注目度）: 7.59750288224997
• License:
• Abstract: In this paper, we study the problem of generating structured objects that conform to a complex schema, with intricate dependencies between the different components (facets) of the object. The facets of the object (attributes, fields, columns, properties) can be a mix of short, structured, type-constrained facts, or long natural-language descriptions. The object has to be self-consistent between the different facets in the redundant information it carries (relative consistency), while being grounded with respect to world knowledge (absolute consistency). We frame the problem as a Language Modeling problem (Structured Object Language Modeling) and train an LLM to perform the task natively, without requiring instructions or prompt-engineering. We propose a self-supervised denoising method to train the model from an existing dataset of such objects. The input query can be the existing object itself, in which case the model acts as a regenerator, completing, correcting, normalizing the input, or any unstructured blurb to be structured. We show that the self-supervised denoising training provides a strong baseline, and that additional supervised fine-tuning with small amount of human demonstrations leads to further improvement. Experimental results show that the proposed method matches or outperforms prompt-engineered general-purpose state-of-the-art LLMs (Claude 3, Mixtral-8x7B), while being order-of-magnitude more cost-efficient.
• Abstract（参考訳）: 本稿では,複雑なスキーマに適合する構造化オブジェクトを,オブジェクトの異なるコンポーネント(顔)間の複雑な依存関係で生成する問題について検討する。 オブジェクトのファセット(属性、フィールド、列、プロパティ)は、短く、構造化され、型制約のある事実または長い自然言語記述の混合である。 オブジェクトは、世界知識(絶対整合性)に関して基礎を置きながら、それを運ぶ冗長な情報(相対整合性)の異なる面の間に自己整合性を持たなければならない。 我々は、言語モデリング問題(構造化オブジェクト言語モデリング)として問題を枠組み化し、命令やプロンプトエンジニアリングを必要とせずに、LLMをネイティブにタスクを実行するように訓練する。 本稿では,そのようなオブジェクトの既存のデータセットからモデルを学習するための自己教師付きデノベーション手法を提案する。 入力クエリーは既存のオブジェクト自身であり、モデルが再生器として機能し、入力を完了し、修正し、正規化し、構造化される任意の非構造化のぼかしとなる。 自己指導型聴覚訓練は,強いベースラインを提供するとともに,少量の人間の実演による教師付き微調整により,さらなる改善がもたらされることを示す。 実験結果から,提案手法はより高コストで高効率でありながら,高速に設計した汎用LLM(Claude 3, Mixtral-8x7B)に適合するか性能が向上することが示された。

関連論文リスト

• A Model Is Not Built By A Single Prompt: LLM-Based Domain Modeling With Question Decomposition [4.123601037699469]
  現実世界のドメインモデリングでは、エンジニアは通常複雑なタスクを簡単に解けるサブタスクに分解する。 本稿では,開発者のモデリングプロセスに類似した質問分解によるLLMに基づくドメインモデリング手法を提案する。 予備的な結果から,本手法は単発プロンプトによるプロンプトよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-13T14:28:04Z)
• A Large Language Model and Denoising Diffusion Framework for Targeted Design of Microstructures with Commands in Natural Language [0.0]
  自然言語処理(NLP)、大言語モデル(LLM)、拡散確率モデル(DDPM)を統合したフレームワークを提案する。 我々のフレームワークは、事前訓練されたLLMによって駆動されるコンテキストデータ拡張を用いて、多様なマイクロ構造記述子のデータセットを生成し、拡張する。 再学習されたNERモデルは、ユーザが提供する自然言語入力から関連するマイクロ構造記述子を抽出し、DDPMによってターゲットとなる機械的特性とトポロジ的特徴を持つマイクロ構造を生成する。
  論文  参考訳（メタデータ） (2024-09-22T14:45:22Z)
• Enhancing LLM's Cognition via Structurization [41.13997892843677]
  大規模言語モデル(LLM)は因果的かつシーケンシャルな視点で入力コンテキストを処理する。 本稿では,コンテキスト構造化という新しい概念を提案する。 具体的には、平易で秩序のない文脈文を、適切に順序付けされ階層的に構造化された要素に変換する。
  論文  参考訳（メタデータ） (2024-07-23T12:33:58Z)
• LLMs for Robotic Object Disambiguation [21.101902684740796]
  本研究は,LLMが複雑な意思決定課題の解決に適していることを明らかにする。 我々の研究の重要な焦点は、LLMのオブジェクトの曖昧化能力である。 我々は,LLMのあいまいなクエリを提示する能力を改善するために,数発のプロンプトエンジニアリングシステムを開発した。
  論文  参考訳（メタデータ） (2024-01-07T04:46:23Z)
• Physics of Language Models: Part 1, Learning Hierarchical Language Structures [51.68385617116854]
  トランスフォーマーベースの言語モデルは効率的だが複雑であり、内部動作を理解することは大きな課題である。 本稿では,長文を生成可能な階層規則を生成する合成CFGのファミリーを紹介する。 我々は、GPTのような生成モデルがこのCFG言語を正確に学習し、それに基づいて文を生成することを実証する。
  論文  参考訳（メタデータ） (2023-05-23T04:28:16Z)
• Neural Constraint Satisfaction: Hierarchical Abstraction for Combinatorial Generalization in Object Rearrangement [75.9289887536165]
  基礎となるエンティティを明らかにするための階層的抽象化手法を提案する。 本研究では,エージェントのモデルにおける実体の状態の介入と,環境中の物体に作用する状態の対応関係を学習する方法を示す。 この対応を利用して、オブジェクトの異なる数や構成に一般化する制御法を開発する。
  論文  参考訳（メタデータ） (2023-03-20T18:19:36Z)
• StructDiffusion: Language-Guided Creation of Physically-Valid Structures using Unseen Objects [35.855172217856726]
  そこで我々はStructDiffusionを提案し,ステップバイステップ命令を使わずに物理的に有意な構造を構築する。 提案手法は,複数の言語条件の多段階3D計画タスクを実行できる。 シミュレーションと実世界のタスクの両方において、保持対象について実験を行う。
  論文  参考訳（メタデータ） (2022-11-08T23:04:49Z)
• Autoregressive Structured Prediction with Language Models [73.11519625765301]
  本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。 我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-10-26T13:27:26Z)
• Complex-Valued Autoencoders for Object Discovery [62.26260974933819]
  本稿では,オブジェクト中心表現に対する分散アプローチとして,複合オートエンコーダを提案する。 このシンプルで効率的なアプローチは、単純なマルチオブジェクトデータセット上の等価な実数値オートエンコーダよりも、より良い再構成性能を実現することを示す。 また、2つのデータセット上のSlotAttentionモデルと競合しないオブジェクト発見性能を実現し、SlotAttentionが失敗する第3のデータセットでオブジェクトをアンタングルする。
  論文  参考訳（メタデータ） (2022-04-05T09:25:28Z)
• Text Modular Networks: Learning to Decompose Tasks in the Language of Existing Models [61.480085460269514]
  本稿では,既存のモデルで解けるより単純なモデルに分解することで,複雑なタスクを解くための解釈可能なシステムを構築するためのフレームワークを提案する。 我々はこのフレームワークを用いて、ニューラルネットワークのファクトイド単一スパンQAモデルとシンボリック電卓で答えられるサブクエストに分解することで、マルチホップ推論問題に答えられるシステムであるModularQAを構築する。
  論文  参考訳（メタデータ） (2020-09-01T23:45:42Z)
• Look-into-Object: Self-supervised Structure Modeling for Object Recognition [71.68524003173219]
  我々は,自己スーパービジョンを取り入れた「対象」(具体的かつ内在的に対象構造をモデル化する)を提案する。 認識バックボーンは、より堅牢な表現学習のために大幅に拡張可能であることを示す。 提案手法は汎用オブジェクト認識(ImageNet)や細粒度オブジェクト認識タスク(CUB, Cars, Aircraft)など,多数のベンチマークにおいて大きなパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-03-31T12:22:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。