論文の概要: FRIDA to the Rescue! Analyzing Synthetic Data Effectiveness in Object-Based Common Sense Reasoning for Disaster Response

• arxiv url: http://arxiv.org/abs/2502.18452v1
• Date: Tue, 25 Feb 2025 18:51:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:23:17.509691
• Title: FRIDA to the Rescue! Analyzing Synthetic Data Effectiveness in Object-Based Common Sense Reasoning for Disaster Response
• Title（参考訳）: FRIDA to the Rescue! 災害対応のためのオブジェクトベースコモンセンス推論における合成データの有効性の分析
• Authors: Mollie Shichman, Claire Bonial, Austin Blodgett, Taylor Hudson, Francis Ferraro, Rachel Rudinger,
• Abstract要約: Field Ready Instruction Decoding Agent (FRIDA)モデルを作成するパイプラインを導入する。 我々は、LLaMaとMistralの命令調整モデルをいくつか微調整し、FRIDAモデルがベースモデルよりも様々なサイズで優れていることを発見した。 我々は、FRIDAパイプラインは一般的な常識を具現化することができるが、特定のドメイン知識のための情報検索によって拡張する必要があると結論付けた。
• 参考スコア（独自算出の注目度）: 19.744969357182665
• License:
• Abstract: Large Language Models (LLMs) have the potential for substantial common sense reasoning. However, these capabilities are often emergent in larger models. This means smaller models that can be run locally are less helpful and capable with respect to certain reasoning tasks. To meet our problem space requirements, we fine-tune smaller LLMs to disaster domains, as these domains involve complex and low-frequency physical common sense knowledge. We introduce a pipeline to create Field Ready Instruction Decoding Agent (FRIDA) models, where domain experts and linguists combine their knowledge to make high-quality seed data that is used to generate synthetic data for fine-tuning. We create a set of 130 seed instructions for synthetic generation, a synthetic dataset of 25000 instructions, and 119 evaluation instructions relating to both general and earthquake-specific object affordances. We fine-tune several LLaMa and Mistral instruction-tuned models and find that FRIDA models outperform their base models at a variety of sizes. We then run an ablation study to understand which kinds of synthetic data most affect performance and find that training physical state and object function common sense knowledge alone improves over FRIDA models trained on all data. We conclude that the FRIDA pipeline is capable of instilling general common sense, but needs to be augmented with information retrieval for specific domain knowledge.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、かなりの共通感覚推論の可能性を秘めている。 しかし、これらの能力はより大きなモデルでしばしば出現する。 これは、ローカルで実行できる小さなモデルは、特定の推論タスクに関してあまり役に立たないことを意味している。 問題領域の要件を満たすため、これらの領域は複雑で低周波の物理コモンセンス知識を含むため、より小さなLSMを災害領域に微調整する。 本研究では、FRIDA(Field Ready Instruction Decoding Agent)モデルを作成するパイプラインを導入し、ドメインの専門家と言語学者が知識を組み合わせて高品質なシードデータを作成し、微調整のための合成データを生成する。 合成生成のための130個のシード命令セット,25,000個の命令の合成データセット,および一般および地震固有の対象価格に関する119個の評価命令を作成する。 我々は、LLaMaとMistralの命令調整モデルをいくつか微調整し、FRIDAモデルがベースモデルよりも様々なサイズで優れていることを発見した。 次に、どの種類の合成データがパフォーマンスに最も影響を与えるかを理解するためのアブレーション研究を行い、すべてのデータに基づいてトレーニングされたFRIDAモデルよりも、トレーニングの物理的状態とオブジェクト関数の共通感覚知識だけで改善できることを見出した。 我々は、FRIDAパイプラインは一般的な常識を具現化することができるが、特定のドメイン知識のための情報検索によって拡張する必要があると結論付けた。

関連論文リスト

• Evaluating Language Models as Synthetic Data Generators [74.80905172696366]
  AgoraBenchは、LMのデータ生成能力を評価するための標準化された設定とメトリクスを提供するベンチマークである。 6つのLMを使って126万のトレーニングインスタンスを合成し、99の学生モデルをトレーニングすることで、LMのデータ生成能力に関する重要な洞察を明らかにする。
  論文  参考訳（メタデータ） (2024-12-04T19:20:32Z)
• AutoElicit: Using Large Language Models for Expert Prior Elicitation in Predictive Modelling [53.54623137152208]
  我々はAutoElicitを導入し、大規模言語モデルから知識を抽出し、予測モデルのための事前構築を行う。 これらの先行情報は情報的であり、自然言語を用いて洗練できることを示す。 AutoElicitは、非形式的な事前よりもエラーを大幅に減らし、ラベルを減らし、コンテクスト内学習を一貫して上回ります。
  論文  参考訳（メタデータ） (2024-11-26T10:13:39Z)
• Understanding Synthetic Context Extension via Retrieval Heads [51.8869530817334]
  本稿では,検索と推論を必要とする3つの長文タスクに対する合成データの微調整について検討する。 合成データに基づいてトレーニングされたモデルは、実際のデータには及ばないが、驚くべきことに、ミスマッチを解釈できる。 我々の結果は、合成データの微調整性能の解釈方法と、長期にわたる実世界の能力学習のためのより良いデータ作成方法に光を当てた。
  論文  参考訳（メタデータ） (2024-10-29T17:55:00Z)
• CoDi: Conversational Distillation for Grounded Question Answering [10.265241619616676]
  我々はCoDiという新しいデータ蒸留フレームワークを導入する。 CoDiを使えば、大規模でアシスタントスタイルのデータセットを、さまざまな方法で合成することができます。 我々は,CoDi合成データを用いてトレーニングしたSLMが,標準的な測定値において,人間の注釈付きデータに基づいてトレーニングしたモデルに匹敵する性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-08-20T22:35:47Z)
• Elements of World Knowledge (EWOK): A cognition-inspired framework for evaluating basic world knowledge in language models [42.48862540545121]
  本稿では,言語モデルにおける世界モデリングを評価するためのフレームワークであるElements of World Knowledge(EWOK)について述べる。 EWOKは、人間の世界モデリングに不可欠な複数の知識領域から特定の概念をターゲットにしている。 次に,世界11の知識領域をカバーする4,374項目のデータセットであるEWOK-CORE-1.0を紹介する。
  論文  参考訳（メタデータ） (2024-05-15T17:19:42Z)
• Can LLMs Separate Instructions From Data? And What Do We Even Mean By That? [60.50127555651554]
  大規模言語モデル(LLM)は、多くの実用的なアプリケーションにおいて印象的な結果を示すが、基本的な安全性機能は欠如している。 これにより、間接的なプロンプトインジェクションのような操作に脆弱になり、一般に安全クリティカルなタスクには適さない。 モデル出力から計算可能な命令データ分離の形式的尺度と経験的変量を導入する。
  論文  参考訳（メタデータ） (2024-03-11T15:48:56Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Evaluation of Categorical Generative Models -- Bridging the Gap Between Real and Synthetic Data [18.142397311464343]
  生成モデルに対する適切な拡張性の評価手法を提案する。 我々は、より困難なモデリングタスクに対応する、ますます大きな確率空間を考える。 我々は, 合成生成モデルと最先端のカテゴリー生成モデルの両方について, 合成実験により評価方法を検証する。
  論文  参考訳（メタデータ） (2022-10-28T21:05:25Z)
• Transformer-Based Behavioral Representation Learning Enables Transfer Learning for Mobile Sensing in Small Datasets [4.276883061502341]
  時系列から一般化可能な特徴表現を学習できるモバイルセンシングデータのためのニューラルネットワークフレームワークを提供する。 このアーキテクチャは、CNNとTrans-formerアーキテクチャの利点を組み合わせて、より良い予測性能を実現する。
  論文  参考訳（メタデータ） (2021-07-09T22:26:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。