論文の概要: Feedback-aligned Mixed LLMs for Machine Language-Molecule Translation
- arxiv url: http://arxiv.org/abs/2405.13984v1
- Date: Wed, 22 May 2024 20:40:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-24 20:14:01.737226
- Title: Feedback-aligned Mixed LLMs for Machine Language-Molecule Translation
- Title（参考訳）: 機械語-分子翻訳のためのフィードバック整合混合LLM
- Authors: Dimitris Gkoumas, Maria Liakata,
- Abstract要約: 言語-分子自動翻訳の課題に焦点をあてる。
私たちは、クロスモーダルな設定で人間中心の最適化アルゴリズムを最初に使用しました。
使用可能なデータの10%のみを使用して実験を行い、記憶効果を緩和する。
- 参考スコア（独自算出の注目度）: 11.778576032848482
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The intersection of chemistry and Artificial Intelligence (AI) is an active area of research focused on accelerating scientific discovery. While using large language models (LLMs) with scientific modalities has shown potential, there are significant challenges to address, such as improving training efficiency and dealing with the out-of-distribution problem. Focussing on the task of automated language-molecule translation, we are the first to use state-of-the art (SOTA) human-centric optimisation algorithms in the cross-modal setting, successfully aligning cross-language-molecule modals. We empirically show that we can augment the capabilities of scientific LLMs without the need for extensive data or large models. We conduct experiments using only 10% of the available data to mitigate memorisation effects associated with training large models on extensive datasets. We achieve significant performance gains, surpassing the best benchmark model trained on extensive in-distribution data by a large margin and reach new SOTA levels. Additionally we are the first to propose employing non-linear fusion for mixing cross-modal LLMs which further boosts performance gains without increasing training costs or data needs. Finally, we introduce a fine-grained, domain-agnostic evaluation method to assess hallucination in LLMs and promote responsible use.
- Abstract（参考訳）: 化学と人工知能(AI)の交差は、科学的発見の加速に焦点を当てた研究の活発な領域である。
科学的モダリティを持つ大規模言語モデル(LLM)を使用することは、潜在的な可能性を示しているが、トレーニング効率の向上やアウト・オブ・ディストリビューション問題への対処など、対処すべき重要な課題がある。
言語-分子の自動翻訳の課題に焦点をあてて、私たちは、言語-分子間のモーダルの整合を成功させながら、クロスモーダル設定において人間中心の最適化アルゴリズムを初めて使用しました。
我々は、大規模なデータや大規模なモデルを必要としない科学的LLMの能力を増強できることを実証的に示す。
利用可能なデータの10%のみを使用して実験を行い、広範囲なデータセットで大規模モデルをトレーニングする際の記憶効果を軽減する。
我々は、大規模な流通データに基づいて訓練された最高のベンチマークモデルよりも大きな利益を得、新たなSOTAレベルに達することを目標に、大幅な性能向上を実現している。
また、我々は、トレーニングコストやデータニーズを増大させることなく、さらなる性能向上を図るため、クロスモーダルLLMを混合する非線形核融合を初めて提案する。
最後に, LLMにおける幻覚の評価と, 責任ある使用を促進するための, きめ細かいドメインに依存しない評価手法を提案する。
関連論文リスト
- Refining Sentence Embedding Model through Ranking Sentences Generation with Large Language Models [60.00178316095646]
多くのNLPタスクには文の埋め込みが不可欠であり、NLIのようなデータセットを使用して強いパフォーマンスを達成する対照的な学習方法がある。
近年の研究では、大きな言語モデル(LLM)を利用して文ペアを生成し、アノテーション依存を減らしている。
本稿では,潜在空間におけるLLMの生成方向を制御する手法を提案する。
複数のベンチマークによる実験により,本手法は文合成に要するコストを最小限に抑えつつ,新たなSOTA性能を実現することを示した。
論文 参考訳（メタデータ） (2025-02-19T12:07:53Z) - LoRE-Merging: Exploring Low-Rank Estimation For Large Language Model Merging [10.33844295243509]
基本モデルであるtextscLoRE-Merging へのアクセスを必要とせず,タスクベクトルの低ランク推定に基づくモデルマージのための統一フレームワークを提案する。
我々のアプローチは、細調整されたモデルからのタスクベクトルは、しばしば支配的な特異値の限られた数しか示さず、低ランク推定が干渉しにくくなるという観察に動機づけられている。
論文 参考訳（メタデータ） (2025-02-15T10:18:46Z) - Benchmarking Transcriptomics Foundation Models for Perturbation Analysis : one PCA still rules them all [1.507700065820919]
転写学的シークエンシングの最近の進歩は、価値ある洞察を明らかにする新しい機会を提供する。
摂動解析におけるこれらの上昇モデルの有効性をしっかり評価するためのベンチマークは行われていない。
本稿では,生物学的に動機づけた新しい評価フレームワークと摂動解析タスクの階層について述べる。
論文 参考訳（メタデータ） (2024-10-17T18:27:51Z) - SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。
SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。
画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
論文 参考訳（メタデータ） (2024-08-19T17:32:15Z) - Crossing New Frontiers: Knowledge-Augmented Large Language Model Prompting for Zero-Shot Text-Based De Novo Molecule Design [0.0]
本研究は,ゼロショットテキスト条件デノボ分子生成タスクにおいて,大規模言語モデル(LLM)の知識増進プロンプトの利用について検討する。
本フレームワークは,ベンチマークデータセット上でのSOTA(State-of-the-art)ベースラインモデルの有効性を実証する。
論文 参考訳（メタデータ） (2024-08-18T11:37:19Z) - Benchmarks as Microscopes: A Call for Model Metrology [76.64402390208576]
現代の言語モデル(LM)は、能力評価において新たな課題を提起する。
メトリクスに自信を持つためには、モデルミアロジの新たな規律が必要です。
論文 参考訳（メタデータ） (2024-07-22T17:52:12Z) - ALMol: Aligned Language-Molecule Translation LLMs through Offline Preference Contrastive Optimisation [2.296475290901356]
機械語-分子翻訳に焦点をあて、コントラスト優先最適化と呼ばれる新しい訓練手法を展開する。
その結果,我々のモデルでは,他のモデルと比較して最大32%の改善が達成された。
論文 参考訳（メタデータ） (2024-05-14T13:59:24Z) - Effective internal language model training and fusion for factorized transducer model [26.371223360905557]
ニューラルトランスデューサの内部言語モデル(ILM)は広く研究されている。
因子化トランスデューサモデルのための新しいILMトレーニングと復号化戦略を提案する。
論文 参考訳（メタデータ） (2024-04-02T08:01:05Z) - Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。
このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
論文 参考訳（メタデータ） (2024-02-16T13:53:26Z) - QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。
QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。
例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文 参考訳（メタデータ） (2023-11-06T00:21:44Z) - Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。
我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
論文 参考訳（メタデータ） (2023-03-13T16:00:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。