論文の概要: Generalizing Large Language Model Usability Across Resource-Constrained

• arxiv url: http://arxiv.org/abs/2505.17040v1
• Date: Tue, 13 May 2025 01:00:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-01 23:16:01.384658
• Title: Generalizing Large Language Model Usability Across Resource-Constrained
• Title（参考訳）: 資源制約を越えた大規模言語モデルのユーザビリティの一般化
• Authors: Yun-Da Tsai,
• Abstract要約: 論文は、現実世界の制約下での大規模言語モデルを一般化するための体系的な研究である。 まず、LLMが多様なモダリティをシームレスに統合することを可能にする、堅牢なテキスト中心アライメントフレームワークを導入する。 マルチモーダル設定以外にも、この論文はLLMの推論時間最適化戦略を研究している。
• 参考スコア（独自算出の注目度）: 0.43512163406552007
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have achieved remarkable success across a wide range of natural language tasks, and recent efforts have sought to extend their capabilities to multimodal domains and resource-constrained environments. However, existing approaches often rely on costly supervised fine-tuning or assume fixed training conditions, limiting their generalization when facing unseen modalities, limited data, or restricted compute resources. This dissertation presents a systematic study toward generalizing LLM usability under real-world constraints. First, it introduces a robust text-centric alignment framework that enables LLMs to seamlessly integrate diverse modalities-including text, images, tables, and any modalities - via natural language interfaces. This approach supports in-context adaptation to unseen or dynamically changing modalities without requiring retraining. To enhance robustness against noisy and missing modalities, an adversarial prompting technique is proposed, generating semantically challenging perturbations at the prompt level to stress-test model reliability. Beyond multimodal setting, the dissertation investigates inference-time optimization strategies for LLMs, leveraging prompt search and uncertainty quantification to improve performance without additional model training. This perspective offers an efficient alternative to scaling model parameters or retraining from scratch. Additionally, the work addresses low-resource domains such as Verilog code generation by designing correct-by-construction synthetic data pipelines and logic-enhanced reasoning models, achieving state-of-the-art performance with minimal data. Together, these contributions form a unified effort to enhance the adaptability, scalability, and efficiency of large language models under practical constraints.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、幅広い自然言語タスクにおいて顕著な成功を収めており、近年の取り組みは、その能力をマルチモーダルドメインやリソース制約のある環境にまで拡張しようと試みている。 しかし、既存のアプローチは、しばしばコストのかかる微調整や固定された訓練条件の仮定に頼り、目に見えないモダリティや限られたデータ、制限された計算資源に直面した際の一般化を制限する。 この論文は、現実の制約の下でLLMのユーザビリティを一般化するための体系的研究である。 まず、堅牢なテキスト中心アライメントフレームワークを導入することで、LLMは、自然言語インターフェースを介して、テキスト、画像、テーブル、および任意のモダリティを含む、さまざまなモダリティをシームレスに統合することができる。 このアプローチは、再トレーニングを必要とせずに、未確認または動的に変化するモダリティへのコンテキスト内適応をサポートする。 ノイズやモダリティの欠如に対するロバスト性を高めるため, モデル信頼性の急激なレベルにおいて, 意味論的に挑戦する摂動を発生させる手法が提案されている。 マルチモーダル設定以外にも、この論文はLLMの推論時間最適化戦略を調査し、迅速な探索と不確かさの定量化を活用して、追加のモデルトレーニングなしで性能を向上させる。 この観点は、モデルのパラメータをスケーリングしたり、スクラッチから再トレーニングする際の効率的な代替手段を提供する。 さらに、この作業は、コンストラクションによる正しい合成データパイプラインとロジック強化推論モデルを設計し、最小限のデータで最先端のパフォーマンスを達成することにより、Verilogコード生成のような低リソース領域に対処する。 これらの貢献は、実践的な制約の下で大きな言語モデルの適応性、拡張性、効率を高めるために統合された努力を形成する。

関連論文リスト

• Large Language Models Post-training: Surveying Techniques from Alignment to Reasoning [185.51013463503946]
  大規模言語モデル(LLM)は、自然言語処理を根本的に変革し、会話システムから科学的探索まで、さまざまな領域で欠かせないものにしている。 これらの課題は、制限された推論能力、倫理的不確実性、最適なドメイン固有のパフォーマンスといった欠点に対処するために、先進的な訓練後言語モデル(PoLM)を必要とする。 本稿では,タスク固有の精度を向上するファインチューニング,倫理的コヒーレンスと人間の嗜好との整合性を保証するアライメント,報酬設計の課題によらず多段階の推論を進める推論,統合と適応の5つのパラダイムを体系的に追跡したPoLMの総合的な調査について述べる。
  論文  参考訳（メタデータ） (2025-03-08T05:41:42Z)
• Efficient Domain Adaptation of Multimodal Embeddings using Constrastive Learning [0.08192907805418582]
  現在のアプローチでは、タスク固有の適応なしに事前訓練されたモデルを使用する際にサブパー結果を得るか、あるいは微調整のためにかなりの計算資源を必要とする。 本稿では,高コストな微調整処理を必要とせず,基礎的なマルチモーダルな埋め込みを下流タスクに適用するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-02-04T06:30:12Z)
• Optimal Query Allocation in Extractive QA with LLMs: A Learning-to-Defer Framework with Theoretical Guarantees [3.4289478404209826]
  大規模言語モデルは生成タスクでは優れているが、構造化されたテキスト選択では非効率である。 本稿では,専門的な専門家にクエリを割り当て,信頼性の高い予測を確実にする学習者向けフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-21T08:21:00Z)
• Unlocking the Potential of Model Merging for Low-Resource Languages [66.7716891808697]
  大規模言語モデルを新しい言語に適応させるには、通常、継続事前訓練(CT)と、教師付き微調整(SFT)が含まれる。 我々は低リソース言語の代替としてモデルマージを提案し、異なる機能を持つモデルを追加トレーニングなしで単一のモデルに組み合わせる。 Llama-2-7Bをベースとした実験により、モデルマージはタスク解決能力の低い低リソース言語に対して、極めて少ないデータを持つシナリオにおいて、CT-then-SFTよりも優れていることが実証された。
  論文  参考訳（メタデータ） (2024-07-04T15:14:17Z)
• Scalable Language Model with Generalized Continual Learning [58.700439919096155]
  The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。 提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
  論文  参考訳（メタデータ） (2024-04-11T04:22:15Z)
• Text-centric Alignment for Multi-Modality Learning [3.6961400222746748]
  マルチモーダル学習のためのテキスト中心アライメント(TAMML)を提案する。 テキストのユニークな性質を統一意味空間として活用することにより、TAMMLは目に見えない、多様性があり、予測不可能なモダリティの組み合わせを扱う上で、大幅な改善を示す。 本研究は,モダリティの可用性が動的で不確実な実世界のアプリケーションに対して,フレキシブルで効果的なソリューションを提供することによって,この分野に寄与する。
  論文  参考訳（メタデータ） (2024-02-12T22:07:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。