論文の概要: Securing Reliability: A Brief Overview on Enhancing In-Context Learning
for Foundation Models
- arxiv url: http://arxiv.org/abs/2402.17671v1
- Date: Tue, 27 Feb 2024 16:44:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-28 15:25:46.897832
- Title: Securing Reliability: A Brief Overview on Enhancing In-Context Learning
for Foundation Models
- Title(参考訳): 信頼性の確保:基礎モデルにおける文脈内学習の強化に関する概要
- Authors: Yunpeng Huang, Yaonan Gu, Jingwei Xu, Zhihong Zhu, Zhaorun Chen,
Xiaoxing Ma
- Abstract要約: In-context Learning(ICL)パラダイムは成長するが、毒性、幻覚、相違、敵対的脆弱性、矛盾といった問題にも遭遇する。
ファンデーションモデル(FM)の信頼性と責任を保証することは、AIエコシステムの持続可能な開発に不可欠である。
- 参考スコア(独自算出の注目度): 10.889829033820433
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As foundation models (FMs) continue to shape the landscape of AI, the
in-context learning (ICL) paradigm thrives but also encounters issues such as
toxicity, hallucination, disparity, adversarial vulnerability, and
inconsistency. Ensuring the reliability and responsibility of FMs is crucial
for the sustainable development of the AI ecosystem. In this concise overview,
we investigate recent advancements in enhancing the reliability and
trustworthiness of FMs within ICL frameworks, focusing on four key
methodologies, each with its corresponding subgoals. We sincerely hope this
paper can provide valuable insights for researchers and practitioners
endeavoring to build safe and dependable FMs and foster a stable and consistent
ICL environment, thereby unlocking their vast potential.
- Abstract(参考訳): 基礎モデル(FM)がAIの風景を形作るにつれ、ICL(In-context Learning)パラダイムは繁栄する一方で、毒性、幻覚、格差、敵対的脆弱性、一貫性といった問題にも遭遇する。
FMの信頼性と責任を保証することは、AIエコシステムの持続可能な開発に不可欠である。
本総説では,ICLフレームワークにおけるFMの信頼性と信頼性向上の最近の進歩を考察し,それぞれに対応するサブゴールを持つ4つの主要な方法論に着目した。
この論文は、安全で信頼性の高いFMを構築し、安定的で一貫したICL環境を育むために、研究者や実践者たちに貴重な洞察を与えてくれることを期待しています。
関連論文リスト
- SoK: Unifying Cybersecurity and Cybersafety of Multimodal Foundation Models with an Information Theory Approach [58.93030774141753]
MFM(Multimodal foundation model)は、人工知能の大幅な進歩を表す。
本稿では,マルチモーダル学習におけるサイバーセーフティとサイバーセキュリティを概念化する。
我々は、これらの概念をMFMに統一し、重要な脅威を特定するための総合的知識体系化(SoK)を提案する。
論文 参考訳(メタデータ) (2024-11-17T23:06:20Z) - TPFL: A Trustworthy Personalized Federated Learning Framework via Subjective Logic [13.079535924498977]
フェデレートラーニング(FL)は、データプライバシを保持しながら、分散クライアント間で協調的なモデルトレーニングを可能にする。
ほとんどのFLアプローチは、プライバシ保護に重点を置いているが、信頼性が不可欠であるシナリオでは不足している。
主観的論理を用いた分類タスク用に設計された信頼に足る個人化フェデレーション学習フレームワークを紹介する。
論文 参考訳(メタデータ) (2024-10-16T07:33:29Z) - FaithEval: Can Your Language Model Stay Faithful to Context, Even If "The Moon is Made of Marshmallows" [74.7488607599921]
FaithEvalは、コンテキストシナリオにおける大規模言語モデル(LLM)の忠実度を評価するためのベンチマークである。
FaithEvalは4.9Kの高品質な問題で構成され、厳格な4段階のコンテキスト構築と検証フレームワークを通じて検証されている。
論文 参考訳(メタデータ) (2024-09-30T06:27:53Z) - TRACE: TRansformer-based Attribution using Contrastive Embeddings in LLMs [50.259001311894295]
TRACE と呼ばれるコントラスト埋め込みを用いた新しいTRansformer-based Attribution フレームワークを提案する。
TRACEは情報源の属性を精度良く改善し,大規模言語モデルの信頼性と信頼性を高める貴重なツールであることを示す。
論文 参考訳(メタデータ) (2024-07-06T07:19:30Z) - Confidence Under the Hood: An Investigation into the Confidence-Probability Alignment in Large Language Models [14.5291643644017]
信頼性・確率アライメントの概念を紹介します。
モデルの内部と信頼感の一致を調査する。
分析したモデルのうち、OpenAIのGPT-4は信頼性と信頼性のアライメントが最強であった。
論文 参考訳(メタデータ) (2024-05-25T15:42:04Z) - When to Trust LLMs: Aligning Confidence with Response Quality [49.371218210305656]
我々はconfidence-Quality-ORDer保存アライメントアプローチ(CONQORD)を提案する。
品質報酬と秩序保存アライメント報酬機能を統合する。
実験により,CONQORDは信頼性と応答精度のアライメント性能を著しく向上することが示された。
論文 参考訳(メタデータ) (2024-04-26T09:42:46Z) - Position Paper: Assessing Robustness, Privacy, and Fairness in Federated
Learning Integrated with Foundation Models [39.86957940261993]
ファンデーションモデル(FM)をフェデレートラーニング(FL)に統合することは、堅牢性、プライバシ、公正性の点で新しい問題をもたらす。
我々は、関連するトレードオフを分析し、この統合によってもたらされる脅威と問題を明らかにし、これらの課題をナビゲートするための一連の基準と戦略を提案する。
論文 参考訳(メタデータ) (2024-02-02T19:26:00Z) - Assessing the Sustainability and Trustworthiness of Federated Learning
Models [7.228253116465784]
この研究は、最新の総合的な信頼に値するフェデレーテッドラーニングの分類にサステナビリティの柱を導入します。
FLシステムの環境影響を評価し、ハードウェア効率、フェデレーションの複雑さ、エネルギーグリッドの炭素強度の概念とメトリクスを取り入れている。
持続可能性柱を組み込むことで、FLモデルの信頼性を評価するアルゴリズムを実装している。
論文 参考訳(メタデータ) (2023-10-31T13:14:43Z) - Trustworthy Federated Learning: A Survey [0.5089078998562185]
人工知能(AI)分野において、フェデレートラーニング(FL)が大きな進歩を遂げている。
我々は、Trustworthy FLの現状を概観し、既存のソリューションとTrustworthyに関連する明確に定義された柱を探求する。
本稿では,解釈可能性,公正性,セキュリティとプライバシの3つの柱を含む分類法を提案する。
論文 参考訳(メタデータ) (2023-05-19T09:11:26Z) - Learning Stability Attention in Vision-based End-to-end Driving Policies [100.57791628642624]
本稿では, 制御型リアプノフ関数(CLF)を利用して, エンドツーエンドのビジョンベースのポリシに安定性を付与する手法を提案する。
本稿では,att-CLFに密に統合された不確実性伝播手法を提案する。
論文 参考訳(メタデータ) (2023-04-05T20:31:10Z) - Reliable Federated Disentangling Network for Non-IID Domain Feature [62.73267904147804]
本稿では、RFedDisと呼ばれる新しい信頼性のあるフェデレーション・ディエンタングリング・ネットワークを提案する。
我々の知る限り、提案するRFedDisは、明らかな不確実性と特徴の混在に基づくFLアプローチを開発する最初の試みである。
提案するRFedDisは,他の最先端FL手法と比較して信頼性の高い優れた性能を提供する。
論文 参考訳(メタデータ) (2023-01-30T11:46:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。