Fugu-MT 論文翻訳(概要): The Rosetta Paradox: Domain-Specific Performance Inversions in Large Language Models

論文の概要: The Rosetta Paradox: Domain-Specific Performance Inversions in Large Language Models

arxiv url: http://arxiv.org/abs/2412.17821v1
Date: Mon, 09 Dec 2024 11:59:32 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-29 08:29:33.366048
Title: The Rosetta Paradox: Domain-Specific Performance Inversions in Large Language Models
Title（参考訳）: Rosetta Paradox: 大規模言語モデルにおけるドメイン特化パフォーマンスインバージョン
Authors: Basab Jha, Ujjwal Puri,
Abstract要約: ロゼッタ・パラドックスは知識領域の反直観的性能逆転を特徴づける。本稿では,ロゼッタパラドックスの定義を形式化し,パノラマ解析フレームワークを導入する。以上の結果から,ロゼッタパラドックスはデータ分布の単なる人工物ではなく,深層ニューラルネットワークの内在的アーキテクチャと創発的特性である可能性が示唆された。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: While large language models, such as GPT and BERT, have already demonstrated unprecedented skills in everything from natural language processing to domain-specific applications, there came an unexplored phenomenon we term the Rosetta Paradox. The Rosetta Paradox characterizes the counterintuitive performance inversions across domains of knowledge. This paradox captures how such LLMs can excel in highly specialized fields but do poorly on tasks which require general, everyday knowledge. This paper formalizes the definition of the Rosetta Paradox and introduces a panoramic analysis framework that includes both a Domain Specificity Index (DSI) and a Performance Inversion Metric (PIM) for consistent quantification of domain-specific behavior in LLMs. We adopt this paradox and conduct a series of investigations through extensive experiments across diverse models and knowledge domains, ranging from rich technical areas to common-sense reasoning. Our findings indicate that the Rosetta Paradox is likely not a mere artifact of data distribution but an intrinsic architectural and emergent property of deep neural networks. We present comparative analyses across different model architectures, sizes, and training methodologies that shed light into the peculiar ways this paradox manifests itself and challenge the standard evaluation metrics.
Abstract（参考訳）: GPTやBERTといった大規模言語モデルはすでに、自然言語処理からドメイン固有のアプリケーションまで、あらゆる分野で前例のないスキルを実証していますが、ロゼッタパラドックスと呼ばれる未発見の現象がありました。ロゼッタ・パラドックスは知識領域の反直観的性能逆転を特徴づける。このパラドックスは、そのようなLLMが高度に専門的な分野において優れているが、一般的な日常的な知識を必要とするタスクでは不十分であることを示す。本稿では、ロゼッタパラドックスの定義を形式化し、LLMにおけるドメイン固有性の一貫した定量化のためのドメイン固有性指数(DSI)とパフォーマンスインバージョンメトリック(PIM)の両方を含むパノラマ解析フレームワークを導入する。我々は、このパラドックスを採用し、豊富な技術分野から常識推論まで、様々なモデルや知識領域にわたる広範な実験を通じて、一連の調査を行う。以上の結果から,ロゼッタパラドックスはデータ分布の単なる人工物ではなく,深層ニューラルネットワークの内在的アーキテクチャと創発的特性である可能性が示唆された。我々は、このパラドックス自体が示す特異な方法に光を当て、標準評価指標に挑戦する、異なるモデルアーキテクチャ、サイズ、およびトレーニング方法論の比較分析を示す。

関連論文リスト

Natural Language Counterfactual Explanations for Graphs Using Large Language Models [7.560731917128082]
我々は、オープンソースのLarge Language Modelsの力を利用して、自然言語の説明を生成する。提案手法は, 対実例の正確な自然言語表現を効果的に生成することを示す。
論文参考訳（メタデータ） (2024-10-11T23:06:07Z)
Prompting Encoder Models for Zero-Shot Classification: A Cross-Domain Study in Italian [75.94354349994576]
本稿では,より小型のドメイン固有エンコーダ LM と,特殊なコンテキストにおける性能向上手法の併用の可能性について検討する。本研究は, イタリアの官僚的・法的言語に焦点をあて, 汎用モデルと事前学習型エンコーダのみのモデルの両方を実験する。その結果, 事前学習したモデルでは, 一般知識の頑健性が低下する可能性があるが, ドメイン固有のタスクに対して, ゼロショット設定においても, より優れた適応性を示すことがわかった。
論文参考訳（メタデータ） (2024-07-30T08:50:16Z)
UniArk: Improving Generalisation and Consistency for Factual Knowledge Extraction through Debiasing [19.2764682793582]
本研究は,言語モデルにおける事前学習目標と下流学習目標との相違点を示す。汎用的で一貫した事実知識抽出のためのアダプタベースのフレームワークUniArkを提案する。
論文参考訳（メタデータ） (2024-04-01T17:22:07Z)
DIGIC: Domain Generalizable Imitation Learning by Causal Discovery [69.13526582209165]
因果性は機械学習と組み合わせて、ドメインの一般化のための堅牢な表現を生成する。我々は、実証データ分布を活用して、ドメインの一般化可能なポリシーの因果的特徴を発見するために、異なる試みを行っている。 DIGICと呼ばれる新しいフレームワークを設計し、実演データ分布から専門家行動の直接的な原因を見出すことにより因果的特徴を識別する。
論文参考訳（メタデータ） (2024-02-29T07:09:01Z)
On the latent dimension of deep autoencoders for reduced order modeling of PDEs parametrized by random fields [0.6827423171182154]
本稿では,ランダムフィールドの存在下でのDeep Learning-ROMの使用に関する理論的知見を提供する。ディープオートエンコーダの潜伏次元を選択する際に、ドメインの実践者をガイドできる明示的なエラー境界を導出します。数値実験により,本理論の実用性を評価する。
論文参考訳（メタデータ） (2023-10-18T16:38:23Z)
Domain Specialization as the Key to Make Large Language Models Disruptive: A Comprehensive Survey [100.24095818099522]
大規模言語モデル(LLM)は自然言語処理(NLP)の分野を著しく進歩させた。広範囲のアプリケーションに対して、非常に有用でタスクに依存しない基盤を提供する。しかし、特定の領域における洗練された問題を解決するために直接LLMを適用することは、多くのハードルを満たす。
論文参考訳（メタデータ） (2023-05-30T03:00:30Z)
Do Language Models Learn Position-Role Mappings? [1.4548651568912523]
位置ロールマッピングの知識を示す言語モデル(BERT,RoBERTa,DistilBERT)について検討した。実験1では、これらのニューラルモデルが、テーマと受け手の役割の区別を実際に認識していることが示される。実験2では、これらの言語モデルを1つのパラダイムで新しいテーマや受信者のようなトークンで微調整することで、モデルが他のパラダイムにおけるそれらの配置について正しい予測をすることができることを示す。
論文参考訳（メタデータ） (2022-02-08T02:50:53Z)
A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
固有プローブ構築のための新しい潜在変数定式化を提案する。我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
論文参考訳（メタデータ） (2022-01-20T15:01:12Z)
Cross-domain Imitation from Observations [50.669343548588294]
模擬学習は、専門家の行動を利用して訓練エージェントに適切な報酬関数を設計することの難しさを回避しようとする。本稿では,専門家とエージェントMDPの相違点が存在する場合に,タスクを模倣する方法の問題について検討する。このようなドメイン間の対応を学習するための新しいフレームワークを提案する。
論文参考訳（メタデータ） (2021-05-20T21:08:25Z)
Learning Universal Representations from Word to Sentence [89.82415322763475]
この研究は普遍的な表現学習、すなわち一様ベクトル空間における言語単位の異なるレベルへの埋め込みを導入し、探求する。本稿では, 単語, 句, 文の観点から, 類似したデータセットを構築するためのアプローチを提案する。適切なトレーニング設定を組み込んだよく訓練されたトランスフォーマーモデルが、効果的に普遍的な表現が得られることを実証的に検証する。
論文参考訳（メタデータ） (2020-09-10T03:53:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。