論文の概要: Regulation of Language Models With Interpretability Will Likely Result In A Performance Trade-Off

• arxiv url: http://arxiv.org/abs/2412.12169v1
• Date: Thu, 12 Dec 2024 02:11:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 14:02:28.133496
• Title: Regulation of Language Models With Interpretability Will Likely Result In A Performance Trade-Off
• Title（参考訳）: 解釈可能性のある言語モデルの規制は、おそらくパフォーマンスのトレードオフをもたらすだろう
• Authors: Eoin M. Kenny, Julie A. Shah,
• Abstract要約: 規制は、機械学習において最も重要で迫り強い関心事として、ますます引用されている。 本稿では,拡張可能な大言語モデル(LLM)を構築することにより,これらの疑問に答えようとする。 従来考慮されていなかった「規制性能トレードオフ」は,従来の7.34%の分類性能低下という形で明らかにされている。
• 参考スコア（独自算出の注目度）: 13.53018018760777
• License:
• Abstract: Regulation is increasingly cited as the most important and pressing concern in machine learning. However, it is currently unknown how to implement this, and perhaps more importantly, how it would effect model performance alongside human collaboration if actually realized. In this paper, we attempt to answer these questions by building a regulatable large-language model (LLM), and then quantifying how the additional constraints involved affect (1) model performance, alongside (2) human collaboration. Our empirical results reveal that it is possible to force an LLM to use human-defined features in a transparent way, but a "regulation performance trade-off" previously not considered reveals itself in the form of a 7.34% classification performance drop. Surprisingly however, we show that despite this, such systems actually improve human task performance speed and appropriate confidence in a realistic deployment setting compared to no AI assistance, thus paving a way for fair, regulatable AI, which benefits users.
• Abstract（参考訳）: 規制は、機械学習において最も重要で迫り強い関心事として、ますます引用されている。 しかし、どのように実装すればよいのか、そしておそらくもっと重要なのは、実際に実現すれば、人間のコラボレーションと並行してモデルパフォーマンスにどのように影響するかは、現時点では不明である。 本稿では,拡張可能な大言語モデル (LLM) を構築して,(1)モデルの性能にどのような制約が及ぼすか,(2)人間のコラボレーションとともに定量化する。 実証実験の結果,LLMが人間の定義した特徴を透過的に利用することを強制することは可能であるが,これまで考慮されていなかった「規制性能トレードオフ」は7.34%の分類性能低下という形で明らかにされている。 しかし、意外なことに、このようなシステムは実際に人間のタスクパフォーマンスを向上し、現実的なデプロイメント環境における適切な信頼度を、AIの助けがないよりも向上させ、ユーザにとって利益をもたらす公平で説明可能なAIの道を開くことを示しています。

関連論文リスト

• Correcting Large Language Model Behavior via Influence Function [44.090990384733324]
  人間の好みのダイナミックな性質は、以前のトレーニングデータを時代遅れにしたり、あるいは誤ったものにしたりすることができる。 影響関数のリコールとポストトレーニングによる大規模言語モデル行動補正(LANCET)を提案する。 LANCETは、(1)好ましくないモデル出力に大きな影響を与えるトレーニングデータを特定するためにインフルエンス関数を使用し、(2)モデル動作を調整するためにインフルエンス関数駆動型ブレグマン最適化(IBO)技術を適用する。
  論文  参考訳（メタデータ） (2024-12-21T02:50:08Z)
• Explainable Procedural Mistake Detection [27.40806437649092]
  手続き的誤り検出は、人間が手元のタスクをうまく実行したかどうかを分類する難題である。 我々は PMD を質問や回答の解説的な自己ダイアログにリキャストし、決定の証拠として機能する。 これらの結果から,オープンソースVLMは,この課題に対処する一方で,精度,コヒーレンス,ダイアログの効率を大幅に向上できることがわかった。
  論文  参考訳（メタデータ） (2024-12-16T16:13:55Z)
• OWLed: Outlier-weighed Layerwise Pruning for Efficient Autonomous Driving Framework [3.8320050452121692]
  本稿では,効率的な自律運転フレームワーク Outlier-Weighed Layerwise Pruning であるOWLedを紹介する。 提案手法は,外乱特性の分布に基づいて,異なる層に対して一様でない空間比を割り当てる。 圧縮モデルが自律運転タスクに適合するようにするため、運転環境データをキャリブレーションとプルーニングの両方に組み込む。
  論文  参考訳（メタデータ） (2024-11-12T10:55:30Z)
• Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models [89.88010750772413]
  大規模言語モデル(LLM)の学習における高品質なデータ不足問題に対する解決法として,合成データを提案する。 我々の研究は、Q-A(Q-A)ペア、一般的な合成データに関連するこれらの特定の欠陥を掘り下げ、これらの欠陥を軽減するための未学習技術に基づく方法を提案する。 我々の研究は、より堅牢で効率的なLLMトレーニングを促進することを目的として、合成データの効果的な利用に関する重要な洞察を得た。
  論文  参考訳（メタデータ） (2024-06-18T08:38:59Z)
• Learning Fair Ranking Policies via Differentiable Optimization of Ordered Weighted Averages [55.04219793298687]
  本稿では,学習からランクへの学習ループに,効率よく解ける公正ランキングモデルを組み込む方法について述べる。 特に,本論文は,OWA目標の制約された最適化を通じてバックプロパゲーションを行う方法を示す最初のものである。
  論文  参考訳（メタデータ） (2024-02-07T20:53:53Z)
• Human-AI Collaborative Essay Scoring: A Dual-Process Framework with LLMs [13.262711792955377]
  本研究では,Large Language Models (LLMs) のエッセイ自動評価における有効性について検討した。 本稿では,デュアルプロセス理論にインスパイアされたオープンソースのLLMベースのAESシステムを提案する。 本システムでは, 学習過程の自動化だけでなく, 成績や効率の向上も図っている。
  論文  参考訳（メタデータ） (2024-01-12T07:50:10Z)
• SALMON: Self-Alignment with Instructable Reward Models [80.83323636730341]
  本稿では,基本言語モデルと人間の監督を最小限に整合させる新しいアプローチ,すなわちSALMONを提案する。 私たちはDromedary-2という名のAIアシスタントを開発しており、コンテキスト内学習には6つの例と31の人間定義原則しかありません。
  論文  参考訳（メタデータ） (2023-10-09T17:56:53Z)
• Measuring and Improving Chain-of-Thought Reasoning in Vision-Language Models [61.28463542324576]
  視覚言語モデル(VLM)は近年,人間のような出力を生成できる視覚アシスタントとして,強力な有効性を示している。 我々は、既存の最先端のVLMを評価し、最高の性能モデルでさえ、強力な視覚的推論能力と一貫性を示すことができないことを発見した。 本稿では,VLMの推論性能と一貫性の向上を目的とした2段階トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-08T17:49:44Z)
• Striving for data-model efficiency: Identifying data externalities on group performance [75.17591306911015]
  信頼できる、効果的で責任ある機械学習システムの構築は、トレーニングデータとモデリング決定の違いが、予測パフォーマンスにどのように影響するかを理解することに集中する。 我々は、特定のタイプのデータモデル非効率性に注目し、一部のソースからトレーニングデータを追加することで、集団の重要なサブグループで評価されるパフォーマンスを実際に低下させることができる。 以上の結果から,データ効率が正確かつ信頼性の高い機械学習の鍵となることが示唆された。
  論文  参考訳（メタデータ） (2022-11-11T16:48:27Z)
• DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation [57.358212277226315]
  観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。 近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。 この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。 よりデータ効率の高いifOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-31T23:46:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。