オープンソース最高峰の性能が期待できる大規模言語モデル『Falcon』の詳細

今回はオープンソース最高峰の性能が期待できる大規模言語モデル『Falcon』の詳細記事になります。

オープンソース最高峰の性能が期待できる大規模言語モデル『Falcon』

【アラブの力？】

オープンソース最高峰のの性能が期待の大規模言語モデル『Falcon』が登場

･400億個のパラメーター（Falcon-40B）
･70億個のパラメーター（Falcon-7B）

これまでの多くのモデルを凌ぐ性能で、

しかも、商用利用が可能👀

LLaMAオープンソースモデルの新時代の幕開け感。

続く> pic.twitter.com/DLoZj3dl5O

— 木内翔大｜AI時代に乗り遅れない為の必見情報を毎日配信📣 (@shota7180) June 8, 2023

2/『Falcon』の概要

アラブ首長国連邦の「Technology Innovation Institute」がリリースしたLLM。

パラメータ数が400億個の「Falcon-40B」と、70億個の「Falcon-7B」の2モデルが公開されている

Fine-tuningが必要でちょっとむずそうなんですが、チャット形式のデータでFine-tunedのものも使えるとか pic.twitter.com/yrimpoe7yq

— 木内翔大｜AI時代に乗り遅れない為の必見情報を毎日配信📣 (@shota7180) June 8, 2023

3/ 性能の秘密

モデルの品質が高い理由はトレーニングに用いたデータにあります。

ウェブ上から集めた大規模なデータセット「RefinedWeb」を用いて、高品質なモデルを生み出しています。

その上で、モデルのアーキテクチャは「マルチクエリアテンション」を採用し、メモリ効率を大幅に向上。

— 木内翔大｜AI時代に乗り遅れない為の必見情報を毎日配信📣 (@shota7180) June 8, 2023

4/

Hugging Faceは、オープンソースの大規模言語モデル間で性能を競うランキング「Open LLM Leaderboard」を提供していて、

その頂点に立つのは、なんと今回の「Falcon-40B」！

その性能は従来のオープンソースモデルを大きく凌駕。

これ結構注目ポイントですよね

— 木内翔大｜AI時代に乗り遅れない為の必見情報を毎日配信📣 (@shota7180) June 8, 2023

5/ トレーニング

Falconは1兆のトークン上で訓練された400億のパラメータを持つモデル。

これは公開のWebクロールからデータを収集し、

研究論文やソーシャルメディアからの会話など、様々な情報源からのデータを含む巨大なプレトレーニングデータセットを使用。

— 木内翔大｜AI時代に乗り遅れない為の必見情報を毎日配信📣 (@shota7180) June 8, 2023

6/

LLaMA 超えって点で、オープンソースモデルの新時代の幕開け感。
ちょっと気になったので、紹介させていただきました！

🔗 – Introducing Falcon LLMhttps://t.co/zRDHi68XqK

— 木内翔大｜AI時代に乗り遅れない為の必見情報を毎日配信📣 (@shota7180) June 8, 2023

>> ChatGPT（チャットGPT）の便利な使い方まとめ

>> ChatGPT（チャットGPT）に作ってもらえるゲームやモデルのまとめ

PR

ChatGPT 120%活用術 [ ChatGPTビジネス研究会 ] 価格：1,390円（税込、送料無料) (2023/5/23時点) 楽天で購入

この記事を書いた人（著者情報）

片山

カタチップ編集長。昭和生まれの30代でWeb業界歴は10年以上。現在はカタチップを運用しつつ事業会社でWEBメディアサイトのWebディレクター兼マークアップエンジニアを担当。最近はSNSの運用にも業務範囲を拡大中です。