今回はMeta最新マルチモーダル「ImageBind」の性能がOpenAIより高性能かもしれないことの詳細記事になります。
Meta最新マルチモーダル「ImageBind」
【Meta 最新AIが革命的】
— チャエン | 重要AIニュースを毎日発信⚡️ (@masahirochaen) May 10, 2023
OpenAIより高性能かもしれない
Meta最新マルチモーダル「ImageBind」の性能がずば抜けている
・画像→音声
・音声→画像
・文章→画像と音声
・音声×画像→画像
と様々な情報を一度に読み込むことができる
従来型：テキスト、画像、音声
Meta：上記に加えて、深度、熱… pic.twitter.com/7swZLOGI37
①マルチモーダルとは？
— チャエン | 重要AIニュースを毎日発信⚡️ (@masahirochaen) May 10, 2023
■概要
マルチモーダルAI（Multimodal Artificial Intelligence）とは、数値／画像／テキスト／音声など複数種類のデータ（＝モダリティー：Modality）を組み合わせて、もしくは関連付けて処理できる単一のAIモデルを指します。… pic.twitter.com/h2TaKFzNwJ
②Meta ImageBindの詳細説明
— チャエン | 重要AIニュースを毎日発信⚡️ (@masahirochaen) May 10, 2023
ImageBindは最新のマルチモーダルEmbeddingで
①テキスト
②画像
③音声
④深度（奥行き）
⑤熱 (赤外線)
⑥IMU※
の情報を同時に取得することができます
（従来のマルチモーダルは①-③までが殆ど）
これらの6つの情報を揃えることで、テキストのみのGPT-4… pic.twitter.com/V4rcH7uYTG
【補足】Embeddingとは？
— チャエン | 重要AIニュースを毎日発信⚡️ (@masahirochaen) May 10, 2023
意外とこれを理解している人は少ないかと
日本語の直訳だと「埋め込み」になりますが、AIの文脈だとこれでは不十分です
■概要
自然言語を計算が可能な形に変換することをEmbeddingと一般的には呼ばれます… pic.twitter.com/u2U5sHotPU
③従来型との違い
— チャエン | 重要AIニュースを毎日発信⚡️ (@masahirochaen) May 10, 2023
これは勢い余って②で説明してしまいました😭
■従来型
①テキスト②画像③音声
■ImageBind
①テキスト ②画像 ③音声 ④深度（奥行き） ⑤熱 (赤外線) ⑥IMU
って感じです
特にGPT-4はテキスト、画像が一気に！？
すげええええ
ってなりましたがそれを超えるインパクトです… pic.twitter.com/baP3yQbtH3
④OpenAIとの違い
— チャエン | 重要AIニュースを毎日発信⚡️ (@masahirochaen) May 10, 2023
これも③で述べましたが実際の用途で整理すると
■OpenAI Embedding
・AI を活用した検索と長期記憶の基盤
→テキストと画像なので主にウェブ上のソフトウェアで活躍するイメージでしょうか？
■ImageBind
リッチ マルチメディア検索、VR、さらにはロボティクス用です…
⑤この技術の活用事例
— チャエン | 重要AIニュースを毎日発信⚡️ (@masahirochaen) May 10, 2023
ふう。。😮💨
だいぶ疲れましたが、最後です。
活用事例というか今後の活用予測になります。
検索の向上や便利な生成の話もしてきましたが、一番はロボットへの応用に個人的には期待しています。
音、温度、動きなども感知できるのでもうほぼ人間ですね。…
最後に
— チャエン | 重要AIニュースを毎日発信⚡️ (@masahirochaen) May 10, 2023
詳細が気になる方は論文などもあるのでこのリンクから見てください。（https://t.co/5HPk2gWccR）
結構時間かけてまとめたので、拡散やフォローなどいただけると幸いです😭
頑張ってので、メルマガなども購読してくれると嬉しいです！！
ーーーーーー
⚡️もっとAIについて知りたい方…
>> ChatGPT（チャットGPT）に作ってもらえるゲームやモデルのまとめ
ホームページ制作はAIではなくプロにお任せ
ChatGPTのようなAI技術は急速に進歩しています。
しかし、ホームページ制作においてAIをプロレベルで実用化できるまでは時間がかかそうです。
AIを使用した制作物は著作権の問題もクリアになっておらず訴訟のリスクもあります。
現時点でのホームページ制作は信頼ができるプロの制作会社に依頼しましょう！
PR
![[商品価格に関しましては、リンクが作成された時点と現時点で情報が変更されている場合がございます。]](https://hbb.afl.rakuten.co.jp/hgb/28aca5ae.ca4b1c86.28aca5af.c6bceda9/?me_id=1213310&item_id=20935514&pc=https%3A%2F%2Fthumbnail.image.rakuten.co.jp%2F%400_mall%2Fbook%2Fcabinet%2F3009%2F9784299043009_1_2.jpg%3F_ex%3D400x400&s=400x400&t=picttext "[商品価格に関しましては、リンクが作成された時点と現時点で情報が変更されている場合がございます。]")
法律をもっと身近にする話題のメディアサイト「法律ビッグバン」
アニメ・漫画の登場人物やゲームキャラクターの現在の年齢まとめ
TwitterやYouTube、TikTok、SNSで話題の猫（ネコ、ねこ）情報まとめ
TikTokで人気急上昇のTikToker（ティックトッカー）情報まとめ
スポンサーリンク