中国、革命的AI「1ビット脳」を発表、既存GPUはすべてゴミに

Microsoftの中国チームがとてつもないLLMをリリースした。それが「BitNet 1.58Bits」だ。

もともとMicrosoftはかねてから「1ビット量子化」の研究を続けて来た。しかし、32ビット浮動小数点での計算が主流な時代にはあまりに野心的で荒唐無稽なプロジェクトに見えていたのは否めない。しかし、現在、大規模言語モデル(LLM;Large Language Model)は8ビット、4ビットで量子化されるのが当たり前になり、量子化しても性能劣化はある程度まで抑えられることも知られるようになった。

昨年10月に発表した「BitNet」は、多くの人々が他のことに気を取られていてほとんど話題にならなかった。
そんな中、満を持して発表された1ビットLLMの性能に関するレポートは、衝撃的と言っていい内容だ。論文のタイトルも堂々と「The Era of 1-bit LLM(1ビットLLMの時代)」としている。

彼らが発表したグラフを引用しよう。

https://wirelesswire.jp/2024/02/86094/

通常、LLMをふくむディープラーニングされたニューラルネットは巨大な行列の積和演算(掛け算と足し算)を必要とする。
推論時も学習時もそうだ。

しかし、1ビット、つまり、行列の中身が0か1しかないのであれば、全ての計算を加算演算のみにできる。
加算と乗算では計算速度も負荷も段違いに異なるため、これだけのスピードの差が出ている。また、当然ながらメモリ効率も高い。

このため、この論文では「積和演算に最適化されたGPUではなく、加算処理のみに特化した新しいハードウェアの出現」までもが予言されている。
今現在、世界各国が血眼になってGPUを確保し、囲い込んでいることを考えると、実に痛快な論文だ。

https://wirelesswire.jp/2024/02/86094/

非常に驚異的なことが書いてあるのだが、残念ながらBitNetによるLLMの実装とモデルはまだ公開されていない。
だから彼らの主張が本当かどうかはまだ誰にもわからないのだが、BitNetTransformerの実装だけは公開されているため、腕に覚えがあるエンジニアなら自分でトレーニングコードを書いて確かめることができる。

いずれにせよ、　この論文が本当だとしたら、とんでもないことが起きることになる。

この業界に居て長いが、本当にいつもいつも、こんなニュースに触れて興奮できるこの時代を生きる我々は幸運としか言えない。
もちろん筆者もBitNetを試してみるつもりだ。

https://wirelesswire.jp/2024/02/86094/

ちょっと何言ってるか分からない

分かったから早く売れ

>>8
スレッガーさんかい？早い、早いよ！

>>8
ガンダム１機で頑張るより
ジムを1,000機並べる方が強い

>>32
あ、逆だ

なんか悪口に聞こえる

でも爆発するんでしょ

俺の頭脳は128bitだがね

やーいやーい1ビット脳

何言ってるのか全然わかんねんだよカスぅ！！！(ꐦಠہಠ)

スレタイだけ見て「ギャッハー中国ダッセー！！」となっちゃうのが世間一般にいわれる1ビット脳
ってことだな

誰も真実はわからんということか
実用化したらまた教えてくれ

加算だけで推論、って要はすごくポジティブシンキングってことでしょ？
なんかよさそうなきがする！！！

このMS中国の成果ってアメリカと中国どっちの利になるの？

>>26
当然偉大な習近平同志の功績に

ちい

1ビット脳って敵か味方かでしか判断できないおまいらのことじゃないのか

>>29
正義と悪しかいないと思ってる朝鮮人のこと

１ビット脳ならパヨクが搭載済みじゃん

ガンダムよりもJOJOで例えてよ

＞今現在、世界各国が血眼になってGPUを確保し、囲い込んでいることを考えると、実に痛快な論文だ。

ＭＳとＮＶＩＤＩＡの喧嘩っすかね
どっちが勝つか知らんけど