Çinli GPU üreticisi Moore Threads, yapay zeka ve veri merkezi bilgi işlem iş yüklerine yönelik en yeni grafik kartı MTT S4000‘i duyurdu. Şirketin yeni amiral gemisi KUAE Akıllı Bilgi İşlem Merkezi’nde yer alacak. Bu veri merkezi her beri 1.000 adet S4000 GPU’dan oluşan kümeler içerecek. Moore Threads ayrıca KUAE donanım ve yazılım ekosistemini hayata geçirmek için aralarında Lenovo’nun da bulunduğu birçok Çinli şirketle ortaklık yapıyor. Moore Threads MTT S4000
Moore Threads, S4000 GPU‘su hakkında her şeyi açıklamamış olsa da, S2000 ve S3000’e göre büyük bir gelişme olduğu kesin. S2000 ile karşılaştırıldığında, S4000 iki kattan fazla FP32 performansına, beş kat INT8 performansına, %50 daha fazla VRAM’e ve çok daha fazla bellek bant genişliğine sahip. Yeni amiral gemisi ayrıca ikinci nesil MUSA (Moore Threads Unified System Architecture) mimarisini kullanırken, S2000/S3000 birinci nesil mimariyi kullanıyordu.
Nvidia‘nın modelleriyle karşılaştırıldığında S4000, 2018‘deki Turing tabanlı Tesla sunucu GPU’larından daha iyi ancak sırasıyla 2020 ve 2022’de piyasaya sürülen Ampere ve Ada Lovelace’ın hala gerisinde. S4000 özellikle ham beygir gücünden yoksun olsa da, Moore Threads’in amiral gemisinin kullanılacağını öngördüğü yapay zeka ve büyük dil modeli (LLM) iş yükleri için kullanışlı olabilecek oldukça fazla bellek kapasitesi ve bant genişliğine sahip. Yani Nvidia’nın H100 çözümleriyle her alanda değil, spesifik alanlarda rekabet edebilecek. S4000 ayrıca bir karttan diğerine 240 GB/s veri bağlantısı ve RDMA desteği ile kritik GPU’dan GPU’ya veri özelliklerine sahip. Karşılaştırma için Nvidia’nın Hopper Superchip’leri için sunduğu NVLink, 900 GB/s bant genişliğine sahip. Ancak bu sadece rakamsal bir kıyaslama, S4000 muhtemelen çok daha zayıf ve dolayısıyla bu kadar bant genişliğinin bir mantığı yok.
Asıl amaç yapay zeka
Moore Threads, S4000’in yanı sıra KUAE Akıllı Bilgi İşlem Merkezi‘ni de tanıttı. KUAE kümeleri, her biri sekiz S4000 kartına sahip olan MCCX D800 GPU sunucularını kullanıyor. Moore Threads, her bir KUAE Kilocard Kümesinin 1.000 GPU’ya sahip olduğunu, bunun da küme başına toplam 125 MCCX D800 sunucusu anlamına geldiğini söylüyor. Yani ölçek hayli büyük. Yazılım tarafında Moore Threads, KUAE’nin GPT gibi ana akım büyük dil modellerini ve DeepSpeed gibi çerçeveleri desteklediğini iddia ediyor. Şirketin MUSIFY aracı, S4000’in Nvidia’nın CUDA yazılım ekosistemiyle çalışmasına olanak tanıyarak Moore Threads’i ve Çin’i tekerleği yeniden icat etmek zorunda kalmaktan kurtarıyor.
Bir KUAE kümesinin bir yapay zeka modelini yaklaşık 1 ay içinde eğitebileceği söyleniyor ancak burada ayrıntılar da önemli. Örneğin Moore Threads, 70 milyar parametreye sahip Aquila2 modelinin eğitilmesinin 33 gün sürdüğünü, ancak parametrelerin 130 milyara çıkarılmasının eğitme süresini 56 güne çıkaracağını söylüyor.
Moore Threads’in yakın zamanda Nvidia, AMD ya da Intel gibi şirketlerle başa baş mücadele edemeyeceği kesin olsa da Çin’in yerel pazarı için bu tamamen gerekli değil. ABD yaptırımları Çin’e güçlü GPU’ların ihracatını engelledi, bu da sadece Çin’in yerel yarı iletken endüstrisine oyun alanı vermekle kalmadı, aynı zamanda Moore Threads ve rakibi Biren gibi şirketlerin rekabetini de zayıflattı. Nvidia’nın Çin’e özel kartlarıyla karşılaştırıldığında, S4000 ve KUAE’nin şansları yüksek olabilir.