Beschaffung von einem GPU-Server für das Trainieren und Nachtrainieren von KI-Modellen; Projekt Total-CBC BW

Siehe auch: B_01_Verfahrenshinweise Bewertungsmatrix zur Ermittlung der Leistungspunkte und Preispunkte Legende F8_PF Bedeutung: FP8 (Floating Point - 8-bit) Leistung ohne Sparsity in Petaflops HBM Bedeutung: High Bandwith Memory HBM_BW Bedeutung: High Bandwith Memory - Bandwith Knoten (oder auch Node) Bedeutung: Anzahl der physischen Server in einem Cluster KPI: Key Perfomance Indicator norm_cost (Preispunkte P) Bedeutung: Normierungsfunktion für die Kostenkennzahlen. Je niedriger der Wert, desto besser. Das günstigste Angebot bekommt 100 Punkte. Alle teureren Angebote bekommen proportional weniger Punkte. norm_pos (Leistungspunkte L) Bedeutung: Normierungsfunktion für die Leistungs- und Kapazitätskennzahlen. Je größer, desto besser. Das leistungsstärkste Angebot bekommt 100 Punkte. Leistungsschwächere Angebote werden linear nach unten skaliert. Annahmen und Mindestanforderungen Der Server wird luftgekühlt. Angebote mit einer Wasserkühlung können nicht beachtet werden. Es handelt sich bei den verbauten CPU um Intel CPU Es wird mindestens ein CPU Dual-Socket verwendet Die Gesamtanzahl der CPU Kerne ist 112 Es werden mindestens Intel Xeon Platinum 8000er Serie ab der 4. Gen verbaut Die Mindest-GPU Anzahl beträgt 8 Stück. Es gelten die Annahmen unter 1.bb) welche erfüllts ein müssen. Andere als die unter 1bb) genannten Grafikkarten werden im Vergabeverfahren nicht beachtet. Es wird mindestens doppelt so viel RAM verbaut wie im Gesamtsystem VRAM (GPU-Speicher) vorhanden ist. Beim verbauten RAM handelt es mindestens um DDR5 RAM Es ist sind mindestens 2x 1,92TB NVME SSDs als Boot Platten verbaut Es sind mindestens 8x 3,84 TB NVME SSDs als Datenplatten verbaut Die maximale Leistung in KW darf 14,5kW nicht übersteigen Der Server hat ein 19" Rackformat (maximale Tiefe 998mm) Die Serversysteme orientieren sich an dem "Support for NVIDIA HGX/SXM" Standard. Grafikkarten als AIC (Add in Card) für einen regulären PCIE-Slot werden in dem Vergabeverfahren nicht beachtet. Netzwerk Spezifikationen (Mindestanforderungen): H100/H200 basiertes System: 4x OSFP ports serving 8x single-port NVIDIA ConnectX-7 VPI Up to 400Gb/s InfiniBand/Ethernet 2x dual-port QSFP112 NVIDIA ConnectX-7 VPI Up to 400Gb/s InfiniBand/Ethernet 10Gb/s onboard NIC with RJ45 100Gb/s Ethernet NIC Host baseboard management controller (BMC) with RJ45 B100/B200 basiertes System 4 x OSFP-Ports für 8 x NVIDIA ConnectX-7 VPI-Adapter mit einem Port Bis zu 400 Gb/s NVIDIA InfiniBand/Ethernet 2 x QSFP112 NVIDIA BlueField-3-DPU mit zwei Anschlüssen Bis zu 400 Gb/s NVIDIA InfiniBand/Ethernet Integrierte Netzwerkkarte (NIC) mit 10 Gb/s und RJ45 100-Gb/s-Ethernet-Netzwerkkarte mit zwei Anschlüssen Host Baseboard Management Controller (BMC) mit RJ45 GPU Spezifikationen (Mindestanforderungen): Nvidia H100 F8_PF: 2.0 HBM_GB: 80 HBM_BW_TBs: 3.35 Nvidia H200 F8_PF: 2.0 HBM_GB: 141 HBM_BW_TBs: 4.8 Nvidia B100: F8_PF: 5.0 HBM_GB: 192 HBM_BW_TBs: 8.0 Nvidia B200: F8_PF: 5.0 HBM_GB: 180 HBM_BW_TBs: 8.0 Annahme Auslastung: 70% (dient der Berechnung) Gewichtung der einzelnen Parameter GPU intern: Rechenleistung (compute): 50% Bandbreite: 30% Kapazität: 20% Gesamtsystem: GPU: 68% CPU: 10% RAM: 12% Speicher: 7% Garantie: 3% Variableninitialisierung F8_PF_proGPU = F8_PF HBM_GB_proGPU = HBM_GB HBM_BW_TBs_proGPU = HBM_BW_TBs Knoten_FP8_PF = F8_PF_proGPU ? GPUs_pro_Knoten Knoten_BW_TBs = HBM_BW_TBs_proGPU ? GPUs_pro_Knoten Knoten_HBM_TB = (HBM_GB_proGPU ? GPUs_pro_Knoten) / 1024 Pkt_compute = norm_cost(EUR_pro_PF8) Pkt_bandbreite = norm_cost(EUR_pro_TBs) Pkt_kapazitaet = norm_cost(EUR_pro_TBHBM) Pkt_CPU_Sockel = norm_pos(CPU_Sockel) Pkt_CPU_Kerne = norm_pos(CPU_Kerne_gesamt) Pkt_RAM_Kapa = norm_pos(RAM_TB) Pkt_RAM_Speed = norm_pos(RAM_Geschwindigkeit_MTps) Daten_TB_total = Daten_NVMe_TB_pro_Laufwerk ? Daten_NVMe_Anzahl Boot_TB_total = Boot_NVMe_TB_pro_Laufwerk ? Boot_NVMe_Anzahl Pkt_Storage_Data = norm_pos(Daten_TB_total) Pkt_Storage_Boot = norm_pos(Boot_TB_total) Pkt_Garantie = norm_pos(Garantie_Jahre) Pkt_Lieferzeit = norm_cost(Lieferzeit_Wochen) Berechnung der Kosten KPIs EUR_(pro_PF8 )=(Knotenpreis_EUR)/((Knoten_FP8_PF ? auslastung)) EUR_(pro_TBs )=(Knotenpreis_EUR)/(Knoten_BW_TBs) EUR_(pro_TBHBM )=(Knotenpreis_EUR)/(Knoten_HBM_TB) Normierungsformeln (Minimum 0 Punkte, Maximum 100 Punkte) ????????_????????(??) = 100 ? ??????(??) / ?? ????????_??????(??) = 100 ? ?? / ??????(??) Berechnungsformeln GPU-, CPU-, RAM-, Speicher-, Garantiescore ??????????_??????_???????????? = 0,5 ? ??????_?????????????? + 0,3 ? ??????_???????????????????? + 0,2 ? ??????_???????????????????? ??????????_?????? = 0,2 ? ??????_??????_???????????? + 0,8 ? ??????_??????_?????????? ??????????_?????? = 0,85 ? ??????_??????_???????? + 0,15 ? ??????_??????_?????????? Score_Storage = 0,85 ? Pkt_Storage_Data + 0,15 ? Pkt_Storage_Boot Berechnungsformel Gesamtscore TotalScore = 0,68 ? Score_GPU_intern + 0,10 ? Score_CPU + 0,12 ? Score_RAM + 0,07 ? Score_Storage + 0,03 ? Pkt_Garantie