Mons. Dziuba bio je biskup Lowicza u središnjoj Poljskoj 20 godina.

Prema izvješćima poljskih medija, Vatikan je otvorio istragu protiv biskupa Dziube 2020. godine. Pitanje je bilo je li postupao u skladu s kanonskim pravom u nekoliko slučajeva u kojima su svećenici u njegovoj biskupiji optuženi za seksualno zlostavljanje maloljetnika. Istragu je proveo nadležni nadbiskup metropolit Lodza Grzegorz Ryś. Rezultate je poslao u Vatikan. Poljsko državno istražno povjerenstvo također je 2022. otvorilo svoje istrage.

Prema Apostolskoj nuncijaturi u Poljskoj, istraga o slučaju biskupa Dziuba otkrila je „poteškoće u upravljanju biskupijom“. Konkretno, riječ je o „propustima u postupanju u slučajevima seksualnog zlostavljanja maloljetnika od strane pojedinih svećenika“, izvijestila je nuncijatura. Prije dva tjedna, nakon sličnog rezultata istrage, papa Franjo prihvatio je odricanje od službe upravljanja nadbiskupa Szczecina Andrzeja Dziege.

Biskup Dziuba, koji je sada umirovljen, bio je osobni tajnik kardinala Jozefa Glempa, koji je svojevremeno, od 1984. do 1998. godine, bio primas Poljske. Na Katoličkom sveučilištu u Lublinu Dziuba vodio je Katedru za povijest moralne teologije. Također je bio ravnatelj studijskog centra o osobi kardinala Stefana Wyszynskog (1901.-1981.) u Varšavi, izvijestio je Kathpress.