Χτυπάμε με τον αυγοδάρτη τα αυγά με την ζάχαρη. Προσθέτουμε το επιδόρπιο γάλακτος συνεχίζοντας το ανακάτεμα. Βάζουμε και το  ελαιόλαδο. Κοσκινίζουμε το αλεύρι και το προσθέτουμε. Ανακατεύουμε και ρίχνουμε τα ξύσματα πορτοκαλιού και λεμονιού.  Αδειάζουμε σε μία βουτυρωμένη και αλευρωμένη μεγάλη φόρμα του κέικ. Ψήνουμε σε προθερμασμένο φούρνο στους 160^οC για 1 περίπου ώρα. Αφήνουμε να κρυώσει, ξεφορμάρουμε και πασπαλίζουμε με ζάχαρη άχνη.