Rauff nacio el 19 de junio, 1906 en Köthen/Sachsen-Anhalt, Alemania. Ingresó en la Marina alemana en 1922 y llegó a ser el número tres de las SS durante la Segunda Guerra Mundial. como "Standartenführer” fue responsable de la aniquilación de al menos medio millón de personas en Auschwitz.
Rauff fue detenido por los aliados el 30 de abril de 1945 e internado en el campo de detención de Remini en Italia pero en 1947 consiguió escapar a Sudamérica, donde vivio en Quito (Ecuador), Buenos Aires(Argentina) y Punta Arenas (Chile).
En Chile adquirió la residencia, vivió en Porvenir, Tierra del Fuego y en Punta Arenas, donde fue comerciante en carnes, granjero e industrial. El 19 de diciembre de l962 fue detenido en Chile después de que Alemania Occidental pidiera su extradición. La Corte Suprema rechazó la demanda y lo libero.
En 1974 figura vinculado a los servicios secretos de la Dictadura de Pinochet. Torturó en Punta Arenas, Estadio Nacional y Colonia Dignidad. Supervigiló y confeccionó el campo de Concentración "Río Chico" en Isla Dawson. En 1977 se descubrio como “asesor” de la DINA.
Rauff muere en mayo de 1984. Sepultado en el Cementerio General.