Peter Carl Frederik von Scholten blev født i Viborg d. 17. maj 1784, søn af kaptajn ved Kronprinsens Regiment Casimir Wilhelm von Scholten og Catharina Elisabeth Moldrup.
I de første år opholder han sig her sammen med sin hustru, som han kalder for Lise, men efter en rejse i 1816 til England, vælger hun at rejse tilbage til Danmark for at bosætte sig, og hun vender herefter aldrig tilbage til De Vestindiske øer.
Således er det kun Von Scholten selv der tager tilbage til øerne, hvor han hurtigt stiger i graderne, og efter et meget kort ophold hjemme i Danmark i juli 1827, udnævnes han til generalguvernør over De Dansk Vestindiske øer, hvilket i realiteten bevirkede at han der kunne virke som en enevældig hersker. [Mere]