О таких людях принято говорить: «человек с непростой судьбой». Не очень, наверное, точное выражение. Судьба - это ведь не ложка оловянная, она простой, в принципе, бывает крайне редко.