Мать Джека иногда выезжала в город за покупками, дабы обновить гардероб и запастись столь любимым ею розовым маслом. Однажды, оставшись один, Джек сидел на пляже не далеко от дома и смотрел на лазурное море, мерцающее в свете предзакатного солнца.
Внезапно его кто-то окликнул, юноша вскочил от неожиданности и резко обернулся. Не далеко от него на пляже стояла хорошенькая белокурая девушка, на вид, примерно, лет восемнадцати, в ярком розовом платье и с зонтиком на локте. По ее внешности Джек сразу догадался, что она пришла от мадам Жанет - владелицы борделя, в котором раньше работала его мать.
Девушка ела орешки в сахаре, по одному извлекая их из маленького бумажного кулька, и самым бесцеремонным образом пожирала глазами худенького загорелого юношу, что стоял перед ней без рубашки и в закатанных выше колен штанах. Тогда Джеку было всего пятнадцать, он еще не разу не испытывал на себе ТАКОЙ женский взгляд, и разумеется, сильно смутился.
Ту молодую куртизанку звали Лили, и именно она сделала Джека мужчиной, тем же вечером на пляже, предварительно угостив его ромом из маленькой серебренной фляжки и орешками в сахаре. 

Близкая дружба с Лили принесла в жизнь юного Джека приятные изменения, кроме радостей плотской любви он стал еще частенько выходить в город. Познакомился с некоторыми не очень чистыми на руку, но зато крайне интересными людьми. К шестнадцати годам юноша уже достаточно хорошо разбирался в картах, для того, что бы копировать их и продавать морякам, за что получал не такие уж жалкие гроши. На заработанные деньги Джек купил себе настоящий боевой пистолет и сделал первую в жизни татуировку на правом предплечье – воробья летящего над морским горизонтом. Мэрион конечно не знала, что ее сын приобрел оружие, но ей было приятно видеть, как увлеченно Джек занимается изучением карт и то, что уже может самостоятельно заработать себе на хлеб.
Джек впервые чувствовал себя не изгоем общества, а нужным и даже ценным его членом, ведь далеко не каждый взрослый моряк мог, похвастается таким знанием географии и умением точно копировать и даже дополнять карты. Что уж там говорить о шестнадцатилетних юнцах. Мэрион очень гордилась сыном, радовалась, видя, как сияют счастьям его красивые темно карие глаза. Но их благополучная жизнь неожиданно омрачилась.
Годы подкосили здоровье судьи Моргана, он стал зол и раздражителен, гораздо сильнее, чем прежде.
Однажды вернувшись домой, Джек нашел свою мать избитой, она прижимала к огромному кровоподтеку на лице мокрую тряпку, а из прекрасны карих глаз беззвучно текли слезы.
В тот миг Джека впервые охватила настоящая ярость, такая сильная, что он до крови закусил нижнюю губу. Юноша был готов немедленно убить Моргана собственными руками, но Мэрион успокоила сына, убеждая, что всему виной глупое недоразумение.
Тогда Джек пообещал матери, что однажды он непременно станнит капитаном и заберет ее из этого дома на свой корабль. Женщина улыбнулась и ласково поцеловала его в ответ.
Следующая неделя стала последней в их размерной жизни.

Наступил день визита судьи, Джек сидел наверху в своей мансарде, когда услышал пронзительный крик матери. Он бросился вниз. Не задумываясь ни на секунду, ворвался в спальню и, на мгновение замер, потрясенный увиденным.
Судья Морган жестоко избивал свою любовницу собственным ремнем с тяжелой металлической пряжкой, свободной рукой держа ее за волосы.
Джек с криком кинулся защищать мать, он что было сил, ударил Моргана ногой, а затем принялся бить кулаками.
Рассвирепевший судья отпустил Мэрион и, развернувшись, сильно ударил Джека под дых, так что юноша от боли согнулся пополам и упал на пол. «Не лезь, грязный ублюдок!» с отвращением прошипел Морган и нанес Джеку еще пару ударов нагой по ребрам. А затем с усилившимся ожесточением вернулся к избиению несчастной женщины.
Джек не помнил себя от ярости, резкая боль окончательно затмила его сознание. Он поднялся на ноги и как мог быстро бросился бежать вверх по лестнице, обратно в свою мансарду.
«Взгляни, шлюха! Твой ублюдок струсил!» усмехнулся судья и вновь ударил Мэрион по лицу.
В ответ, женщина плюнула в него кровавой слюной, и ответила: «Ты просто больше не можешь удовлетворить свои грязные желания и ненавидишь меня за это! Хотя виной всему только твоя старость!» В ее голосе звучала злая насмешка, Мэрион могла вынести все, кроме оскорбления ее сына.
Судья задохнулся от ярости и с силой оттолкнул от себя женщину, она упала и ударилась виском об острый край кровати. Когда голова Мэрион коснулась пола, под ней быстро расползлась алая лужица. Испуганный судья опустился на колени перед убитой куртизанкой, коснулся черных волос, пропитавшихся кровью, и тот час побледнел.
В это мгновение раздался выстрел, пуля угадила Моргану точно в голову, и сгустки крови забрызгали стену.

Потом, Джек еще долго стоял рядом с безжизненным телом матери, наблюдая, как ее прекрасное загорелое лицо постепенно становится мертвенно бледным. По щекам юноши беззвучно катились слезы, он стоял, держа ее руку пока она не застыла и не сделалась холодной, как лед. Затем юноша поднял тело матери и, уложив на кровать, поцеловал ее в лоб. В эту минуту будущий капитан Джек Воробей поклялся себе, что никогда в жизни не поднимет руку на женщину.
Он взял только самое необходимое, деньги, книги, карты и свои чертежи. Затем Джек поджег дом. Дом, вместе с которым сгорело и его детство.

Тем же вечером юноша отправился в порт, он понимал, что должен бежать, если не желает быть повешенным за убийство судьи. На счастье Джека он сумел наняться юнгой в команду капитана Кортеса - пирата и контрабандиста. Пожилой испанец был умен и хитер, дела его шли очень успешно, но была у него одна печаль - Господь не дал капитану детей.
Джек с первого взгляда приглянулся Кортесу, красивый и не бедно одетый паренек, так страстно просился к нему в команду, что старик догадался - у него есть какая то тайна. Джек сразу смекнул, к кому он нанимается, и поэтому честно признался капитану, что убил человека.
Кортесу понравились смелые слова юноши так сильно похожего на испанца, он захотел расспросить его поподробнее, но вместо ответа Джек показал ему свои карты.
Седой капитан был покорен талантом юноши, и тронут блеском его живых карих глаз, Джек напомнил ему его самого в те же годы. Кортес стал относиться к Джеку, как родному сыну, учитывая ум и знания юноши, он избавил его от тяжелой работы на палубе и поручил выполнять обязанности своего секретаря. На плечи Джека легли все расчеты по сделкам, составление договоров, начертание карт, в которые со слов Кортеса он вносил нужные изменения. Джеку была выделена отдельная каюта, но не в знак отличия, как он сам полагал, а скорее из предосторожности, уж слишком подозрительно поглядывали на красивого мальчика некоторые пираты, так что оставлять его ночевать в кубрике, вместе со всеми матросами, было просто опасно.
Старый капитан стремился передать юноше все накопленные за жизнь знания и навыки. Он брал Джека на все переговоры и сделки, обучая его вести дела с европейскими торговцами и восточными купцами. Торговаться, хитрить и обманывать, если это было нужно. И Джек исправно учился.
Вечера они просиживали в капитанской каюте за составлением документов или просто приятной и полезной беседой. Днем, когда судно шло в открытом море, Кортес обучал юношу держать штурвал, чувствовать корабль своей кожей, устанавливать правильный курс, улавливать направление ветра, управляться со снастями. Ну и конечно учил паренька фехтованию. Джек впитывал знания, словно губка, стараясь не пропустить не единого слова. Он знал, что Кортес готовит из него своего приемника – капитана, и мечты об этом захватывали его воображение.
Но по вечерам, Джек иногда сидел один на палубе и вспоминал свою мать, вспоминал дом у моря и навсегда утраченное семейное счастье.
Однажды Кортес спросил у него, почему на предплечье вытатуирован именно воробей?
«Потому что, так называла меня мама – мой воробушек» печально ответил Джек. Кортес понял его грусть и не стал больше расспрашивать о матери. Но прозвище – Воробей, навсегда приклеилось к юному пирату.

Джек Воробей никогда и никому не рассказывал о своем происхождении, и даже теперь, когда рядом с ним была женщина, которой он полностью доверял, женщина, родившая ему сына, Джек не решался открыть ей правду. Ведь если дочь губернатора и пират это, по меньшей мере, странная пара, то пара - дочь губернатора и сын куртизанки, это вообще нонсенс. Он не боялся, что Элизабет станет его презирать, он боялся, что она его пожалеет. Ведь нет ничего обиднее, чем жалость любимой женщины.