У художника были армянские корни, его настоящее имя — Ованнес Айвазян. В XVIII веке его предки переехали из Армении в Восточную Европу и со временем поселились в Феодосии. Во взрослом возрасте Ованнес, как и его отец, изменил имя и фамилию на более привычный для Европы манер. Существует семейное предание, записанное со слов самого художника о том, что среди его предков были турки. Отец художника рассказывал ему, что прадед Айвазовского был сыном турецкого военачальника и будучи ребёнком, при взятии Азова русскими войсками был спасён от гибели неким армянином, который его крестил и усыновил. Однако никаких доказательств правдивости этой легенды не существует.

С детских лет Айвазовский любил музыку, сам играл на скрипке народные мелодии. Вспоминая об этом, он нарисовал себя со скрипкой, причём сам художник-мальчик сидит на полу, а скрипку держит на коленях — так обычно держат смычковые инструменты на Востоке.
Айвазовский не раз играл на вечерах у Глинки. Три мелодии, услышанные им от Айвазовского, Глинка включил в оперу «Руслан и Людмила». В «Записках» Глинки читаем: «Айвазовский сообщил мне три татарских напева, впоследствии два из них я употребил для лезгинки, а третий для Andante сцены Ратмира в 3-м акте оперы «Руслан и Людмила».
Имение Айвазовского в Судаке находилось рядом с дачей композитора Спендиарова. И два этих великих человека часто засиживались до глубокой ночи: Айвазовский играл на скрипке, Спендиаров аккомпанировал на рояле.

Айвазовского любили и богатые и бедные, и подчас эта любовь проявлялась довольно неожиданным образом. Однажды, когда Айвазовский работал в мастерской в своём имении Шах-Мамай, визит ему нанёс… легендарный крымский разбойник Алим. Этот неуловимый местный Робин Гуд (всё награбленное у толстосумов он раздавал нуждающимся) якобы сказал Айвазовскому следующее: «Все тебя знают и хвалят. Давно хотел видеть тебя. Говорят, картины пишешь. Можно ли посмотреть?» Айвазовский показал Алиму свои картины да ещё и пригласил не­обычного гостя выпить кофе. Алим сердечно поблагодарил Айвазовского, пообещав непременно побывать на его свадьбе (художник обмолвился, что вскоре собирается жениться). И выполнил своё обещание: когда новобрачные подъезжали к Шах-Мамаю, им наперерез вы­ехал всадник — это был Алим. Он поздравил жениха и невесту, подарив последней дорогой шёлковый турецкий платок, пожелал счастья — и умчался прочь.

Айвазовский всерьёз интересовался археологией. В 1853 году он официально обратился с письмом-заявкой в Ми­нистерство уделов за разрешением начать в Феодосии археологические раскопки. Получив разрешение, Айвазовский вместе с археологом Сибирским приступил к работе. Раскопки первых четырёх курганов не дали результатов, а вот пятый курган, на мысе Ильи, поразил исследователей своими находками. Ими было открыто женское погребение IV века до н. э. Как писал сам художник: «Эта находка даёт надежду, что древняя Феодосия была на этом же месте. Я в восхищении от Феодосии!» Айвазовский отправил драгоценные находки в Петербург, и ныне они находятся в коллекции Государственного Эрмитажа.
Всего же в течение лета 1853 года Айвазовский раскопал 80 курганов. Золотые серьги, найденные Айвазовским во время раскопок в 1853 году, датируются 330–300 годами до н. э. и выполнены в так называемой микротехнике: на каждой помещена многофигурная композиция. Известные ювелиры Петербурга и Парижа пытались сделать копию украшения, но тщетно. Даже знаменитый Карл Фаберже, пытавшийся повторить «Феодосийские серьги», потерпел неудачу.
В 1871 году на средства, полученные от выставки своих картин в Петербурге, Айвазовский построил на холме Митридат, неподалёку от дома, в котором он родился, здание для Музея древностей (до этого коллекция музея размещалась в небольшой турецкой мечети). С именем Айвазовского связана и судьба музея в ХХ веке. В 1925-м его перевели в бывший дом художника (где музей размещался до 1988 года), соединив с картинной галереей в одно учреждение. Здание на холме Митридат было разрушено во время Великой Отечественной войны — предположительно, от попадания корабельного снаряда.

Айвазовский был женат дважды. Обстоятельства его первой женитьбы, в 1848 году, были весьма необычны. В один из своих приездов в Петербург он был представлен знатной вдове, имевшей двух дочерей на выданье. Девушки пожелали учиться живописи у знаменитого художника. И через некоторое время вдова стала замечать, что художник слишком часто засиживается в её доме, не только даёт девушкам уроки живописи, но и устраивает музыкальные вечера, играя на скрипке под аккомпанемент гувернантки её дочерей. Вдова уже гадала, какой из дочерей художник отдаст предпочтение (тайно надеясь, что руку и сердце предложат ей самой). Однако назревавший финал оказался таким, какого никто и не предполагал: Айвазовский вскоре женился на гувернантке — Юлии Гревс. Айвазовский писал в одном из писем: «Правда, я женился как истинный артист, то есть влюбился как никогда. В две недели всё было кончено. Лучшие мои картины те, которые написаны по вдохновению, так я и женился. Мы по необходимости лето проводим здесь и только 10 или 5 августа пустимся в Крым на постоянное жительство». Увы, именно нежелание Айвазовского жить в столице стало причиной того, что Юлия Яковлевна ушла от него спустя 12 лет, успев, однако, за это время родить ему четырёх дочерей.
Со своей второй женой, красавицей Анной Саркисовой-Бурназян, Айвазовский познакомился на похоронах её мужа, известного феодосийского купца, в 1882 году. Спустя год они поженились. Анна Никитична была на 40 лет моложе мужа и пережила его на 44 года — она умерла в Симферополе во время немецкой оккупации Крыма.

Айвазовский часто устраивал в своем доме приёмы и старался удивить своих гостей чем-то особенным. Вместе с поваром художник выбирал меню для банкета и, говорят, даже придумывал блюдам оригинальные названия. Гостям подавались угощения, названные в честь его картин: суп «Чёрное море», пирожки «Гавань», соус «Азовское море», зелень «Капри», пунш «Везувий», мороженое «Северное море», шампанское «От штиля к урагану».
Особую слабость мэтр питал к шампанскому. Этот напиток подавался каждый раз по-особенному. Художник заранее снимал заводские этикетки с бутылок и рисовал на их месте новые. Несложно догадаться, что чаще всего на них изображалась бурлящая морская стихия.

Однажды Айвазовскому довелось ночевать в комнате-музее лорда Байрона на острове Святого Лазаря в Венеции. Родной брат художника Гавриил выбрал церковный путь в жизни и стал монахом в монастыре на данном острове. Когда Иван Айвазовский приезжал к нему, художника поселили в комнате, в которой раньше останавливался лорд Байрон (поэт учил армянский язык в монастыре Святого Лазаря). Эту комнату в монастыре сохраняли как музей. Всё в ней оставалось таким, каким было при визите поэта.
Честь остановиться в ней выпадала редким счастливчикам и считалась знаком особого уважения. Молодой художник был очень взволнован этим фактом, ему казалось, что таким образом он получает благословение поэта-романтика. Примечательно, что именно после ночи, проведенной в комнате лорда Байрона художник окончательно решил изменить свою фамилию, убрав букву «Г» и став из Гайвазовского Айвазовским.