9 мая 1990 года НХЛ одобрило сделку, по которой Джордж и Гордон Ганд, продав «Миннесоту Норт Старз», получили права на новый клуб в районе залива у Сан-Франциско. Руководством клуба было объявлено о голосовании среди болельщиков с целью выбрать новое название для команды. В июле более 2300 всевозможных вариантов было вынесено на голосование, в котором участвовало свыше 5700 человек. Наконец, 6 сентября того же года было объявлено, что новая команда будет называться «San Jose Sharks» (рус. "Акулы Сан-Хосе"), этот вариант был предложен Алленом Спиром из Сан-Хосе. Выбор во многом был обусловлен тем фактом, что в водах Тихого океана, граничащего с городом Сан-Хосе обитает семь видов акул. Вице-президента по маркетингу Мэтт Левин так же заявил:

Акулы безжалостны, решительны, быстры, ловки, умны и бесстрашны. Мы хотим, чтобы наша команда соответствовала всем этим качествам.

Через несколько недель после этого Джордж Ганд и мэр Сан-Хосе Том Макенери решили, что в течение двух лет, пока ведётся строительство новой арены в центре Сан-Хосе, местом проведения домашних встреч «Шаркс» будет «Кау Пэлэс» в Дэйли Сити, что на 80 километров севернее Сан-Хосе. 12 февраля 1991 года публике был представлен логотип — детище дизайнеров Терри Смита и Майка Блэтта. Демонстрацию первых клубных свитеров провели совладелец «Шаркс» Джорж Ганд и легенда мирового хоккея Горди Хоу.

Первым тренером «Сан-Хосе Шаркс» был назначен Джордж Кингстон, тренировавшей до этого молодёжный состав «Калгари». Помимо первых 34 хоккеистов выбранных менеджментом «Шаркс» на драфте расширения, 22 апреля на Драфте новичков «Шаркс» подписывают Пэта Фоллуна, по итогам сезона набравшего наибольшее количество очков в команде. Одним из немногих звёздных игроков клуба стал защитник Дуг Уилсон из «Чикаго Блэкхокс», покупка которого состоялась 6 сентября 1991 года. Дуг стал первым капитаном «Шаркс».

Свой первый матч «Акулы» сыграли 4 октября 1991 года в Ванкувере и проиграли 3:4. Первую шайбу «Сан-Хосе» в НХЛ забросил Крэйг Кокс. 8 октября того же года «Шаркс» одержали свою первую победу, переиграв на своём льду «Калгари Флэймз» 4:3. 30 ноября «Шаркс» совершили первый выезд за пределы родной площадки. Недавний обладатель Кубка Стэнли — «Калгари», был повержен со счётом 1:2. Однако, первые два сезона стали самыми неудачными в короткой истории клуба. В сезоне 1992/93 команда проиграла 71 игру, установив тем самым новый антирекорд НХЛ по количеству поражений. 17 ноября 1992 год латышский вратарь «Акул» Артур Ирбе отразил 39 бросков в матче с «Лос-Анджелес Кингз» и помог своей команде одержать первую «сухую» победу в истории «Шаркс» со счётом 6:0. 20 ноября того же года капитан «Акул» Дуг Уилсон достиг отметки 1000 игр за карьеру, случилось это в матче против «Чикаго Блэкхокс», цвета которых Дуг защищал на протяжении 14 сезонов