Довгий час Закон Мура був справедливий для всіх галузей комп'ютерної індустрії — від домашніх систем до суперкомп'ютерів: кожні два роки подвоювалася число транзисторів на одиницю площі за рахунок прогресу в нормах виробництва, а разом з цим росла і продуктивність. Зараз зростання, якщо судити по рейтингу Top 500, поступово сповільнюється. Претендувати на звання суперкомп'ютерів можуть системи (створювані урядами, інститутами та організаціями), здатні забезпечити не менш петафлопса продуктивності. Але незабаром десятки і сотні петафлопс стануть нормою, экзафлопсные обчислення стануть загальним місцем, і індустрія почне думати про вибір наступного психологічного порогу продуктивності.

Шість років тому в списку Top 500 за червень 2013 року сукупна продуктивність півтисячі систем, які пройшли тестування Linpack, почала сповільнюватися і в підсумку перетнула прогнозовану лінію закону Мура. Це сталося після сплеску приросту продуктивності, коли сукупний ріст потужностей суперкомп'ютерів протягом деякого часу дещо випереджав закон Мура.

Сукупна продуктивність в списку Top 500 за червень 2019 року становить 1,56 экзафлопс, що на 28 % більше 1,22 экзафлопс на червень 2018 року і вдвічі більше 749 петафлопс на червень 2017 року (варто пам'ятати, що все це згідно з результатами тесту Linpack, який оцінює 64-біт продуктивність систем в обчисленнях з плаваючою комою). Не так уже й погано, але якби тенденція відповідала закону Мура, в червні 2019 року сукупна продуктивність 500 суперкомп'ютерів у списку повинна була бути на рівні близько 4 экзафлопс — величезне відставання.

Продуктивність найпотужнішого суперкомп'ютера на графіку знаходиться посередині. Традиційно ця лінія виглядає ступінчастою, оскільки така система, як правило, очолює список декілька років поспіль, поки на зміну їй не приходить новий «цар гори». Якби відповідність із законом Мура зберігалося, індустрія вже повинна була створити систему продуктивністю майже 500 петафлопс за оцінкою в Linpack. Лінія закону Мура свідчить, що до вересня 2020 року у нас повинна бути машина з продуктивністю 1 экзафлопс. Але, схоже, ми спізнимося приблизно на рік, навіть якщо США, Китай, Японія і ЄС виконають свої плани.

Цікаво, однак, що вже в червні 2014 року нижній представник списку Top 500 теж став відставати від прогнозів. Зараз в цьому списку є суперкомп'ютери з продуктивністю не менше 1 петафлопс в операціях з плаваючою комою подвійної точності за оцінкою Linpack. Хоча це і велике досягнення, в теорії там вже повинні бути системи потужністю не менше 2,5 петафлопс.

Наскільки це критично — сказати складно. Індустрія високопродуктивних обчислень продовжує розвиватися і вирішувати безліч проблем, у тому числі в області мережних з'єднань і систем зберігання даних. Але дві речі очевидні: стає все важче підтримувати темпи приросту продуктивності, як з точки зору архітектури, так і з точки зору витрат.

Вже багато років поспіль набагато простіше наростити продуктивність суперкомп'ютера, ніж знизити вартість обчислювальної одиниці. Але вчені і технологи намагаються вирішувати проблему нарощування продуктивності на багатьох фронтах. З одного боку, навіть дивно, що ми зараз знаходимося на порозі экзафлопсных обчислень: одиниця продуктивності коштує набагато дешевше, ніж передбачали багато, а енергоспоживання — помітно нижче, ніж представлялося можливим.

Отже, давайте уважніше подивимося на п'ять верхніх систем з рейтингу Top 500 за червень 2019 року. Система Summit, створена IBM за допомогою NVIDIA і Mellanox Technologies для Національної лабораторії Ок-Рідж, трохи підвищила свою продуктивність, досягнувши стабільних 148,6 петафлопс в Linpack — майже весь приріст отриманий за рахунок прискорювачів Tesla з архітектурою Volta. При цьому пікова продуктивність Summit становить 200,8 петафлопс.

Система Sierra Ліверморської національної лабораторії ім. Лоуренса зберегла продуктивність у 94,6 петафлопс і втрималася на другому місці. Sunway TaihuLight в Національному суперкомпьютерном центрі в Уси (Китай) на базі власних процесорів SW26010 посіла третє місце з 93 петафлопсами. Tianhe-2A у Національному суперкомпьютерном центрі в Гуанчжоу (Китай), використовує DSP-прискорювачі Matrix-2000 і чіпи Xeon, посіла четверте місце з 61,4 петафлопсами.

Ходили чутки про те, що Китай збирається запустити одну з своїх систем предэкзафлопсного покоління, щоб скинути Summit з Олімпу, однак цього не сталося — можливо, варто почекати до листопада 2019 року. Можна очікувати, що до появи экзафлопсных систем наприкінці 2021 року або на початку 2022 року ми побачимо чимало суперкомп'ютерів з продуктивністю в районі 200 петафлопс.

Система Frontera Центру передових обчислень в Університеті Техасу, створена Dell на основі 28-ядерних процесорів Intel Xeon Platinum 8280 (Skylake-SP) з використанням інтерконекту InfiniBand 200 Гбіт/с від Mellanox, посіла лише п'яте місце. Frontera — це вже не цілком характерний сьогодні суперкомп'ютер, так як для розрахунків використовуються тільки CPU. Його максимальна теоретична продуктивність становить 38,7 петафлопс, а в Linpack він показує 23,5 петафлопс — ефективність 448 448 ядер складає всього 60,7 %. Можливо, в майбутньому система підвищить показники за рахунок оптимізації виконання Linpack.

Приблизно з 2003 року Intel залишається домінуючим постачальником — принаймні, за кількістю систем, що використовують її процесори. Зараз CPU Intel застосовуються у 95,6 % представників зі списку Top 500, однак потрібно сказати кілька слів і про самого рейтингу. Справа в тому, що все більша кількість суперкомп'ютерів із США, Китаю, ЄС і Японії, які надсилають результати Linpack, не мають нічого (часом абсолютно нічого спільного з реальним робочим навантаженням HPC або навіть до навантажень в області штучного інтелекту і просто беруть участь у рейтингу заради престижу своїх країн.

Немає правила, згідно з яким входить у рейтинг машина повинна дійсно виконувати завдання HPC або ІІ в якості своєї повсякденної роботи: важливі лише результати Linpack. Це спотворює характер списку: фактично з нього витісняються реальні центри високопродуктивних обчислень, і, що може бути ще важливіше, створюється враження, ніби відставання від закону Мура не настільки значно, чим, ймовірно, справа йде насправді.

Хотілося б, щоб у майбутньому в списку Top 500 була якась перевірка, що дозволяє переконатися, що суперкомп'ютер дійсно на ділі виконував завдання HPC більшу частину часу до того, як потрапив у рейтинг. Зміст списку повинен бути у розумінні реальних тенденцій HPC, а не тенденцій систем, настроєних на тести продуктивності Linpack.

Більше чверті всього рейтингу Top 500 нині становлять машини з прискорювачами. Суперкомп'ютери на базі NVIDIA Tesla V100 в тому чи іншому виконанні займають 62 пункту або 12,4 % списку, забезпечуючи при цьому 621,4 петафлопс пікової і 406,3 петафлопс стійкої продуктивності — приблизно чверть 1,56 экзафлопса продуктивності всього списку на червень 2019 року.

Більш старі прискорювачі NVIDIA Tesla P100 встановлені в 46 машинах (9,2 % систем), але забезпечують 160,8 петафлопс в піке і 94,6 петафлопс стійкої продуктивності Linpack (6,1 % сукупної потужності). У список увійшли ще дванадцять машин, які використовують акселератори NVIDIA, але їх стійка продуктивність складає всього 44,7 петафлопс, що не дуже багато. Є тільки дві машини, які побудовані виключно на прискорювачах Intel Xeon Phi. Є ряд гібридних машин з Xeon і Xeon Phi, які за рахунок прискорювачів здатні забезпечити значну продуктивність в операціях з плаваючою комою, але ці дані не конкретизуються у зведеної інформації Top 500.

Проблема в тому, що прискорені системи ще не є нормою, але вони вже вважаються суперкомп'ютерами. Реальні завдання суперкомп'ютерів можуть не завжди отримувати відчутний приріст від використання GPU і інших прискорювачів — останні показують високу ефективність на системах, які виконують одночасно сотні або тисячі додатків і потоків. NVIDIA створила ринок таких систем, а AMD і Intel зараз збираються на ньому конкурувати — це буде стимулювати інновації та знижувати ціни, що корисно для клієнтів, але, можливо, не так добре для постачальників. На ринку HPC вже сьогодні складно заробляти гроші, а в епоху экзафлопсных обчислень стане ще важче.