Užitočné tipy

Siete pre superpočítače

Distribuované výpočty sú jedným zo spôsobov, ako prispieť k niektorým zaujímavým projektom. Keď je počítač nečinný, zdieľajte jeho silu s projektom SETI, ktorý hľadá mimozemské civilizácie. V takom prípade bude váš počítač analyzovať satelitné údaje a informácie prijaté z ďalekohľadov.

Tento článok vám pomôže zapojiť sa do projektov (napríklad SETI), ktoré sa týkajú distribuovaného výpočtového systému. V tomto článku sa tiež uvádza zoznam BOINC, distribuovaného počítačového softvéru.

Potrebujete počítač. Ak ho už máte, prejdite do časti Zdroje a odkazy a nainštalujte softvér BOINC. Ak vás projekt SETI nezaujíma, nižšie nájdete zoznam ďalších projektov.

Ak je veľa peňazí

Osobitne si všimneme mimoriadne drahé, ale produktívne rady procesorov na sokete Intel Xeon LGA1567.
Špičkovým procesorom v tejto sérii je E7-8870 s desiatimi 2,4 GHz jadrami. Jeho cena je 4616 dolárov. Pre takéto CPU sa HP a Supermicro uvoľňujú! osem-! podvozok servera. Osem desaťjadrových procesorov Xeon E7-8870 2,4 GHz s technológiou HyperThreading podporuje 8 * 10 * 2 = 160 vlákien, ktoré sa v Správcovi úloh systému Windows zobrazujú ako sto šesťdesiat grafov zaťaženia procesora, matica 10x16.

Aby sa do prípadu zmestilo osem procesorov, nie sú okamžite umiestnené na základnú dosku, ale na samostatné dosky, ktoré sa nalepia na základnú dosku. Na fotografii sú zobrazené štyri základné dosky s procesormi nainštalovanými v základnej doske (po dvoch na každej). Toto je riešenie spoločnosti Supermicro. V riešení HP má každý procesor svoju vlastnú dosku. Náklady na riešenie HP sú dva až tri milióny, v závislosti od počtu procesorov, pamäte a ďalších. Podvozok Supermicro stojí 10 000 dolárov, čo je atraktívnejšie. Okrem toho môže Supermicro do portov PCI-Express x16 vložiť štyri rozširujúce karty s procesorom PCI-Express (mimochodom, stále existuje priestor pre adaptér Infiniband na zostavenie ich zoskupenia), ale iba dve v HP. Preto je pre vytvorenie superpočítača atraktívnejšia 8-procesorová platforma od Supermicro. Nasledujúca fotografia z výstavy zobrazuje kompletný superpočítač so štyrmi doskami GPU.

Je to však veľmi drahé.

Komunikačné siete

Účinnosť superpočítača v mnohých aplikáciách je do značnej miery určená profilom práce s pamäťou a sieťou. Profil práce s pamäťou je zvyčajne opísaný časopriestorovou lokalizáciou hovorov - veľkosťou hovoru a rozptylom ich adries a profil práce so sieťou je opísaný rozdelením uzlov, s ktorými sa vymieňajú správy, výmenným kurzom a veľkosťami správ.

Výkon superpočítača pri úlohách s intenzívnou výmenou údajov medzi uzlami (problémy s modelovaním, problémy v grafoch a nepravidelných sieťach, výpočty pomocou riedkej matice) je určený predovšetkým výkonnosťou siete, takže použitie konvenčných komerčných riešení (napríklad Gigabit Ethernet) je mimoriadne neefektívne. Skutočná sieť je však vždy kompromisným riešením, v rámci ktorého rozvoja sú stanovené priority medzi cenou, výkonom, spotrebou energie a inými požiadavkami, ktoré sú do značnej miery protichodné: pokusy zlepšiť jednu charakteristiku môžu viesť k zhoršeniu druhej.

Komunikačná sieť pozostáva z uzlov, z ktorých každý má sieťový adaptér pripojený k jednému alebo viacerým smerovačom, ktoré sú zase vzájomne prepojené vysokorýchlostnými komunikačnými kanálmi (linkami).

Obr. 1. Topológia 4D-torus (3x3x3x3)

Štruktúra siete, ktorá určuje, ako presne sú uzly systému vzájomne prepojené, je určená topológiou siete (zvyčajne mriežka, torus alebo hrubý strom) a súborom štrukturálnych parametrov: počet meraní, počet úrovní stromu, rozmery strán torusu, počet prepínačov na úrovni stromov, počet sieťových uzlov. porty na smerovačoch atď. Obrázok 1 zobrazuje príklad topológie štvorrozmerného torusu 3x3x3x3.

Architektúra smerovača určuje štruktúru a funkčnosť blokov zodpovedných za prenos údajov medzi sieťovými uzlami, ako aj potrebné vlastnosti protokolov kanálovej, sieťovej a transportnej vrstvy, vrátane smerovania, arbitráže a algoritmov riadenia toku dát. Architektúra sieťového adaptéra určuje štruktúru a funkčnosť blokov zodpovedných za interakciu medzi procesorom, pamäťou a sieťou, najmä MPI operácie sú podporované na tejto úrovni, RDMA (Remote Direct Memory Access - priamy prístup do pamäte iného uzla bez účasti jeho procesora), potvrdenie o prijatí paketu iným uzlom, riešenie mimoriadnych situácií, agregácia paketov.

Na hodnotenie výkonnosti komunikačnej siete sa najčastejšie používajú tri charakteristiky: kapacita (množstvo prenesených údajov za jednotku času), oneskorenie komunikácie (čas prenosu dát v sieti), tempo správy (zvyčajne posudzujú rýchlosť doručovania pri odosielaní, prijímaní a prenose paketov medzi vnútornými jednotkami smerovača).

Pre úplnosť sa tieto charakteristiky merajú na rôznych druhoch prenosu, napríklad, keď jeden uzol posiela údaje všetkým ostatným alebo naopak, všetky uzly odosielajú údaje do jedného alebo keď všetky uzly odosielajú dáta do náhodných cieľov. Na moderné siete sa kladú požiadavky na funkčnosť:

  • účinnú implementáciu knižnice Shmem ako možnosti podpory jednosmerného komunikačného modelu a siete GASNet, na ktorých je založená implementácia mnohých jazykov PGAS,
  • efektívnu implementáciu MPI (zvyčajne si to vyžaduje účinnú podporu mechanizmu kruhových vyrovnávacích pamätí a potvrdení pre prijaté pakety),
  • účinná podpora pre kolektívne operácie: vysielanie (posielanie rovnakých údajov súčasne do mnohých uzlov), zníženie (použitie binárnej operácie, napríklad pridanie do súboru hodnôt prijatých z rôznych uzlov), distribúcia prvkov poľa cez skupinu uzlov (rozptyl), zostavenie súboru prvkov, umiestnené na rôznych uzloch (zhromažďovať),
  • účinná podpora synchronizačných operácií medzi uzlami (aspoň synchronizácia bariéry), účinná interakcia so sieťou veľkého počtu procesov v uzle a zabezpečenie spoľahlivého doručovania paketov.

Dôležitá je tiež efektívna podpora práce adaptéra s pamäťou hostiteľa priamo bez zapojenia procesora.

Zahraničné vysokorýchlostné siete

Všetky komunikačné siete možno rozdeliť do dvoch tried: komerčné a zvykové, vyvinuté ako súčasť počítačových systémov a dostupné iba s nimi. Medzi komerčné siete je trh rozdelený medzi InfiniBand a Ethernet - v zozname Top500 (jún 2011) 42% systémov používa InfiniBand a 45% používa Gigabit Ethernet. Zároveň, ak je InfiniBand zameraný na segment vysoko výkonných systémov navrhnutých pre komplexné výpočtové úlohy s veľkým počtom komunikácií, potom Ethernet tradične zaberá miesto, kde je výmena dát medzi uzlami kritická. V superpočítačoch je sieť Ethernet kvôli svojej nízkej cene a dostupnosti často používaná ako sieť pomocných služieb, aby sa znížilo rušenie riadenia prenosu a prenosu úloh.

Sieť Inifiniband bola spočiatku zameraná na konfigurácie s topológiou Fat tree, ale najnovšie verzie prepínačov a smerovačov (primárne vyrábaných spoločnosťou QLogic) podporujú multidimenzionálnu topológiu torusu (pomocou Torus-2QoS Routing Engine), ako aj hybridnú topológiu z 3D torusu. a tuk strom. Superpočítač Sandia RedSky, zostavený na začiatku roku 2010 a teraz na 16. mieste v Top500, je jedným z prvých veľkých projektov so sieťou InfiniBand a topológiou 3D torus (6x6x8). Veľká pozornosť sa teraz venuje aj účinnej podpore operácií RDMA a knižnice Shmem (najmä Qlogic Shmem).

Popularita InfiniBandu je spôsobená relatívne nízkymi nákladmi, rozvinutým ekosystémom softvéru a účinnou podporou MPI. InfiniBand má však svoje nevýhody: nízka rýchlosť doručovania správ (40 miliónov správ za sekundu v najnovších riešeniach od spoločnosti Mellanox), nízka účinnosť prenosu krátkych paketov, relatívne veľké oneskorenie (viac ako 1,5 μs pre prenosy medzi uzlami a ďalšie 0,1 - 0,5 μs na tranzitný uzol), slabá podpora toroidnej topológie. Vo všeobecnosti možno tvrdiť, že InfiniBand je produkt pre masového používateľa a počas jeho vývoja sa dosiahol kompromis medzi efektívnosťou a univerzálnosťou.

Za zmienku stojí aj sieť Extoll, ktorá sa pripravuje na uvedenie na trh - rozvoj univerzity v Heidelbergu pod vedením profesora Ulricha Brueninga. Hlavným dôrazom pri rozvoji tejto siete je minimalizácia oneskorení a zvýšenie rýchlosti doručovania v jednosmernej komunikácii. Plánuje sa, že zariadenie Extoll bude mať topológiu 3D torusu a bude používať optické spojenia so šírkou pásma 10 Gb / s na jeden jazdný pruh (kanál na prenos sériových údajov v rámci prepojenia) a šírkou 12 jazdných pruhov na jeden spoj. Teraz existujú prototypy siete Extoll na FPGA: R1 - založené na Virtex4, R2 Ventoux - dvojuzlové usporiadanie založené na Virtex6. Jednosmerná šírka pásma na linku je 600 MB / s (pre R1). Podporované budú aj dve rozhrania (HyperTransport 3.0 a PCI Express gen3) s procesorom, ktoré umožnia integráciu tejto siete do platforiem Intel a AMD. Extoll podporuje niekoľko spôsobov usporiadania jednosmerných záznamov, svoju vlastnú MMU (Unit Management Unit, blok prekladu virtuálnych adries na fyzické adresy) a atómové operácie.

Na rozdiel od komerčných sietí majú vlastné siete oveľa menší podiel na trhu, používajú sa však v najvýkonnejších superpočítačoch od spoločností Cray, IBM, SGI, Fujitsu, NEC a Bull. Pri navrhovaní vlastných sietí majú vývojári väčšiu slobodu a snažia sa využívať progresívnejšie prístupy z dôvodu nižšej dôležitosti atraktivity finálneho produktu pre trh, pričom sa rieši predovšetkým problém získania maximálneho výkonu pri konkrétnej triede úloh.

Počítačový superpočítač K používa proprietárnu komunikačnú sieť Tofu (TOrus FUsion), ktorá je škálovateľným 3D torom, ktorého uzly obsahujú skupiny 12 uzlov (skupiny uzlov sú spojené 12 sieťami s 3D torusom a každý uzol z tejto skupiny má svoj vlastný výstup) 3D sieť torus). Uzly v každej skupine sú vzájomne prepojené 3D torusom so stranami 2x3x4 bez duplicitných odkazov, čo je ekvivalentné 2D torusu so stranami 3x4 (takže dostaneme 5D torus s pevnými dvoma rozmermi). Uzol siete Tofu má teda 10 spojení s jednosmernou priepustnosťou 40 Gb / s. V hardvéri je podporovaná bariérová synchronizácia uzlov a redukcia (celé a plávajúce číslo).

Hlavným cieľom pri vývoji superpočítača Tianhe-1A bolo dosiahnuť vysokú energetickú účinnosť, vyvinúť vlastný procesor a sieť, ktorá je lepšia ako u InfiniBand QDR. Superpočítač sa skladá z 7168 výpočtových uzlov spojených sieťou Arch podľa jeho vlastného návrhu s hrubou topológiou stromu. Sieť je postavená zo 16-portových smerovačov, jednosmernej šírky pásma spojenia - 8 GB / s, oneskorenie - 1,57 μs. Podporované operácie RDMA a optimalizované hromadné operácie.

Klasickými predstaviteľmi systémov využívajúcich toroidnú topológiu na kombináciu výpočtových uzlov sú systémy pre sériu IBM Blue Gene, z ktorých v prvých dvoch generáciách - Blue Gene / L (2004) a Blue Gene / P (2007) - sa použila topológia 3D torus. Sieť v Blue Gene / P má relatívne slabé spojenia s jednostrannou šírkou pásma 0,425 GB / s, čo je rádovo menej ako šírka pásma jej súčasného spojenia InfiniBand QDR, hardvérová podpora synchronizácie bariér a kolektívnych operácií (v samostatných stromových sieťach) však umožňuje dobrú škálovateľnosť na reálne aplikácie. Okrem toho sú všetky rozhrania a smerovacie jednotky integrované do mikroprocesora BPC (Blue Gene / P Chip), čo výrazne znižuje oneskorenia prenosu správ. Komunikačná sieť novej generácie Blue Gene / Q má topológiu 5D-tor a na rozdiel od jej predchodcov nemá oddelené siete na synchronizáciu bariér a kolektívne operácie. Čip Blue Gene / Q sa po prvý krát stal viacjadrovým a viacvláknovým vláknom - štyri hardvérové ​​vlákna na jadro so 16 jadrami, čo umožňuje oslabenie sieťových požiadaviek a zabezpečenie tolerancie oneskorenia. Priepustnosť spojenia bola zvýšená na 2 GB / s, ale stále je nízka v porovnaní s Cray Gemini alebo Extoll. Nízka priepustnosť v týchto systémoch je vyrovnaná veľkým rozmerom torusu (veľký počet spojení) a v dôsledku toho malým priemerom siete (výrazne menší ako priemer sietí s topológiou 3D torusu s rovnakým počtom uzlov). Dostupné zdroje informujú o vytvorení dvoch superpočítačov Blue Gene / Q transpetaflops: Sequoia s výkonom 20 PFLOPS a Mira - 10 PFLOPS. Môžeme konštatovať, že Blue Gene / Q je zameraný na úlohy, ktoré budú využívať desiatky a stovky tisíc výpočtových uzlov so sieťovou prevádzkou typu „všetko pre všetkých“.

Ďalším prívržencom prístupu k budovaniu komunikačných sietí s toroidnou topológiou je Cray, ktorý naďalej používa 3D topológiu tor, pričom zvyšuje priepustnosť a počet spojení spájajúcich susedné uzly. Súčasná generácia toroidnej siete Cray je sieť Cray Gemini. Jeden router Gemini zodpovedá dvom smerovačom predchádzajúcej generácie SeaStar2 +, to znamená vlastne dvom sieťovým uzlom, preto sa v Gemini namiesto 6 spojení 10 používa na pripojenie k susedným uzlom (2 slúžia na spojenie dvoch adaptérov navzájom).

Komponenty (sieťové adaptéry, prepínače, smerovače) siete pre superpočítač sú na rozdiel od procesorov často drahšie a prístup k nim je obmedzený. Napríklad teraz prepínače pre sieť InfiniBand, ktorá je hlavnou obchodnou sieťou pre superpočítače, vyrábajú iba dve spoločnosti, z ktorých obidve sú kontrolované Spojenými štátmi. To znamená, že v prípade, že nedôjde k vlastnému rozvoju v oblasti vysokorýchlostných sietí, je možné ľahko ovládať vytváranie moderných superpočítačov v ktorejkoľvek krajine okrem USA, Číny alebo Japonska.

Domáce siete

Rozvoj komunikačných sietí pre použitie v superpočítačoch vykonáva množstvo domácich organizácií: RFNC VNIIEF (o tomto vývoji v otvorených zdrojoch je veľmi málo informácií), Inštitút pre softvérové ​​systémy Ruskej akadémie vied a RSK SKIF, IPM RAS a Výskumný ústav Kvant (sieť MVS-Express). ").

3D komunikačná sieť pre rusko-taliansky superpočítač SKIF-Aurora je kompletne vybudovaná pomocou FPGA Altera Stratix IV, čo vysvetľuje pomerne malú šírku pásma na linku - 1,25 GB / s (zdroje FPGA sú veľmi obmedzené).

V sieti MVS-Express sa PCI Express 2.0 používa na integráciu výpočtových uzlov a uzly sú pripojené prostredníctvom 24-portových prepínačov. Sieť má topológiu blízko stromu Fat. Sieťový adaptér vo výpočtovom uzle má jeden port so šírkou 4 pruhy, v dôsledku čoho je jednosmerná priepustnosť v špičke na spojenie 20 Gbit / s bez ohľadu na režijné náklady na kódovanie. Výhodou použitia PCI Express v MVS-Express je efektívna podpora zdieľanej pamäte s možnosťou jednosmernej komunikácie. Výsledkom je, že sieť je vhodná na implementáciu knižnice Shmem a jazykov PGAS (UPC, CAF).

S podporou Ministerstva priemyslu a obchodu Ruskej federácie NICEVT OJSC pracuje na rozvoji komunikačnej siete Angara s topológiou 4D-tor, ktorá sa môže stať základom pre vytváranie domácich technológií pre rozvoj superpočítačov.

Sieť „Angara“

Hlavné ciele rozvoja siete Angara:

  • účinná podpora jednosmernej komunikácie (put / get) a jazykov PGAS (ako hlavného prostriedku paralelného programovania),
  • Účinná podpora MPI
  • vydanie vlastného kryštálu (na dosiahnutie vysokej rýchlosti prenosu dát a nízkeho oneskorenia),
  • adaptívny prenos paketov bezpečný pri poruche,
  • efektívna práca s modernými procesormi a chipsetmi.

V prvej etape rozvoja tejto siete (2006) sa uskutočnila simulácia rôznych možností siete a hlavné rozhodnutia sa prijali v topológii, architektúre smerovačov, smerovacích algoritmoch a arbitráži. Okrem toroidnej topológie sa zvažovali aj Cayleyove siete a „hustý strom“. Štvor-dimenzionálny torus bol vybraný kvôli jeho jednoduchšiemu smerovaniu, dobrej škálovateľnosti a vysokej konektivite v porovnaní s menšími tori. Sieťové modelovanie umožnilo podrobne študovať vplyv rôznych parametrov sieťovej architektúry na hlavné výkonové charakteristiky, porozumieť vzorcom prenosu úloh s intenzívnym nepravidelným prístupom k pamäti. V dôsledku toho sa vybrali optimálne veľkosti vyrovnávacej pamäte, počet virtuálnych kanálov a analyzovali sa potenciálne úzke miesta.

V roku 2008 sa objavil prvý prototyp FPGA smerovača - sieťové rozloženie šiestich uzlov na Virtex4 pripojených k torpu 2x3, na ktorom bola odladená základná funkčnosť smerovača, prepracovaný prenos údajov odolný voči chybám, boli napísané a odladené knižnice ovládača a nízkej úrovne, knižnice Shmem a MPI. Teraz bolo spustené usporiadanie tretej generácie pozostávajúce z deviatich uzlov zapojených do dvojrozmerného torusu 3x3. Собран стенд с двумя узлами для тестирования новых разъемов и каналов передачи данных, предполагаемых к использованию с будущими кристаллами маршрутизатора ВКС. При разработке принципов работы сети ряд деталей был позаимствован из работ и , а также в том или ином виде из архитектур IBM Blue Gene и Cray SeaStar.

Сеть «Ангара» имеет топологию 4D-тор. Поддерживается детерминированная маршрутизация, сохраняющая порядок передачи пакетов и предотвращающая появление дедлоков (взаимных блокировок), а также адаптивная маршрутизация, позволяющая одновременно использовать множество путей между узлами и обходить перегруженные и вышедшие из строя участки сети. Osobitná pozornosť sa venovala podpore kolektívnych operácií (vysielanie a redukcia) realizovaných pomocou virtuálnej podsiete, ktorá má topológiu stromu navrstvenú na viacrozmerný torus. Sieť na hardvérovej úrovni podporuje dva typy vzdialených zápisov, čítaní a atómových operácií (sčítanie a vylučovanie ALEBO). Schéma vykonávania vzdialeného čítania (odoslanie žiadosti a prijatie odpovede) je znázornená na obr. 2 (vzdialené zaznamenávanie a atómové operácie sa vykonávajú podobne). V samostatnom bloku je logika implementovaná na agregovanie správ prijatých zo siete, aby sa zvýšil podiel užitočných údajov na transakciu pri prenose cez rozhranie s hostiteľom (hostiteľ je mostík medzi procesorom a pamäťou).

Obr. 2. Schéma vzdialeného čítania v sieti Angara

Vo vrstve dátového spojenia je podporovaný prenos paketov bezpečný proti zlyhaniu. Existuje tiež mechanizmus na obchádzanie zlyhaných komunikačných kanálov a uzlov opätovným zostavením smerovacích tabuliek. Na vykonávanie rôznych servisných operácií (najmä na konfiguráciu / opätovné zostavenie smerovacích tabuliek) a vykonanie niektorých výpočtov sa používa servisný procesor. Hostiteľské rozhranie používa PCI Express.

Obr. 3. Štruktúra výpočtového uzla so sieťovým adaptérom / smerovačom „Angara“

Hlavné bloky smerovača:

  • rozhranie s hostiteľským systémom, zodpovedné za príjem a odosielanie paketov na hostiteľskom rozhraní,
  • injekčná a ejekčná jednotka, ktorá vytvára pakety, ktoré sa majú posielať do siete a analyzuje hlavičky paketov prichádzajúcich zo siete,
  • jednotka spracovania žiadosti, ktorá spracováva pakety, ktoré vyžadujú informácie z pamäte hostiteľského systému (napríklad čítanie alebo atómové operácie),
  • sieťová jednotka kolektívnej prevádzky, ktorá spracováva pakety spojené s kolektívnymi operáciami, najmä vykonávanie redukčných operácií, generovanie paketov so žiadosťou o vysielanie,
  • jednotka obsluhy služieb, ktorá spracováva pakety smerujúce do a zo servisného koprocesora,
  • prepínač spájajúci vstupy z rôznych virtuálnych kanálov a vstupy z injektorov s výstupmi do rôznych smerov a vyhadzovače,
  • komunikačné kanály na prenos a príjem údajov v určitom smere,
  • jednotku prenosu dát na odosielanie paketov v danom smere a prijímaciu a smerovaciu jednotku na prijímanie paketov a rozhodovanie o ich budúcom osude.

Interakcia hostiteľa (kód vykonaný v centrálnom procesore) so smerovačom sa vykonáva zápisom na pamäťové adresy mapované na adresy zdrojových oblastí smerovača (pamäťovo mapované vstup / výstup). To aplikácii umožňuje interakciu s routerom bez účasti jadra, čo znižuje réžiu odosielania paketov, pretože prepnutie do kontextu jadra a späť trvá viac ako sto hodinových cyklov. Na odoslanie paketov sa používa jedna z pamäťových oblastí, ktorá sa považuje za medzipamäť. Existuje tiež samostatný región na vykonávanie operácií bez kopírovania pamäťovej pamäte (dáta sú načítané z pamäte a zapisované adaptérom komunikačnej siete prostredníctvom operácií DMA) a oblasť s kontrolnými registrami. Prístup k určitým zdrojom smerovača je riadený jadrovým modulom.

Na dosiahnutie väčšej efektívnosti sa rozhodlo, že na jednom uzle by sa mala vykonávať iba jedna výpočtová úloha, čím sa odstránila réžia spojená s využívaním virtuálnej pamäte, zabránilo sa rušeniu úloh, zjednodušila sa architektúra smerovača z dôvodu nedostatku plnej MMU a zabránilo sa všetkým jeho práca s oneskorením komunikácie, ako aj zjednodušenie modelu zabezpečenia siete, čo z neho vylučuje bezpečnosť procesov rôznych úloh na jednom uzle. Toto riešenie neovplyvnilo funkčnosť siete tak, ako je určená primárne pre veľké úlohy (na rozdiel od InfiniBand, univerzálnej siete pre úlohy rôznych veľkostí). Podobné rozhodnutie bolo prijaté v spoločnosti IBM Blue Gene, kde sa pre túto sekciu zaviedlo obmedzenie jedinečnosti úlohy.

Na úrovni hardvéru je podporovaná simultánna práca so smerovačom mnohých vlákien / procesov jednej úlohy - je implementovaná vo forme niekoľkých vstrekovacích kanálov, ktoré sú k dispozícii na použitie procesmi prostredníctvom niekoľkých kruhových vyrovnávacích pamätí na zaznamenávanie paketov. Počet a veľkosť týchto vyrovnávacích pamätí sa môže dynamicky meniť.

Hlavným programovacím režimom siete Angara je spoločné využívanie MPI, OpenMP a Shmem, ako aj GASNet a UPC.

Po dokončení overovania a prototypovania siete sa plánuje vydanie čipu VLSI. Prototyp dávky VLSI bude navrhnutý na ladenie základných technologických riešení, technologický proces a experimentálne overenie výsledkov simulácie. Prototyp bude obsahovať všetky základné funkcie, pracovať s rozhraním PCI Express gen2 x16 a prepojenia s priepustnosťou 75 Gb / s.

Plánuje sa propagácia siete Angara na trhu v dvoch verziách: ako samostatná obchodná sieť vo forme kariet PCI Express pre klastrové systémy so štandardnými procesormi a čipovými súpravami a ako súčasť štvorpólového blade systému založeného na procesoroch AMD vyvíjaných na NICEVT.