BGPlay: mikor és mi történt a UPC hálózatával?

Biztos többen emlékeznek, hogy UPC hálózatával nemzetközi irányokban komoly problémák voltak november első két napjában. Nemrég bukkantam rá a BGPlay nevű Java utilra, amivel a BGP AS prefix hirdetéseket, path változásokat és visszavonásokat lehet a RouteViews projekt naplói alapján historikusan nyomon követni egy megadott prefixre. Általában nem szeretem a grafikus eszközöket, de ez tényleg klassz. Nézzük meg, hogy mi történt a UPC ASN6830-ból eredő 89.134.0.0/15 prefixszel a BGPlay-ben elérhető összes adatforrás szerint:

Felül az információs sávban látszik az időpont, az AS path változás, illetve annak a BGP peernek az IP-je, ahonnan az adott információ be lett gyűjtve. A grafikonon minden egyes AS path-t egy-egy vonal jelöl, ami áthalad az érintett AS-eken. A szaggatott vonalak azt jelzik, hogy az adott időintervallum alatt az adott AS path nem változott, míg színes, folyamatos vonalak a változásokat mutatják.

A HUP.hu fórum vonatkozó témájában azonban egy ennél is jobb eszközt linkeltek be. A RIPE májusban adott ki közleményt arról, hogy az eredeti BGPlay-t továbbfejlesztett formában elérhetővé teszi. A szervezet által működtetett BGPplay változat nagyobb adatforrásból dolgozik, a felület is tovább finomodott, így az előzőnél is látványosabb, ahogy a 34655-ös DoclerWeb AS eltéríti a 89.134.0.0/15 prefixet.

Előtte:

Utána:

BGP neighbor ellenőrzés FortiOS alatt

Igen rugalmas a Fortigate eszközök webes felülete, valóban szinte mindent el lehet intézni a webGUI-n keresztül, a BGP routeolás épp a kivételek közé tartozik, legalábbis keresgéltem egy ideig menüben rejtett opciókat, amivel több információt ki lehetne szedni a BGP-ről, aztán persze, mint oly sok egyéb esetben is, a vége CLI lett. Érdekes különben összevetni, hogy mennyire hasonlít az IOS show ip bgp neighbors x.x.x.x kimenetére a parancs FortiOS alatti párja:

FORTIGATE $ get router info bgp neighbors 10.10.10.10

BGP neighbor is 10.10.10.10, remote AS 65200, local AS 65100, external link

  BGP version 4, remote router ID 10.1.1.1

  BGP state = Established, up for 05w5d16h

  Last read 00:00:28, hold time is 180, keepalive interval is 60 seconds

  Configured hold time is 180, keepalive interval is 60 seconds

  Neighbor capabilities:

    Route refresh: advertised and received (old and new)

    Address family IPv4 Unicast: advertised and received

    Address family IPv6 Unicast: advertised and received

  Received 295328 messages, 159 notifications, 0 in queue

  Sent 297947 messages, 170 notifications, 0 in queue

  Route refresh request: received 0, sent 0

  Minimum time between advertisement runs is 30 seconds

 For address family: IPv4 Unicast

  BGP table version 7017, neighbor version 6997

  Index 0, Offset 0, Mask 0x1

  Community attribute sent to this neighbor (both)

  Outbound path policy configured

  Route map for outgoing advertisements is *SET-COMMUNITY-OUTroot

  1 accepted prefixes

  66 announced prefixes

 For address family: IPv6 Unicast

  BGP table version 1, neighbor version 1

  Index 0, Offset 0, Mask 0x1

  0 accepted prefixes

  0 announced prefixes

 Connections established 44; dropped 43

Local host: 10.10.10.1, Local port: 7864

Foreign host: 10.10.10.10, Foreign port: 179

Nexthop: 10.10.10.1

Nexthop global: ::

Nexthop local: ::

BGP connection: non shared network

Last Reset: 05w5d16h, due to BGP Notification sent

Notification Error Message: (CeaseUnspecified Error Subcode)

A legfontosabb sorok egy az egyben az IOS kimenetét imitálják. A BGP peer IP-je után, szintén az IOS-es mintára, biggyeszthetünk mindenféle kiegészítőket, például, hogy mit hirdetünk a szomszéd felé, mit kapunk tőle, stb.:

FORTIGATE $ get router info bgp neighbors 10.10.10.10 ?
<WORD>    (advertised-routes|received prefix-filter|received-routes|routes)

BGP gondok Juniper és Fortigate eszközök közt

Másfél hete volt egy igen kellemes leállásunk. Az ERP rendszerünk ki van szervezve külső szolgáltatóhoz, ahová rendeltünk egy bérelt vonalat és van egy backup VPN tunnelünk is. Ez elvileg ugye teljesen kerek, a bérelt vonal és a VPN-hez használt internet két különböző szolgáltatótól jön, BGP-t futtatunk mindenhol, a megoldás ki volt tesztelve átadáskor, gond egy szál sem, minden ment, a BGP peerek látták egymást bérelt vonalon és a VPN-en is, a bérelt vonal megszakításakor a forgalom gond nélkül átállt a backup VPN-re, ráadásul a peer-ek maguk is redundáns eszközök, szóval nagyjából tankönyvi megoldás volt, látszólag.

Na, ehhez képest két hete pénteken világvége volt, megállt az ERP site felé a bérelt vonal, mert valahol Észak-Európában elvágtak egy optikát, a backup VPN tunnel pedig hiába működött, az ERP site-ról nem jöttek a BGP frissítések, így nem volt elérhető az ERP rendszerünk.

Villámgyors megoldásként néhány jól irányzott statikus route jól jött volna, de a site-to-site VPN ki van szervezve (network teamen kívüli, felülről jött döntés), a VPN eszközeinkhez kizárólag read only hozzáférésünk van, csak a VPN szolgáltató helpdeskjén keresztül kérhetők módosítások. A másik oldal, az ERP site szintén ki van szervezve, az ottani VPN eszköz része az ERP szolgáltatáscsomagnak, szintén csak (egy másik) helpdesken keresztül érhető el. Na most el lehet képzelni, hogy micsoda tempóban oldódnak meg az ilyen helpdesk kérések, főleg ha két, egymástól független szolgáltatónak kell együttműködnie. Nagyjából mire megjavult a bérelt vonal, addigra állt össze a BGP peering is az ERP site és a VPN hubunk közt. A network team meg begyűjtött egy kb. hatórás ERP leállást.

Az az érdekes, hogy senki nem tudja, mitől állt meg a backup VPN-en a BGP. Illetve nem is állt meg teljesen, a VPN hubtól érkező prefixeket ERP site-on futó eszköz látja, viszont az ERP site-ról nem érkezik semmi a VPN hubhoz. A VPN hub egy Fortigate 620B cluster, az ERP site-on pedig valamilyen Juniper holmikon futó virtuális eszközöket kaptunk VRRP-ben. Az ERP-s network supportosok szerint a Juniper virtuális eszközünkön nincs olyan parancs, mint az IOS-ben show ip bgp neighbors x.x.x.x advertised-routes, így nem tudják megnézni, hogy mit küldenek adott BGP peer felé. A Forigate eszközön pedig eltűnt a neighborök közül a Juniper eszköz.

Megoldás gyanánt mind a Fortigate mind a Juniper eszközökön újraindították a BGP processzt, amitől a dolog megjavult (tehát nem tűzfalas gond volt), de nem vagyok meggyőződve arról, hogy ez hosszú távon is működőképes lesz. Ma kaptunk backup VPN éles tesztelésre egy kis időt, és ma éppen minden működött úgy, ahogy kell, de nem volt igazán meggyőző az ERP szolgáltatónknál dolgozó networkös kolléga, aki a múltkori állás okaival kapcsolatban annyit mondott, hogy "bad luck". Statikus route lesz a vége, már látom előre.