Az előző cikkben a tanúsítási rendszerek áttekintésén vagyunk túl, ezúttal pedig az összehasonlító és csoportos teszteket vesszük górcső alá. A tesztek világában ez már egy sokkal árnyaltabb terület, ahol jobbára jól ismert szaktekintélyek, valódi profik végzik ezeket. Másfelől azt is gyakran tapasztaljuk, hogy bárki, akinek van egy számítógépe és egynél több agysejtje, ezek birtokában máris kvalifikáltnak érzi magát egy összehasonlító teszt elvégzéséhez. Van ugyanis egy csomó buktató, amin az önjelölt, amatőr tesztelők elvérezhetnek, és ezek alapján aztán teljesen elfogult, félrevezető következtetéseket bírnak mindezekből levonni.

1. Mentesítési teszt (Cleanup)


Az összehasonlító tesztek egyik kiemelt pontja ez a hatékony felismerés, a védelem minél kevesebb vakriasztással, és a teljesítmény, sebesség témakörök mellett. Ez a terület kívánja talán a legtöbb technikai szakértelmet, és annak a folyamatnak a teljes megértését, hogy pontosan mi játszódik le, amikor egy kártevő megfertőz egy rendszert, az mennyire súlyos és tartós változásokat okoz. Ahogy annak pontos és megbízható mérése is, hogy ezek a változások mennyire fontosak, hogyan értékeljük ezeket.

Kíván továbbá egyfajta mérlegelést az is, hogy a különféle termékek által a mentesítés után hátrahagyott részek mikor tekinthetők ártalmatlannak, és mikor nem, míg más programok esetén meg esetleg éppen a mentesítéskor történő helyreállítás okozhat kárt. Mivel ez a szakterület igényli a legalaposabb ismereteket, végrehajtása pedig hosszadalmas és munkaigényes, nem meglepő, hogy az egyik legritkábban elvégzett tesztfajta, különösen az amatőrök részéről.

2. Sebesség teszt (Speed)


A sebesség tesztelése a fentiek képest nagyságrendekkel egyszerűbb procedúra, és nem igényel mélyreható kártevő ismereteket sem. Ahogy az időjárásra, kedvenc antivírusára is mindenki szeret panaszkodni, hogy lassú, lelassítja a rendszert (és persze közben nem ad 100%-os védelmet, ilyet soha nem is fog). Épp ezért érdekes azt látni, hogy különböző termékek hogyan teljesítenek ezeken a megmérettetéseken. Szakszerűtlenséggel persze itt is el lehet rontani a dolgokat.

Dióhéjban az számít jónak, ha a pontosság érdekében reális felhasználói körülmények között többször is elvégezzük ugyanazokat a teszteket. Nincs ugyanis is rosszabb, mintha egy kívülálló véletlen tényező eltorzítja az egyetlen egyszer végzett mérés teljesítmény eredményét, majd ezeket, mint szenzációt világgá kürtölik.

3. Hamis riasztás teszt (False positive)


Ez egy kulcsfontosságú tulajdonság, hiszen lehet egy vírusirtó bármilyen gyors, nyújthat szupergyors online játékélményt, ha eközben nem biztonságos. Ahogy a sebességtesztnek is csak akkor van értelme, ha közben ezt a védelmi képességektől nem elkülönítve vizsgáljuk, ugyanígy a védelem minőségében kiemelkedő szerepe van a vakriasztások számának. Egy termék, ha észleli ugyan az összes létező kártevőt, még közel sem nevezhető tökéletesnek, ha eközben viszont minden tiszta szoftverkomponensekre, illetve weboldalakra is tévesen riaszt.

Ha elég gondosan felkészülünk egy ilyen tesztre, akkor ezt bárki elvégezheti, ehhez tulajdonképpen nem a válogatott kártevőkből, vagy potenciálisan fertőző weboldalakból kell hatalmas mennyiség, hanem inkább a garantáltan tiszta, fertőzés mentes közismert állományokból szükséges egy jelentős adatbázis. Ha a senki által nem ismert és nem használt Fűnyíró Szimulátor 2008 nevű ;-) programcsomag egyik eleme vakriasztást okoz, ettől még nem dől össze a világ, ám ha például a Windows egyik alapvető komponensére riaszt tévesen egy antivírus, az már könnyen felkerül az újságok címlapjára. (Saját tapasztalat alapján a vírusirtó csapatok technikai részlegei között nincs ilyenkor semmilyen káröröm, se rosszindulatú rivalizálás, hanem készségesen segítenek egymásnak, ha tudnak valamiben, és azzal is tisztában vannak, ez a fajta Demoklész kardja kicsit mindegyikük felett ott lóg. /Rambo/) Éppen ezért bár fontos, hogy a vakriasztások száma valóban a lehető legalacsonyabb legyen, ha teszt közben jelentkeztek ilyenek, érdemes megnézni azt is, hogy pontosan mik ezek, mennyire jelentős állományok okozták ezeket.

4. Észlelési teszt (Detection)


Ez a legtöbb összehasonlító teszt fő alkotóeleme, hiszen a védelmi és felismerési képességek vizsgálata mindenkinek egyaránt fontos, de persze ebben is lehetnek zavaros dolgok. Az ilyen vizsgálat egyfelől igényel egy hatalmas kártevői adatbázist, amelyre rá lehet zavarni a versenyzőket. Az ilyen tesztek általában kevésbé tükrözik egy komplex, többrétegű védelem minőségét, de természetesen így is hasznos mutató arra nézvést, hogy az adott termék kliens, szerver vagy éppen gateway terméke milyen rátájú felismerést produkált. Emellett még rengeteg dolgot kell ilyenkor szem előtt tartani, például hogy az úgynevezett minták minden szempontból megfelelőek legyenek. A korábban emlegetett tiszta fájlokhoz hasonlóan, itt gondosan kell azokat ellenőrizni, valóban lefedik-e az aktuálisan jelentkező sokrétű valós fenyegetéséket.

Ez egy hálás teszt, azonban itt is szükséges a tesztelő részéről a képesség és rengeteg idő mellett az is, hogy pontosan tudja milyen mintákat használ, miért használja azokat, és ne mindössze csak pár tucattal vizsgálódjon. (Arra is volt például eset, hogy az egyik antivírus gyártó megfellebbezte a tesztbeli eredményét arra hivatkozva, hogy a fel nem ismert minta nem is valódi kártevő, hanem csak egy ártalmatlan, futásképtelen sérült példány. A tesztlabor emiatt később igazat adott az illető gyártónak, és emiatt újraszámolták az eredményeket. /Rambo/)

5. Védelmi teszt (Protection)


A teljes körű tesztek Szent Grálja, amelynél reális, valós támadások kivédésében való képességeket igyekeznek ellenőrizni úgy, hogy abban a rendelkezésre álló védelem minden rétege résztvegyen. Első pillanatra talán úgy tűnhet, hogy ez így elég egyszerű, nem is kell hozzá sok szakértelem. Ám ahhoz, hogy egy ilyen vizsgálatokat ismételten és rendszeresen végrehajthassunk úgy, hogy a versenytársak egyenlő esélyekkel, összehasonlíthatóan és mérhetően birkózzanak meg ugyanazokkal a veszélyekkel, kiemelten nehéz feladat.

Mivel ennek végrehajtása inkább egy egyesével végrehajtandó precíz feladat, így időigényességben is kiemelkedően sokat kíván a tesztelőktől. Az automatizálás (például virtuális gépekben) olyan kifinomult és tapasztalatot igénylő gyakorlat, amely alaposan megtervezett és jól felépített körülmények között több hónapot is igénybe vehet pár száz minta vizsgálata esetében. És természetesen itt is előjön a megfelelően kiválasztott minták fontossága, hogy ezek valóban reprezentatívak legyenek még egy ilyen szűkebb, kisebb számú halmazon végzett tesztelési esetben is.

6. Módszertan (Methodology)


Minden jó összehasonlító teszthez mellékelni kell valamilyen módszertant is, amely részletesen ismerteti, hogyan és mikre alapozva zajlott a vizsgálat. Ezeknek a részleteknek az ismerete segít megérteni, mely elemnek mi volt a szerepe, mik voltak az aktuális beállítások, milyen intézkedésekre került sor, hogyan gyűjtötték az adatokat, és hogyan értelmezték végül azokat. Egy módszertan olvasásakor a részletek hiánya legtöbbször arra utal, nem volt kellően átgondolva, megtervezve a vizsgálat, és ilyenkor akaratlanul is arra kell gondoljunk, hogy a leszűrt eredmények és következtetések is meglehetősen ingatag talajon állhatnak.

Tippek tesztelőknek


Igazság szerint ez egy tényleg egy rendkívül bonyolult tevékenység. A fentieken kívül mindez magában foglalja a tesztelendő termékek kiválasztását, a kapott nyers eredményekből levonható következtetések levonását, és számos hasonló dolgot. Néhányszor használtuk itt az "amatőr tesztelők" megnevezést, arra utalva, hogy a hivatásos tesztelők világa eléggé zárt közösség, ám ezzel senkit nem kívántunk megbántani. Mindenesetre ha valaki azt tervezi, hogy esetileg vagy akár rendszeresebben ilyen összehasonlítási tesztelési feladatba vágna bele, kaphatott most hozzá muníciót. Ha valaki rendszeresen részt vesz ilyen tesztekben, vagy saját tesztet kíván készíteni, akkor okvetlenül érdemes az AMTSO ezzel kapcsolatos dokumentumait, állásfoglalásait tanulmányozni, ezek sokkal mélyebben foglalkoznak ezzel a témával. Ha a teszteléssel kapcsolatban valami nem világos, vagy kérdés merül fel, a legtöbb tesztelő nyitott és válaszolni fog nekünk, ha e-mailben megkeressük őket.

Mire figyeljünk?


A fogyasztók mindig is örömmel fogadják az összehasonlítási teszteket, hiszen ők információkat keresnek ahhoz, hogy melyik terméket érdemes választaniuk. A teszteredmények alapján két lehetőség közük választhatunk. Az első az egyszerűbb megoldás, a kijött értékek alapján automatikusan kihirdetjük a numerikus rangsort, és bízunk abban, hogy szerencsénk volt, és semmi sem zavarta meg a munkánkat. A másik, ha tisztában vagyunk azzal, hogyan és miért választottuk az adott tesztet, és annak minden lépését megértjük.

Ez persze jóval időigényesebb, sok tesztelési módszertanon kell átrágni magunkat, ha valami gyanús, akkor az AMTSO irányelveket és módszereket kell lapozgatni, megnézni más összehasonlító teszteléseket. A mi véleményünk az, hogy a második út adja a jobb, pontosabb eredményeket. Minden résztvevőnek az a közös érdeke, hogy ezek alaposak és átgondoltak legyenek, hogy valóban jól használható, megbízható, hiteles eredmények szülessenek általa, és ha ebben valamilyen részlet esetleg nem világos, abban szabadon lehessen tájékozódni.