幾乎毫無(wú)懸念地,HP的幾大測(cè)試工具LoadRunner、QuickTest Professional和TestDirector for Quality Center又一次奪冠,在STP雜志的年度測(cè)試工具投票中,這幾個(gè)工具連續(xù)4年占據(jù)首位。
這對(duì)于初學(xué)軟件測(cè)試的朋友們而言,不得不說(shuō)是一件好事,因?yàn)樗麄兛梢詧?jiān)持學(xué)習(xí)一樣工具,避免在選擇哪個(gè)測(cè)試工具來(lái)學(xué)習(xí)時(shí)過(guò)于彷徨和迷茫。
金獎(jiǎng)獲得者——LoadRunner
LoadRunner再次成為測(cè)試人員最喜愛(ài)的測(cè)試工具。
LoadRunner是一款優(yōu)秀的壓力和性能測(cè)試工具,可以模擬成千上萬(wàn)的并發(fā)操作,對(duì)應(yīng)用系統(tǒng)、Web Service、Web服務(wù)器、數(shù)據(jù)庫(kù)等進(jìn)行壓力和性能測(cè)試,兼容Window和Unix。
HP于2007年6月對(duì)其進(jìn)行了重大的升級(jí),增強(qiáng)了對(duì)Web2.0技術(shù)的支持。
數(shù)據(jù)/測(cè)試性能類(lèi)
LoadRunner當(dāng)仁不讓?zhuān)現(xiàn)ile-AID和SQL Data Generator緊隨其后。
LoadRunner的核心模塊是VuGen(Virtual User generator),VuGen可用于創(chuàng)建腳本實(shí)現(xiàn)測(cè)試用例的模擬,腳本可進(jìn)行參數(shù)化以適應(yīng)不同的場(chǎng)景需要,關(guān)聯(lián)(correlation)和錯(cuò)誤處理(error handling)的能力都非常強(qiáng)。Controller模塊用于運(yùn)行腳本、模擬大量的并發(fā)用戶(hù),而Analysis模塊則用于分析和生成性能測(cè)試報(bào)告。
緊隨其后的是Compuware的File-AID和Red Gate的SQL Data Generator。File-AID是一個(gè)企業(yè)級(jí)的數(shù)據(jù)管理工具,測(cè)試人員可以利用它來(lái)快速地構(gòu)建測(cè)試數(shù)據(jù)環(huán)境,支持mainframes、MVS、DB2和分布系統(tǒng)。
Red Gate的SQL Data Generator替代Intel的Vtune Performance Analyzer的位置,是一顆璀璨的新星,宣稱(chēng)可以在一杯咖啡的時(shí)間內(nèi),為10個(gè)表格創(chuàng)建2百萬(wàn)行數(shù)據(jù)。
功能測(cè)試類(lèi)
QTP再度領(lǐng)銜主演,Rational Functional Tester和SilkTest銳氣不減。
QTP是Windows平臺(tái)下出色的自動(dòng)化功能測(cè)試和回歸測(cè)試工具,基于GUI的錄制和回放測(cè)試,加上VBScript,測(cè)試人員可以輕易控制和操縱程序界面對(duì)象,創(chuàng)建自動(dòng)化測(cè)試用例。
新版本的QTP在團(tuán)隊(duì)協(xié)作能力方面有所增強(qiáng),擁有新的對(duì)象庫(kù)管理和函數(shù)庫(kù)共享能力,還添加了關(guān)鍵字管理、通過(guò)拖放構(gòu)建測(cè)試步驟、輸出XML格式的報(bào)告,還有新的、更為精準(zhǔn)的調(diào)試器,都讓QTP成為當(dāng)仁不讓的王者。(關(guān)于QTP9.5新特性的介紹,請(qǐng)參見(jiàn):http://tech.it168.com/softtest/2008-07-08/200807081020854.shtml)
IBM的Rational Functional Tester和Borland的Silk Test替代了Parasoft的SOAtest和Compuware的Optimal Quality Management的位置。
Rational Functional Tester的特點(diǎn)是,除了自身的腳本開(kāi)發(fā)環(huán)境外,還支持兩種開(kāi)發(fā)環(huán)境:Eclipse 框架中的 Java、Microsoft Visual Studio中的Visual Basic.NET。SilkTest同樣是一款不錯(cuò)的自動(dòng)化功能測(cè)試和回歸測(cè)試工具,支持C/S結(jié)構(gòu)的Java、.NET和WEB。
靜態(tài)/動(dòng)態(tài)代碼分析類(lèi)
Rational Software Analyzer Developer Edition接班,TPTP和DevInspect上位。
隨著IBM在08年推出Jazz,Rational Software Analyzer Deverloper Edition接過(guò)PurifyPlus的班,成為代碼分析工具類(lèi)的佼佼者,能具捕捉內(nèi)存泄漏、分析應(yīng)用程序性能、代碼覆蓋率等,支持廣泛的編程語(yǔ)言,包括C/C++、Java、.NET、VB、VC++,支持Linux、Unix和Windows平臺(tái)。
Eclipse Test and Performance Tools Platform(TPTP)和HP的DevInspect替代了Compuware的DevPartner Studio和Parasoft的Jtest的位置。Eclipse的TPTP在新版本中添加了不少的新特性。2007年底HP收購(gòu)了SPI Dynamics,DevInspect在自動(dòng)化安全測(cè)試方面擁有很強(qiáng)的優(yōu)勢(shì)。
測(cè)試/QA管理類(lèi)
QC為王,SilkCentral Test Manager保持不敗,Optim Test Data Management Solution晉身。
TestDirector for Quality Center包括需求管理、測(cè)試計(jì)劃、測(cè)試執(zhí)行和缺陷管理模塊,全面管理了測(cè)試過(guò)程,成為測(cè)試人員最喜歡的測(cè)試管理工具。
TestDirector基于WEB的管理模式,允許測(cè)試人員和項(xiàng)目經(jīng)理收集需求、設(shè)計(jì)和安排手工與自動(dòng)化的測(cè)試、分析測(cè)試結(jié)果、生成圖文并茂的測(cè)試報(bào)告,并且能與HP的其他功能測(cè)試工具WinRunner、QTP緊密結(jié)合
2006年2月,Borland收購(gòu)了Segue,SilkCentral Test Manager與VMWare Lab Manager整合在一起用于簡(jiǎn)化跨平臺(tái)的測(cè)試,還可管理Junit/Nunit等第三方的測(cè)試框架。
作為IBM的測(cè)試數(shù)據(jù)管理和應(yīng)用程序質(zhì)量改進(jìn)方案,Optim Test Data Management Solution允許測(cè)試人員指定覆蓋率標(biāo)準(zhǔn)、創(chuàng)建錯(cuò)誤和邊界條件、模擬產(chǎn)品環(huán)境等,支持PeopleSoft和Siebel等企業(yè)應(yīng)用,支持IBM、Microsoft、Oralce、Sybase等廠(chǎng)家的數(shù)據(jù)庫(kù),支持Linux、Uninx、Windows等平臺(tái)。
缺陷/問(wèn)題管理類(lèi)
QC大而全,VSTS新進(jìn),Bugzilla略顯老態(tài)。
上次,HP的TestDirector for Quality Center和Mozilla的Bugzilla并列第一;這次,Bugzilla被無(wú)情地?cái)D到第三,新進(jìn)者不是誰(shuí),正是微軟的Visual Studio Team Edition for Software Testers。
由于TestDirector for Quality Center包括了需求管理、測(cè)試計(jì)劃、測(cè)試執(zhí)行和缺陷管理四大模塊,因此也就包攬了測(cè)試/QA管理類(lèi)和缺陷/問(wèn)題管理類(lèi)的雙重頭獎(jiǎng)。TestDirector for Quality Center中的缺陷跟蹤模塊能自動(dòng)地檢查缺陷數(shù)據(jù)庫(kù)中的相似問(wèn)題,避免錄入新BUG時(shí)的重復(fù)現(xiàn)象。另外,它對(duì)缺陷的圖表分析和統(tǒng)計(jì)能力可以輔助管理層決定產(chǎn)品發(fā)布日期、判斷產(chǎn)品質(zhì)量趨勢(shì)。
相對(duì)而言,Visual Studio Team Edition for Software Testers則是一個(gè)新進(jìn)者,與Team Fundation結(jié)合起來(lái),可以做到缺陷/問(wèn)題跟蹤自動(dòng)化。這個(gè)工具還可以對(duì)Web應(yīng)用程序和Web站點(diǎn)進(jìn)行功能和壓力測(cè)試。
1998年,最早版本的Bugzilla是由Terry Weissman用Tcl寫(xiě)的,后來(lái)他覺(jué)得用其他語(yǔ)言寫(xiě)可能會(huì)更吸引人,因此決定移植到Perl,就成了Bugzilla2.0。在2000年4月的時(shí)候,項(xiàng)目移交給Tara Herenandez,有了更多的開(kāi)發(fā)者參與,包括現(xiàn)在的Dave Miller。
壓力/性能測(cè)試類(lèi)
LoadRunner蟬聯(lián),Rational Performance Tester和SilkPerformer緊追不舍。
VuGen的能力確實(shí)非常強(qiáng),支持對(duì)廣泛的協(xié)議的錄制和編輯。對(duì)于Web/HTTP協(xié)議,測(cè)試人員可以選擇讓LoadRunner產(chǎn)生URL模式或者是HTML模式的腳本。
Performance Tester與IBM的Tivoli管理環(huán)境整合,可以使用最小的硬件資源來(lái)產(chǎn)生大量的并發(fā)用戶(hù)測(cè)試。
SilkPerformer可以在沒(méi)有l(wèi)icense的限制下模擬數(shù)千個(gè)并發(fā)用戶(hù)?梢酝ㄟ^(guò)插件在Eclipse中創(chuàng)建測(cè)試。SilkPerformer還有一個(gè)SOA版本。
SOA/Web Services測(cè)試類(lèi)
Rational Tester for SOA Quality大放異彩,LoadRunner無(wú)緣三甲。
在SOA/Web Services測(cè)試類(lèi),上一次的冠軍LoadRunner居然無(wú)緣三甲,取而代之的是IBM的Rational Tester for SOA Quality。
如果你的應(yīng)用依賴(lài)于別人的Web Service,你不能掉以輕心。例如,如果你的程序依賴(lài)一個(gè)信用卡認(rèn)證服務(wù),那么你如何確保在購(gòu)物旺季時(shí)不會(huì)出現(xiàn)"黑色星期五"呢?利用Tester for SOA Quality,你可以模擬成千上萬(wàn)的用戶(hù)訪(fǎng)問(wèn)和使用這個(gè)Web Service,并且在嘗試執(zhí)行成百上千的事務(wù)時(shí)觀察你的程序的運(yùn)行情況。
HP的QTP和Parasoft的SOA Quality Solution也是測(cè)試人員所喜愛(ài)的SOA/Web Services測(cè)試工具。SOA Quality Solution把公司的多層工作流方法融合到測(cè)試和QA中,可以在SOA層做強(qiáng)制政策一致性檢查;端到端的測(cè)試和業(yè)務(wù)邏輯或事務(wù)模擬;支持回歸測(cè)試、安全滲透測(cè)試、壓力和性能測(cè)試。
安全測(cè)試類(lèi)
Rational AppScan擊敗WebInspect,晉身超級(jí)保鏢,力保軟件安全。
收購(gòu)了Watchfire之后,IBM的AppScan成為一款優(yōu)秀的自動(dòng)化安全審計(jì)工具。針對(duì)AJAX、Flash等應(yīng)用Web2.0技術(shù)的中小型業(yè)務(wù)應(yīng)用系統(tǒng),IBM在08年十月發(fā)布了AppScan Express版本。
HP的Assessment Management平臺(tái)是一個(gè)自動(dòng)化的、集中控制的WEB安全掃描和測(cè)試平臺(tái),它讓分布式的團(tuán)隊(duì)通過(guò)一個(gè)儀表板樣式的界面訪(fǎng)問(wèn)和糾正安全漏洞。
WebInspect在2007年1月的時(shí)候,被完全重寫(xiě)過(guò),性能和各項(xiàng)技術(shù)兼容性有了很大的提高。據(jù)稱(chēng)WebInspect7.5更進(jìn)一步地改進(jìn)了AJAX漏洞的審計(jì)能力,對(duì)Windows Vista的支持也得到了增強(qiáng)。
測(cè)試自動(dòng)化類(lèi)
QTP穩(wěn)居第一,Business Process Testing新面孔登場(chǎng)。
QTP再次奪冠。QTP通過(guò)插件架構(gòu)來(lái)支持?jǐn)U展,默認(rèn)支持ActiveX Control、Web、VB插件。
Compuware的TestPartner是一個(gè)自動(dòng)化的GUI功能測(cè)試工具,采用VBA作為腳本開(kāi)發(fā)語(yǔ)言,測(cè)試人員還可以采用"Visual Navigator"的方式來(lái)創(chuàng)建測(cè)試腳本。
HP的Business Process Testing是一個(gè)新面孔,據(jù)稱(chēng)該工具的目的是為了讓業(yè)務(wù)人員可以創(chuàng)建和執(zhí)行手工的或自動(dòng)化的測(cè)試,不需要任何的編程技巧。能自動(dòng)化測(cè)試過(guò)程和文檔創(chuàng)建過(guò)程,提高測(cè)試的可維護(hù)性。
SCM/Build管理類(lèi)
VSS歷史悠久,Subversion開(kāi)源雄風(fēng)。
Sourcesafe最早由One Tree Software開(kāi)發(fā),在上世紀(jì)90年代發(fā)布了3.1版本,微軟當(dāng)時(shí)的SCM工具是Delta,并不怎么出名。微軟收購(gòu)了16位的SourceSafe并于1995年發(fā)布了一個(gè)32位的Visual SourceSafe 4.0版本,10年后VSS2005年才出現(xiàn)。
Subversion在開(kāi)源社區(qū)中很流行,在2000年的時(shí)候由CollabNet發(fā)起。構(gòu)建自動(dòng)化工具Electric Clound在08年9月的時(shí)候發(fā)布了ElectricCommander3.0版本,新版本可以與Eclipse和Visual Studio整合,ElectricCommander支持各種各樣的腳本語(yǔ)言,包括Bash、perl、Python和Tcl,支持AccuRev、ClearCase、Perforce、Subversion和Synergy等SCM工具。
嵌入式/移動(dòng)設(shè)備測(cè)試類(lèi)
Rational Test RealTime被C++TEST擊敗,擠出三甲位置。
Parasoft的C++Test是一款優(yōu)秀的C++代碼分析和審查工具,同時(shí)也是一款代碼分析、回歸測(cè)試和自動(dòng)化單元測(cè)試工具。Parasoft為嵌入式程序提供了相應(yīng)的版本,支持Eclipse和Visual Studio,也可以批處理執(zhí)行。
緊隨其后的是QualiSystems的TestShell和Coverity的Prevent。QualiSystems的TestShell包括計(jì)劃、構(gòu)建、執(zhí)行和控制測(cè)試、分析結(jié)果等功能,其核心TestShell Foundation是一個(gè)可提供擴(kuò)展架構(gòu)以滿(mǎn)足測(cè)試組織增長(zhǎng)需求的引擎和數(shù)據(jù)庫(kù)。Coverity的Prevent是一款C、C++和Java代碼的掃描和查錯(cuò)工具。
.NET測(cè)試類(lèi)
Team System上升,LoadRunner下降,Parasoft Test被替換。
微軟的Visual Studio Team System Edition for Software Tester由上次的第二名上升到第一位。Visual Studio Team System Edition for Software Tester支持.NET應(yīng)用程序的性能和壓力測(cè)試,還支持代碼分析、代碼覆蓋率。
LoadRunner在8.0后添加了對(duì).NET語(yǔ)言的支持,使用LoadRunner的"Microsoft.NET"協(xié)議可以創(chuàng)建.NET Vuser腳本,模擬.NET客戶(hù)端程序的各種操作。
在LoadRunner9.0中,可以選擇"Microsoft.NET"協(xié)議來(lái)錄制和創(chuàng)建.NET程序的Vuser腳本。VuGen支持在應(yīng)用層協(xié)議上錄制.NET應(yīng)用程序,允許測(cè)試員創(chuàng)建Vuser腳本模擬.NET客戶(hù)端程序的操作。VuGen把所有客戶(hù)端的動(dòng)作錄制成相應(yīng)的方法和類(lèi),并用C#或VB.NET來(lái)創(chuàng)建腳本。VuGen支持.NET Remoting、ADO.NET、Enterprise Services和WCF(Windows Communication Foundation)程序的錄制和腳本創(chuàng)建。
Compuware的DevPartner Studio除了提供C/C++、Java版本外,也提供了.NET版本。DevPartner分析代碼的質(zhì)量和復(fù)雜度,并且能檢測(cè)內(nèi)存泄漏,代碼效率和代碼覆蓋率。
Java測(cè)試類(lèi)
LoadRunner連續(xù)3年斬獲,Junit穩(wěn)居單元測(cè)試?yán)洗蟆?BR> LoadRunner在壓力測(cè)試過(guò)程中使用監(jiān)視器來(lái)收集性能數(shù)據(jù),可用的監(jiān)視器包括虛擬用戶(hù)、事務(wù)完成率、網(wǎng)絡(luò)響應(yīng)、Web和數(shù)據(jù)庫(kù)服務(wù)器響應(yīng)和資源使用等。
有人說(shuō)Junit是單元測(cè)試框架的祖父級(jí)人物,2007年,Junit跨過(guò)了第10個(gè)年頭,此時(shí),它的子孫后代已經(jīng)遍天下,Junit被移植到了各種語(yǔ)言平臺(tái),包括:C#(Nunit)、C++(CPPUnit)、Fortran(fUnit)、Perl(Test::Class和Test::Unit)、PHP(PHPUnit)和Python(PyUnit),甚至還有JavaScript版本的JSUnit。10年間,Junit被下載超過(guò)2百萬(wàn)次。
Eclipse的Tets and Performance Tools Platform(TPTP) 在08年9月升級(jí)到了4.5.1版本,支持Java1.6,修正了大量的BUG。
整合測(cè)試/性能套件類(lèi)
VSTS奪冠,HP Performance Center屈居第二,TestComplete低價(jià)制勝。
上次的冠軍HP的Performance Center被VSTS擊敗。Visual Studio Team Edition for Software Tester成為測(cè)試人員最喜愛(ài)的整合測(cè)試/性能套件類(lèi)工具,并且測(cè)試人員都在熱切地期待預(yù)計(jì)2010年發(fā)布的Visual Studio Team System,代號(hào)"Rosario"。據(jù)稱(chēng),微軟將添加更多的ALM功能到該工具中,并且會(huì)與Office Project Server整合在一起。
HP的Performance Center組合了LoadRunner的所有功能、測(cè)試資產(chǎn)和人力資源管理功能,測(cè)試執(zhí)行過(guò)程可以被跟蹤、編輯和計(jì)劃。
AutomatedQA的TestComplete是一款價(jià)廉物美的自動(dòng)化測(cè)試工具,支持WEB、.NET、Java、Flash等應(yīng)用程序,而且可以進(jìn)行基于HTTP協(xié)議的壓力測(cè)試。
低價(jià)商業(yè)測(cè)試工具類(lèi)
Software Planner更上一層樓。
價(jià)格低于$500的商業(yè)測(cè)試工具中,Software Planner從上次的第二名上升到第一位。Software Planner是一個(gè)基于Web的項(xiàng)目計(jì)劃工具,使用任務(wù)鏈接來(lái)組織任務(wù),防止一個(gè)任務(wù)在另外一個(gè)任務(wù)未結(jié)束之前就開(kāi)始。
Mindreef的SOAPscope是一個(gè)測(cè)試基于SOAP的應(yīng)用程序的工具。SOAPscope讓團(tuán)隊(duì)可以創(chuàng)建、測(cè)試、發(fā)布Web服務(wù)和SOA組件,自動(dòng)化面向XML的任務(wù)。
Shunra Virtual Enterprise創(chuàng)建了一個(gè)虛擬網(wǎng)絡(luò),可以用于模擬應(yīng)用程序測(cè)試環(huán)境,讓測(cè)試人員檢查應(yīng)用程序在不同網(wǎng)絡(luò)條件和環(huán)境下的性能和用戶(hù)體驗(yàn)。
免費(fèi)測(cè)試工具類(lèi)
TPTP擊敗Bugzilla,Junit持平,Bugzilla第三。
TPTP的核心部件包括測(cè)試編輯、執(zhí)行、監(jiān)視、跟蹤和分析、日志分析,支持嵌入式系統(tǒng)、獨(dú)立應(yīng)用程序和企業(yè)級(jí)應(yīng)用系統(tǒng)、高性能計(jì)算系統(tǒng)。
Junit如此受歡迎,以至大家在說(shuō)話(huà)的時(shí)候把這個(gè)名稱(chēng)當(dāng)作動(dòng)詞來(lái)用,例如"確保你在簽入之前Junit一下你的代碼"。
07年,Bugzilla繼9年前的2.0版本后發(fā)布了重要的3.0版本,其中主要的增強(qiáng)包括性能方面、Web Services接口等。
新手最佳解決方案類(lèi)
測(cè)試資源少,工具選擇更重要。
如果把少于5年歷史的公司定義為"新手"的話(huà),VMLogix的LabManager是最適合這類(lèi)公司的工具。LabManager 支持微軟和VMWare的虛擬系統(tǒng),LabManager3.5在08年五月發(fā)布,添加對(duì)Citrix XenServer4.1的支持。
Fortify的Defender是上次的冠軍,這次,它的新產(chǎn)品Fortify 360居第二位。Fortify 360瞄準(zhǔn)軟件開(kāi)發(fā)生命周期領(lǐng)域,可以在開(kāi)發(fā)的各個(gè)階段對(duì)漏洞進(jìn)行檢測(cè)識(shí)別、區(qū)分優(yōu)先級(jí)、修補(bǔ)。
BluePrint的Requirements Center聚焦協(xié)作,通過(guò)協(xié)作在代碼開(kāi)發(fā)前就定義清楚、確認(rèn)清楚需求,讓需求清晰化、可視化。