0325643 20240111140720.320090622235959.9 Praha ÚTIA AV ČR 2009 38 s. Research Report 2251 feature selection stability measure consistency measure feature subset size optimization sequential search floating search individual ranking feature selection evaluation cav_un_auth*0101197 Somol Petr UTIA-B Department of Pattern Recognition Ústav teorie informace a automatizace AV ČR, v. v. i. cav_un_auth*0101171 Novovičová Jana UTIA-B Ústav teorie informace a automatizace AV ČR, v. v. i. pdf GA102/07/1594 GA ČR cav_un_auth*0228611 GA102/08/0593 GA ČR cav_un_auth*0239567 2C06019 GA MŠk CZ cav_un_auth*0216518 1M0572 GA MŠk cav_un_auth*0001814 CEZ:AV0Z10750506 Stability (robustness) of feature selection methods is a topic of recent interest yet often neglected importance with direct impact on the reliability of machine learning systems. We investigate the problem of evaluating the stability of feature selection processes yielding subsets of varying size. We introduce several novel feature selection stability measures and adjust some existing measures in a unifying framework that offers broad insight into the stability problem. We study in detail the properties of considered measures and demonstrate on various examples what information about the feature selection process can be gained. We also introduce an alternative approach to feature selection evaluation in form of measures that enable comparing the similarity of two feature selection processes. These measures enable comparing, e.g., the output of two feature selection methods or two runs of one method with different parameters. The information obtained using the considered stability and similarity measures is shown usable for assessing feature selection methods (or criteria) as such Stabilita (robustnost) metod výběru příznaků je jedno z aktuálních témat diskutovaných v současné době, neboť má vliv na spolehlivost systémů strojového učení. Byly navrženy nové míry stability procesu výběru příznaků, které vyhodnocují celkový výskyt jednotlivých příznaků ve vybraných podmnožinách příznaků ne nutně stejné kardinality. Podrobně jsou studovány vlastnosti uvažovaných měr a na mnoha příkladech demonstrováno, jaké informace je možné získat o procesu výběru příznaků. V práci je také uvažován alternativní přístup k vyhodnocování výběru příznaků pomocí měr, které umožňují porovnat podobnost dvou procesů výběru příznaků 2010 BB http://hdl.handle.net/11104/0172988 2009 2009 Praha ÚTIA AV ČR pdf