DSpace Repository

Contributions to the study of neural networks with dendritic processing: new training algorithms and new models

Show simple item record

dc.contributor.author Arce Vega, Fernando
dc.date.accessioned 2020-03-04T18:10:21Z
dc.date.available 2020-03-04T18:10:21Z
dc.date.created 2019-04-30
dc.date.issued 2020-03-04
dc.identifier.citation Arce Vega, Fernando. (2019). Contributions to the study of neural networks with dendritic processing: new training algorithms and new models (Doctorado en Ciencias de la Computación). Instituto Politécnico Nacional, Centro de Investigación en Computación, México. es
dc.identifier.uri http://tesis.ipn.mx/handle/123456789/28079
dc.description Tesis (Doctorado en Ciencias de la Computación), Instituto Politécnico Nacional, CIC, 2019, 1 archivo PDF, (67 páginas). tesis.ipn.mx es
dc.description.abstract RESUMEN: Una red morfológica dendral es un tipo de red neuronal la cual puede ser utilizada para resolver problemas de clasificación. La principal diferencia entre ésta y una típica red neuronal es que la red neuronal genera híper planos para dividir en el espacio de búsqueda y la red dendral crea híper cajas. Se ha reportado que las redes dendrales han obtenido igual o mejores resultados que los Perceptrones multi-capa y tienen la ventaja de ser fácilmente implementadas en dispositivos embebidos. Estas peculiaridades motivaron nuestro interés para estudiar éste tipo de redes. Esta tesis se enfocó al mejoramiento de los métodos actuales de entrenamiento y la creación de nuevos modelos neuronales capaces de generar fronteras de decisión más suaves para redes dendrales. El primer enfoque de la tesis fue utilizar evolución diferencial para posicionar las híper cajas formadas por las redes dendrales. El desempeño de este método de entrenamiento fue evaluado experimentalmente utilizando cuatro bases de datos sintéticas y 12 de la Universidad de Irvine, California. Como resultado obtuvimos que el método de entrenamiento propuesto superó a los métodos actuales para entrenar a redes dendrales y a una red radial base. Además, la red dendral entrenada con evolución diferencial presentó resultados competitivos comparados con Perceptrones multi-capa y una máquina vector soporte. Por último, implementamos la red dendral entrenada con evolución diferencial en un robot Nao para hacer reconocimiento de figuras geométricas. En el segundo enfoque propusimos una neurona dendrítica elipsoidal. La diferencia principal entre estas redes dendrales radica en la forma de generar las fronteras de decisión. Para probar el desempeño de la red elipsoidal utilizamos las mismas bases de datos anteriores. La red propuesta obtuvo un porcentaje de clasificación de 80.7%, un Peceptron multi-capa 78.4%, una maquina vector soporte 74.2% y una red radial base 72.7%. Por último, implementamos la red elipsoidal para resolver problemas reales, como: detección de líneas en autopistas, clasificación de figuras geometrías en un robot Nao y en la detección de tráfico. La red elipsoidal mostró tener un buen desempeño en base de datos de baja dimensión, que requiere de pocos parámetros de entrenamiento y que se puede implementar muy fácilmente en dispositivos embebidos. Sin embargo, su principal desventaja es la baja precisión de clasificación con base de datos de altas dimensiones. Después, resolvimos éste problema entrenando la red mediante gradiente descendiente estocástico implementándola como una capa en Keras. Finalmente, obtuvimos una base de datos de alta dimensión de señales electroencefalográficas de movimientos imaginados y resultados competitivos comparados con una máquina vector soporte y un Perceptron multi-capa. ABSTRACT: A Dendrite Morphological Neural Network (DMNN) is a type of Artificial Neural Network (ANN) that can be used to solve classification problems. The main difference with respect to a classical Multilayer Perceptron (MLP) is that morphological neurons create hyperboxes to separate patterns from different classes, while MLPs build hyperplanes. It have been reported that DMNNs are able to solve some classification tasks with the same or bigger accuracy than MLPs and have the advantage of being easily implemented in embedded devices. This motivated our research on DMNNs to find new better ways to train them and to generate smoother decision boundaries. This thesis was focused on improving the actual proposed training methods for DMNNs and on enhancing the decision boundaries stablished by their dendrites. In the first approach, we used Differential Evolution (DE) to place hyperboxes stablished by the DMNN in the best position with the best size. The performance of this training method was evaluated experimentally with four synthetic and 12 real benchmarks (or datasets). Experiments showed that our proposal achieved a better performance compared with the state-of-the-art training methods for DMNNs and with a Radial Basis Network (RBN). Furthermore, it presented a competitive performance compared with a MLP and a Support Vector Machine (SVM). In addition, we implemented a DMNN trained by our proposal in a Nao robot to recognize elemental geometric figures. In the second approach, we proposed a Dendrite Ellipsoidal Neuron (DEN) based on DMNNs. DEN creates hyperellipsoids instead of hyperboxes. The main advantage of this ellipsoidal model is that it makes smoother borders, without rectangular segments. DEN was tested on synthetic and real benchmarks from the University of California Irvine (UCI) machine learning repository achieving an average accuracy of 80.7%, while a MLP gave 78.4%, a SVM obtained 74.2%, and a RBN 72.7%. Lastly, to test the proposed method in solving real practical problems, DEN was used to detect lane lines on an urban highway, for classifying figures with a Nao robot and for traffic detection. It showed having a good performance in low dimensional datasets, requiring so few training parameters and being easily implemented in logic devices. Nevertheless, DEN efficiency highlighted by having so poor performance in high dimensional benchmarks. All these DEN advantages inspired us to look for new ideas in order to improve the DEN accuracy in high dimensional datasets. Finally, we solved the DEN high dimensional problem by training it using Stochastic Gradient Descent (SGD) implemented as a Keras layer. Furthermore, in order to test the proposed training algorithm in a real high dimensional dataset, we acquired our own Electroencephalography (EEG) benchmark from eight bodied subjects for classifying Motor Imagery (MI) signals into binary classes (Left vs Right). es
dc.language.iso en es
dc.subject Inteligencia artificial es
dc.subject Redes neuronales es
dc.title Contributions to the study of neural networks with dendritic processing: new training algorithms and new models es
dc.contributor.advisor Sossa Azuela, Juan Humberto


Files in this item

This item appears in the following Collection(s)

Show simple item record

Search DSpace


Browse

My Account