Τ .Ε. I. Πειραιά

Τμήμα Ηλεκτρονικών Υπολογιστικών Συστημάτων

Ομάδα Μαθημάτων Μικροϋπολογιστικών Συστημάτων

Εργαστήριο Περιφερειακών και Δικτύων Ηλεκτρονικών Υπολογιστών

PeLAB

ΠΤΥΧΙΑΚΗ ΕΡΓΑΣΙΑ

του σπουδαστή:

Σπύρου Σπυρίδων

με θέμα:

ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ ΕΥΘΕΙΑΣ ΤΡΟΦΟΔΟΤΗΣΗΣ

ΜΕ ΑΝΑΣΤΡΟΦΗ ΔΙΑΔΟΣΗ ΣΦΑΛΜΑΤΟΣ

ΑΝΑΠΤΥΞΗ ΑΛΓΟΡΙΘΜΩΝ ΕΞΟΜΟΙΩΣΗΣ

(ΕΦΑΡΜΟΓΗ : OCR)

 

Εισηγητής: Καθηγητής Δρ Σ. Κ. Λεβέντης

Πειραιάς - PeLAB - Μάϊος 1997

 
Αρχή   Περίληψη   Περιεχόμενα    Πηγές στο Internet   Βιβλιογραφία   

ΠΕΡΙΛΗΨΗ

Πτυχιακή εργασία με αντικείμενο την σχεδίαση και υλοποίηση αλγόριθμων εξομοίωσης νευρωνικών δικτύων ευθείας τροφοδότησης με ανάστροφη διάδοση σφάλματος. Επιχειρείται μια σύντομη αναφορά στην δομή του Κεντρικού Νευρικού Συστήματος η οποία δρ α ως βάση για τον ορισμό των Τεχνητών Νευρωνικών Δικτύων ως μαθηματικών μοντέλων. Η συζήτηση επικεντρώνεται σε νευρωνικά δίκτυα των οποίων οι κόμβοι (νευρώνια) είναι οργανωμένοι σε επίπεδα και στα οποία η πληροφορία ρέει πάντα προς μια κατεύθυνση. Γίνεται λεπτομερής παρουσίαση των δομικών στοιχείων και των ιδιοτήτων του προαναφερθέντος τύπου δικτύων καθώς και μια εις βάθος ανάλυση των βασικών αλγόριθμων εκπαίδευσης. Το θεωρητικό υπόβαθρο καθώς και η διαίσθηση που αποκτείται μέσω της σύντομης παρουσίασης μ ιας πλειάδας εφαρμογών, χρησιμοποιούνται για την ανάπτυξη αλγόριθμων εξομοίωσης νευρωνικών δικτύων σε συμβατικούς ακολουθιακούς υπολογιστές. Προϊόν της εξελικτικής διαδικασίας είναι ένα πακέτο λογισμικού σχεδίασης, εκπαίδευσης, αξιολόγησης και δοκιμής νευ ρωνικών δικτύων, με κύριο χαρακτηριστικό την ευκολία ενσωμάτωσης του αντικειμενοστραφούς (σε C++) πηγαίου κώδικα σε κάποιο ευρύτερο σύστημα επεξεργασίας πληροφοριών. Ως παράδειγμα αυτής της δυνατότητας, αναπτύσσεται μεθοδικά ένα απλό σύστημα οπτικής αναγν ώρισης των ελληνικών κεφαλαίων χαρακτήρων.

Αρχή   Περίληψη   Περιεχόμενα    Πηγές στο Internet   Βιβλιογραφία   

ΠΕΡΙΕΧΟΜΕΝΑ
  1. Βιολογικά Νευρωνικά Δίκτυα.
    1. Το Νευρικό Κύτταρο.
    2. Ο Εγκεφαλικός Φλοιός
  2. Τεχνητά Νευρωνικά Δίκτυα.
    1. Ορισμός
    2. Ιστορική Ανασκόπηση.
    3. Κατευθύνσεις
      1. Παράλληλη Κατανεμημένη Επεξεργασία.
      2. Μοντελοποίηση της Λειτουργίας του Εγκεφάλου
  3. Απλά Νευρωνικά Δίκτυα.
    1. Δίκτυα Ευθείας Τροφοδότησης.
    2. Βηματικά Νευρώνια.
      1. Γραμμικός Διαχωρισμός.
      2. Ένας Απλός Αλγόριθμος Μάθησης.
    3. Γραμμικά Νευρώνια.
      1. Αναλυτικός Προσδιορισμός των Βαρών.
      2. Μάθηση Κλιμακωτής Καθόδου.
    4. Μη-Γραμμικά Νευρώνια.
      1. Εναλλακτικές Συναρτήσεις Κόστους.
    5. Στοχαστικά Νευρώνια.
  4. Νευρωνικά Δίκτυα Πολλών Επιπέδων.
    1. Ανάστροφη Διάδοση Σφάλματος.
    2. Παραλλαγές.
      1. Εναλλακτικές Συναρτήσεις Κόστους.
      2. Ορμή.
      3. Προσαρμοζόμενες Παράμετροι.
      4. Τοπικά Ελάχιστα.
    3. Λειτουργία.51
      1. Το Πλήθος των Κρυμμένων Νευρωνίων
      2. Αναπαράσταση Εισόδου.
      3. Γενίκευση.
    4. Βέλτιστη Αρχιτεκτονική.
      1. Αποκοπή Δομικών Στοιχείων και Φθορά των Βαρών
  5. Παραδείγματα και Εφαρμογές.
    1. XOR.
    2. Ισοτιμία.
    3. Κωδικοποίηση - Συμπίεση Δεδομένων.
    4. Ανάγνωση Κειμένου.
    5. Αναγνώριση Δευτερεύουσας Πρωτεϊνικής Δομής.
    6. Αναγνώριση Στόχων Υποβρύχιου Ραντάρ. /LI>
    7. Οδήγηση Αυτοκινήτου.
    8. Συμπίεση Εικόνας.
    9. Αναγνώριση Ομιλίας.
    10. Πρόβλεψη Σήματος.
    11. Αναγνώριση Χειρόγραφων Χαρακτήρων.
  6. Αλγόριθμοι Εξομοίωσης
    1. Ανακεφαλαίωση.
    2. Σχεδίαση.
      1. Κατάσταση Εκπαίδευσης.
      2. Κατάσταση Δοκιμής.
      3. Χρήση.
      4. Αρχεία Εισόδου-Εξόδου.
      5. Παράμετροι Εκπαίδευσης.
    3. Υλοποίηση.
      1. Το Αρχείο Layer.h.
      2. Το Αρχείο Layer.cpp.
      3. Το Αρχείο Backprop.cpp.
    4. Προεκτάσεις.
  7. Εφαρμογή: Αναγνώριση Χαρακτήρων.
    1. Μοντελοποίηση.
    2. Σχεδίαση.
    3. Εκπαίδευση.
    4. Αξιολόγηση.
    5. Δοκιμή.
    6. Εξέλιξη.
Αρχή   Περίληψη   Περιεχόμενα    Πηγές στο Internet   Βιβλιογραφία   

ΠΗΓΕΣ ΣΤΟ INTERNET

 

Οργανισμοί

http://engine.ieee.org/nnc/

http://www.mbfys.kun.nl/snn/

http://www.supelec-rennes.fr/acth/welcome.htm

http://ai.iit.nrc.ca/cscsi_point.html

http://www.neuronet.ph.kcl.ac.uk/neuronet/organizations/enns.html

http://cns-web.bu.edu/inns/

http://www-dsi.ing.unifi.it/neural/siren/sirenEN.html

http://jnns-www.okabe.rcast.u-tokyo.ac.jp/home.html

http://www.neuronet.ph.kcl.ac.uk/neuronet/organisations/ncaf.html

http://www.cs.cmu.edu/Groups/NIPS/nips-foundation.html

http://www.phys.uni.torun.pl/neural/node4.html

http://www.nada.kth.se/nada/sans/neuronet/SNNS.html

Συνέδρια

http://www.umr.edu/~annie/

http://www.bbb.caltech.edu/cns.html

http://www.abo.fi/~abulsari/EANN97.html

http://www.dice.ucl.ac.be/neural-nets/esann/

http://petrus.upc.es/~microele/neuronal/US/iwann.html

http://www.cs.cmu.edu/Groups/NIPS/

http://www.cs.cmu.edu/Groups/NIPS/

http://www.zen.co.uk/cim.inst/wsc2/

Επιστημονικά Περιοδικά

http://alife.santafe.edu/alife/

http://www.csu.edu.au/ci/

http://www.ieee.org/nnc/newsletter/

http://www.ieee.org/nnc/pubs/transactions.html

http://www.elsevier.nl/inca/publications/store/5/0/5/6/2/8/

http://ourworld.compuserve.com/homepages/FTPub/jcif.htm

http://www.brunel.ac.uk/~hssrjis/

http://www-mitpress.mit.edu/jrnls-catalog/neural.html

http://www.icsi.berkeley.edu/~jagota/NCS/

http://cns-web.bu.edu/inns/nn.html

http://cns-web.bu.edu/inns/nn.html

http://www.pcai.com/pcai/

Εισαγωγικά

http://www.wi.leidenuniv.nl/art/

http://www.cs.stir.ac.uk/~Iss/NNIntro.InvSlides.html

ftp://ftp.sas.com/pub/neural/FAQ.html

http://www.mcs.com/~drt/bprefs.html

http://www.clients.globalweb.co.uk/nctt/book/

http://www.zsolutions.com/litedetl.htm

Εφαρμογές

http://kal-el.ugr.es/k2d/k2d.html

http://polimage.polito.it/~marcello/

http://www1.cern.ch/NeuralNets/nnwInHep.html

http://www.cio.com/CIO/cio_011596_neural_feature.html

http://www.inc.com/beyondthemag/between_the_pages/neural.html

http://nuweb.jinr.dubna.su/LNP/NEMO/tspN.html

http://nuweb.jinr.dubna.su/LNP/NEMO/nemoiiiN.html

http://www.ibm.fr/france/cdlab/zisc.htm

http://www.cedar.buffalo.edu/

Προγράμματα

http://www.clients.globalweb.co.uk/nctt/

http://www.mbfys.kun.nl/snn/siena/

http://dmiwww.cs.tut.fi/nfs/Welcome_uk.html

http://www.neuronet.ph.kcl.ac.uk/

http://www.mech.gla.ac.uk/~nactftp/nact.html

http://www.dice.ucl.ac.be/neural-nets/ELENA/ELENA.html

Έρευνα

http://www.emsl.pnl.gov:2080/docs/cie/neural/neural.homepage.html

http://www.ai.mit.edu/projects/cbcl/web-homepage/web-homepage.html

http://www-xdiv.lanl.gov/XCM/

http://www.ai.univie.ac.at/oefai/nn/nngroup.html

http://www.nada.kth.se/nada/sans/index.html

http://www.nada.kth.se/nada/sans/index.html

http://www.klab.caltech.edu/

http://www.egr.msu.edu/~gharbi/csann/

http://www.mth.kcl.ac.uk/cnn/

Εταιρίες

http://www.bio-comp.com/

http://www.nd.com/

http://www.asi.com/

http://www.zsolutions.com/

http://www.accurate-automation.com/

Αρχεία

ftp://archive.cis.ohio-state.edu/pub/neuroprose/

ftp://psych.upenn.edu/pub/Neuron-Digest

http://ftp.funet.fi/pub/sci/neural/www/neural.html

http://www.cs.cmu.edu/Groups/AI/html/repository.html

http://www.lpac.ac.uk/SEL-HPC/Articles/NeuralArchive.html

   

Newsgroups

comp.ai.vision

comp.theory.dynamic-sys

comp.ai.neural-nets

comp.theory.self-org-sys

Mailing Lists

majordomo@mcs.anl.gov

leem@diva.EECS.Berkeley.EDU

Connectionists-Request@cs.cmu.edu

intcon-request@phoenix.ee.unsw.edu.au

Listserv@UICVM.UIC.EDU

neuron-request@psych.upenn.edu

listserv@ucsd.edu

tvogl@erim.org
Αρχή   Περίληψη   Περιεχόμενα    Πηγές στο Internet   Βιβλιογραφία   

ΒΙΒΛΙΟΓΡΑΦΙΑ

Βιβλία

 Alexander I. and Morton H. (1991). An introduction to neural computing, Chapman & Hall, London.

Hertz J., Krogh A. and Palmer R.G. (1991). Introduction to the theory of neural computation, Lecture Notes Vol. I, Santa Fe Institute, Studies in the science of complexity, Addison-Wesley, Redwood City.

Kernighan B. W. and Ritchie D. M. (1988). The C programming language, Prentice Hall, New Jersey.

Mόller B. and Reinhardt J. (1990). Neural networks: An introduction, Springer-Verlag, Berlin.

Schildt H. (1994). C++ from the ground up, Osborne McGraw-Hill, Berkeley.

 

Αναγνώριση Χαρακτήρων

 

Denker J. S. et al. (1989). Neural network recognizer for hand-written ZIP code digits, Advances in neural information processing systems, Vol. 1, pp. 323-331.

Ελληνικός Οργανισμός Τυποποίησης (1986). Ελληνικό πρότυπο ΕΛΟΤ 928, Επεξεργασία πληροφοριών, Σύνολο γραφικών χαρακτήρων, 8-ψήφια παράσταση ελληνικού και λατινικού αλφάβητου, ΕΛΟΤ, Αθήνα.

Fukushima K. (1988). Neocognitron: A hierarchical neural network capable of visual pattern recognition, Neural Networks, Vol. 1, pp. 119-130.

Fukushima K. (1989). Analysis of the process of visual pattern recognition by the Neocognitron, Neural Networks, Vol. 2, pp. 413-420.

Garris M. D., Wilkinson R. A. and Wilson C. L. (1991). Analysis of a biologically motivated neural network for character recognition, Proceedings: Analysis of neural network applications, ACM Press, George Mason University.

Garris M. D., Wilkinson R. A. and Wilson C. L. (1991). Methods for enhancing neural network handwritten character recognition, International joint conference on neural networks, Volume I, IEEE, Seattle.

Garris M. D. and Wilson C. L. (1992). A neural approach to concurrent character segmentation and recognition, Presented at Southcon 92, Orlando.

Graf H. P., Nohl C.R. and Ben J. (1992). Image segmentation with networks of variable scales, Advances in neural information processing systems, Vol. 4, pp. 480-487.

Keeler J. and Rumelhart D. E. (1992). A self- organizing integrated segmentation and recognition neural net, Advances in neural information processing systems, Vol. 4, pp. 496-503.

Martin G. L., Rashid M. (1992). Recognizing overlapping hand-printed characters by centered-object integrated segmentation and recognition, Advances in neural information processing systems, Vol. 4, pp. 504-511.

Matan O. et al. (1992). Multi-digit recognition using a space displacement neural network, Advances in neural information processing systems, Vol. 4, pp. 488-495.

Mighell D. A., Wilkinson T. S. and Goodman J. W. (1989). Backpropagation and its applications to handwritten signature verification, Advances in neural information processing systems, Vol. 1, pp. 340-347.

Mori Y. and Yokosawa K. (989). Neural networks that learn to discriminate similar kanji characters, Advances in neural information processing systems, Vol. 1, pp. 332-339.

Rajavelu A., Musavi M. T. and Shirvaikar M. V. (1989). A neural network approach to character recognition, Neural Networks, Vol. 2, pp. 387-393.

Wilson C. L., Wilkinson R. A. Garris M. D. (1990). Self-organizing neural network character recognition on a massively parallel computer, Proceedings: International joint conference on neural networks, Vol. II, pp. 325-329.

 

Νευρωνικά Δίκτυα

 

Adaptive Solutions Inc (1996). Back-propagation algorithm, Adaptive Solutions web site.

Ahmad S. and Tesauro G. (1989). Scaling and generalization in neural networks: A case study, Advances in neural information processing systems, Vol. 1, pp. 160-168.

Baum E. B. and Haussler D. (1989). What size net gives valid generalization?, Advances in neural information processing systems, Vol. 1, pp. 81-90.

Chauvin Y. (1989). A back-propagation algorithm with optimal use of hidden units, Advances in neural information processing systems, Vol. 1, pp. 519-526.

Hanson S. J. and Pratt L. Y. (1989). Comparing biases for minimal network construction with back-propagation, Advances in neural information processing systems, Vol. 1, pp. 177-185.

Jordan M. I. (1995). Why the logistic function? A tutorial discussion on probabilities and neural networks, Computational cognitive science technical report 9503, Massachusetts institute of technology, Cambridge.

Sarle W. S. (1997). The comp.ai.neural-nets Frequently Asked Questions, posted to the newsgroup at the 28th of every month.

Tawel R. (1989). Does the neuron “learn” like the synapse?, Advances in neural information processing systems, Vol. 1, pp. 169-176.

 

Συστήματα Ταξινόμησης

 

Davis L. (1989). Mapping classifier systems into neural networks, Advances in neural information processing systems, Vol. 1, pp. 49-56.

Guyon I. et al. (1992). Structural risk minimization for character recognition, Advances in neural information processing systems, Vol. 4, pp. 471-479.

Wilson C. L. (1991). Effectiveness of feature and classifier algorithms in character recognition systems, National Institute of Standards and Technology internal report, Gaithersburg.

 

Μετασχηματισμός Gabor

 

Braithwaite R. N. and Beddoes M. P. (1992). Iterative methods for solving the Gabor expansion: Considerations of convergence, IEEE Transactions on image processing, Vol. 1, No. 2, pp. 243-244.

Daugman J. G. (1988). Complete discrete 2-D Gabor transforms by neural networks for image analysis and compression, IEEE Transactions on acoustics speech and signal processing, Vol. 36, No. 7, pp. 1169-1179.

Qui S. and Feichtinger H. G. (1993). The structure of the Gabor matrix and efficient numerical algorithms for discrete Gabor expansions, internal report, Dept. of Mathematics, University of Vienna, Wien.

Teuner A. and Hosticka B. J. (1993). Adaptive Gabor transformation for image processing, IEEE Transactions on image processing, Vol. 2, No. 1, pp. 112-117.

Yao J. (1993). Complete Gabor transformation for signal representation, IEEE Transactions on image processing, Vol. 2, No. 2, pp. 152-159.
Αρχή   Περίληψη   Περιεχόμενα    Πηγές στο Internet   Βιβλιογραφία