神经网络初探

主要代码

import numpy,scipy
from matplotlib import pyplot
import matplotlib
import pylab
matplotlib.use('TkAgg')

class neuralNetwork:
    def __init__(self,inputnodes,hiddennodes,outputnodes,learingrate):

        #设置各个参数
        self.inodes = inputnodes
        self.hnodes = hiddennodes
        self.onodes = outputnodes
        self.lr     = learingrate

        #创建了两个链接权重矩阵
        # self.wih = (numpy.random.rand(self.hnodes,self.inodes)-0.5)
        # self.who = (numpy.random.rand(self.onodes,self.hnodes)-0.5)
        #.normal为从正态分布随机取值
        self.wih = numpy.random.normal(0.0,pow(self.hnodes,-0.5),(self.hnodes,self.inodes))
        self.who = numpy.random.normal(0.0,pow(self.onodes,-0.5),(self.onodes,self.hnodes))

        #创建激活函数
        self.activation_function = lambda x: scipy.special.expit(x)

        pass            #初始化函数——设定输入层节点，隐藏层节点和输出层节点的数量




    def train(self,inputs_list,targets_list):
        inputs = numpy.array(inputs_list, ndmin=2).T
        targets = numpy.array(targets_list,ndmin=2).T


        hidden_inputs = numpy.dot(self.wih, inputs)  # 隐藏层的输入是第一层权重点乘（dot.（））输入
        hidden_outputs = self.activation_function(hidden_inputs)  # 隐藏层的输出


        final_inputs = numpy.dot(self.who, hidden_outputs)  # 最终输出的输入
        final_outputs = self.activation_function(final_inputs)

        output_errors = targets-final_outputs       #计算误差值

        hidden_errors = numpy.dot(self.who.T,output_errors)

        self.wih += self.lr*numpy.dot((hidden_errors*hidden_outputs*(1.0-hidden_outputs)),numpy.transpose(inputs))
        self.who += self.lr*numpy.dot((output_errors*final_outputs*(1.0-final_outputs)),numpy.transpose(hidden_outputs))
        pass            #学习给定的训练集样本后，优化权重



    def query(self, inputs_list):
        inputs = numpy.array(inputs_list, ndmin=2).T        #输入二维数组
        hidden_inputs = numpy.dot(self.wih, inputs)         #隐藏层的输入是第一层权重点乘（dot.（））输入
        hidden_outputs = self.activation_function(hidden_inputs)    #隐藏层的输出
        final_inputs = numpy.dot(self.who, hidden_outputs)  #最终输出的输入
        final_outputs =self.activation_function(final_inputs)
        return final_outputs
        pass            #查询——给定输入，从输出节点给出答案


inputnodes = 784
hiddennodes = 100
outputnodes = 10

learningrate = 0.3


n=neuralNetwork(inputnodes,hiddennodes,outputnodes,learningrate)



training_data_file = open("mnist_train_100.csv",'r')
training_data_list = training_data_file.readlines()
training_data_file.close()

for record in training_data_list:
    all_values = record.split(',')

    inputs = (numpy.asfarray(all_values[1:])/255*0.99)+0.01

    targets = numpy.zeros(outputnodes)+0.01
    targets[int(all_values[0])] = 0.99
    n.train(inputs,targets)

test_data_file = open("mnist_test_10.csv",'r')
test_data_list = test_data_file.readlines()
test_data_file.close()

all_values = test_data_list[0].split(',')
print(all_values[0])
image_array = numpy.asfarray(all_values[1:]).reshape(28,28)
matplotlib.pyplot.imshow(image_array,cmap='Greys',interpolation='None')
pylab.show()

print(n.query(numpy.asfarray(all_values[1:])/255*0.99)+0.01)
# all_values = training_data_list[3].split(',')
# image_array = numpy.asfarray(all_values[1:]).reshape(28,28)




# a=numpy.random.rand(3,3)-0.5            #生成随机的3*3数组，每个数值都是在0~1之间,作为权重矩阵

运行效果

可以看到，我们小规模的训练效果还算不错

心得体会

这次是第一次搭神经网络，在看了许多教材后，最终选择跟着 《Python神经网络编程》这本教材先进行初步探索，这本教材比较适合小白阅读，以简单的方式带读者学习神经网络的基本知识。跟着这本教材搭建了最简单的一个网络，下面是个人对这次的一个小总结：

1. 神经网络的基本框架
   1. 初始化。这里需要我们对神经网络进行基本的初始化，设置了各个参数，创建了激活函数，这里我们用的是scipy自带的一个函数来模拟我们的激活函数，权重矩阵的初始化，这里选择正态分布的一组数据
   2. 训练。计算预测值
   3. 查询。得出实际值
2. 目前感觉神经网络的大体思路就是计算误差，根据误差反馈到前面，再进行更新权重

附：

Python神经网络编程.pdf
链接：https://pan.baidu.com/s/1tfNnemef1XzpzrDrslaaxA
提取码：sten