时间:2022-08-14 11:42:59

关键词:教师交叉培训;质量跟踪;评估机制;商贸类专业;教学团队建设
中图分类号:G64 文献标识码:A
文章编号:1009-0118(2012)06-0005-03
一、文献综述:培训评估的理论与实践
评估是指为指定培训活动而收集信息的一个过程,其目的在于评价一个培训项目是否有价值、是否取得了良好的效果。评估是复杂的系统工程,评估的程序和组织实施包括:评估的准备、评估的实施、评估结果的分析处理等。对培训评估的研究,其理论和操作发展经历了三个阶段:(1)实践导向的阶段,19世纪50年代到19世纪80年代晚期,以Kirkpatrick模型为代表;(2)过程驱动的操作阶段,时间从1980年代晚期到2000年代早期,代表性的研究是关注ROI为潮流的模型如Phillips在2003提出的ROI评估模型;(3)现在是第三个阶段,研究导向的全面研究阶段。这些研究从评估目的、标准、评估信息收集的对象、方法和指标上进行了大量的分析和论述,形成了丰硕的成果。而在具体实践中,也不断积累和发展出了很多经验可供借鉴。
(一)评估培训的主流模型及优缺点比较
1、理论渊源及评估目的差异
从评估目的出发,项目评估总体而言可以分为形成性评估和总结性评估两类。形成性评估旨在提供促进项目设计和发展,希望缺点,以提出解决办法。其实质是帮助形成和塑造更好完成项目质量,因此,形成性评估应当嵌入在整个系统培训过程中。总结性评估是在培训项目完成后进行的,其主要目的是产生一个总结性的判断或结论,其评估的内容包括短期和长期评估。短期主要关注学习者的反应(学习者在兴趣、注意力和学习目标上的动机)和学到的知识,长期主要关注工作中的行为和企业绩效的变化。从评估的内容和主体角度出发,通常有六种常用的教育评估的方法:以目标为基础的评价、目标自由的评价、反应评价、系统评价、专业视角和半官方的方法。其中目标为基础和系统为基础的方法在评估培训中被运用的最多。由此可见,当前流行的目标为基础的评估实际上是总结性评估,而系统为基础的评估实际上是典型的形成性评估。
各种的评估培训项目的框架模型都是在上述方法的影响下提出。其中最具影响力的框架Kirkpatrick,他的模型(1959)追随了目标基础的评价方法。四个评价层次为反映层、学习层、行为层和结果层。而从系统视角出发,最具影响力的模型包括CIPP模型(情境、投入、过程和结果);培训有效性系统方法(TVS)以及IPO(投入、过程、产出和结果)模型。
2、评估对象、内容上的差异
在评估对象上,重点包括了受训人员和培训项目两个方面。前者关注培训是否达到提升受训者能力和绩效的目标,如当前最为流行的Kirkpatrick提出的四层次评估模型将培训效果主要集中在受训者的反应、学习、行为、结果四个方面。其后,很多学者如Toplis等(1993),Kaufman(1994),Philips(1996)对该模型进行部分改进。这些模型能较好的评价培训的效果,但是在培训效果不佳的情况下却无法发现问题以及采取什么方法改进培训。基于此,Worthen & Sanders提出了CIPP模型,Bushnell提出了IPO模型,Fitz-Enz提出了TVS模型,这些模型将培训项目本身作为一个对象进行分析,关注于评价培训前的目标、计划、资源投入以及培训过程中的组织实施以及培训后的结果等内容,这些模型强调在不同阶段有不同的评估内容和目标,从而有助于从培训全过程的各个环节评价和发现问题。
3、评估标准和方法上的差异
评估标准的选择和发展是培训评估的关键组成部分之一。Wam,Bird & Rackham(1970)指出,要想使输出评估获得成功,还需在培训项目开始之前明确培训的预期目标,选择或构建好评估的标准。在针对K氏模型的四个层次评价标准:反应、学习、行为和结果中,有学者认为,反应好并不意味着能进行很好的学习。因此,往往在评估中有多个标准,它们反映培训的多个目的和组织目标。
有效的评估信息收集取决于科学的评估方法选取。对培训有效性的评估包括定性和定量的方法。在总结性评估模型中,结果层是最难评估的。有学者认为,培训结果有效性评估的两种方法:受训者行为的可观察到的变化,一是自我报告的行为检查表,二是诊断测试。或者运用实验控制组的方法进行事前和事后对比,Kirkpatrick则指出,可以通过同事进行评价。有学者进一步提出,对评估培训参与者对学习的兴趣、注意力和动机等方面的短期结果评估通常运用量表的形式进行问卷调查,而长期评估主要关注学习者将培训获得的知识、技能和态度运用到工作中的情况,即学习转移的评价。而在形成性评估方面,重点对过程的评估方法包括意见反馈表、等级打分表以及对现存记录的分析等。
4、模型的优缺点分析
目标为基础的模型能帮助操作者考虑评估目标,但是这些模型没有定义实现目标的必要步骤,因此无法在获得结果的情况下采取提升培训的方法。因此系统为基础的模型在考虑整体的情境和现状时更有用,如CIPP和CIRO评估模型具有系统性、过程性和反馈性的显著特点。它们不再把评估活动看成是整个培训过程最后一环真正将评估活动贯穿于整个培训过程的每个环节,甚至超前于培训活动。评估过程的评价能通过提供发现和改正缺点和失误的系统从而发挥其最大影响。反馈机制提供了对培训流程的连续控制和精炼。但系统为基础的模型不能表现培训设计和评价之间的动态互动。这些模型也没有提供评价的工具。而且这些模型也没有指出评价的合作的过程,即在评价过程中人们可以充当的不同角色和责任。
(二)教师培训质量评估的实践经验
近年来,发达国家的教师培训在指导思想、培训形式和培训内容等方面发生了显著变化。如英国教师培训按教师水平及需求的不同安排培训内容,认为培训、经验、资格、工作安排、晋职之间应建立一种更为紧密、更为清晰的联系。澳、新、泰三国的大学教师培训采取读学位跟班听课或自学课程,实践锻炼,参加短期讨论班和科研工作等多种培训方式。美国、日本采取在职培训与学位认可、工资晋升相结合的制度。
在具体针对教师评估的指标方面,英国师资培训咨询委员会提出了评价教师在职教育与培训的9项指标。在加拿大,教师培训的评估指标的前三位排序分别是:设计和培训的质量,发展知识、理解和技能过程的质量,培训者对培训反应的质量。国内有学者指出,针对教师培训工作本身的评估项目包括培训目标、培训教师、培训方式方法、培训内容等。在具体培训实施中,我国中小学教师骨干培训者国家级培训评估的指标体系则由环境与硬件准备、计划与组织安排、培训实施与管理、培训效果四部分组成,共包含17项指标、37项次级指标。
在评估主体选择和评估方法上,评估可由培训专家、培训官员、受训人、领导、同事、学生等从不同角度来评估。在操作中,评估的信息和数据获取可以通过形成评估指标体系,设计调查问卷开展调查;组织师、生、培训基地负责人访谈;小组讨论法、跟踪研究法,获得主观和客观、定性与定量的数据。
上述关于培训规划、实施以及培训评估主体、对象、内容与指标以及方法等方面的理论探讨和实际运用,形成了较全面的开展培训和评估工作的实施框架,具有较好的实践指导意义。从我们自身培训项目的目的出发,我们的评估主要借鉴形成性的评估模型,但在具体操作中,由于培训项目的独特性,高校教师培养项目的需求分析、开展以及评估和质量跟踪在指标设计,内容选择、资料收集等方面,必须根据具体的项目特点来分析和制定。具体如表1所示。
二、高职院校涉农教学团队交叉培训实践
为了大力加强中青年教师的职业能力建设,浙江经贸职业技术学院涉农教学团队近年推出交叉培训。青年教师交叉学习培养计划,旨在利用学院智力条件优势,让青年教师通过跨专业涉农培训,进一步拓展思维,开阔视野,提升综合素质,促进科研和教改研究。
综合叉培训采取全校范围内选课,由各领域专家联合授课的“拼盘式”教学组织、集中授课等形式进行。专业或研究范围主要涉及农业经济、连锁经营管理、创业创新、电子商务、农产品营销、品牌建设、项目申报等方面。
三、多主体、全方位、多层次的质量跟踪评估体系
(一)全员参与质量跟踪和评估
借鉴360度的培训质量跟踪方法和评估方面的国内外相关文献,针对我们开展的综合叉培训情况,质量跟踪和评估会涉及课题组、学校人事处和各人事科、课程讲授的教师、参加培训的教师等多主体从不同角度参与评估。评估对象包括接受培训的教师、交叉培训项目过程本身。其中,讲授教师的评估主要针对参加培训的学员教师,其他主体的评估对象则主要涉及到培训项目的各个方面。而培训质量保障的主体范围则更广,除了学校人事处、课程负责人外,还包括相关主管领导等。
(二)运用多种方法,全方位全程质量跟踪与评估
我院的综合叉培训的质量跟踪和评估中,针对培训中、后评估,评估内容涉及到被培训对象和培训项目等。其中针对被培训教师主要包括到课率、通过率和对培训的态度、培训后的效果等方面;针对培训项目本身包括培训目标、培训组织管理、培训教师、培训方式方法、培训内容等。质量跟踪过程则包括了培训前、培训中、培训后的各个环节。整个质量跟踪和评估主要通过茶话会、座谈会、培训的记录与总结、意见和建议、问卷调查与统计等方法实施。培训质量跟踪和评估的方法和内容上实现了主观和客观相结合,过程和结果相结合。
(三)多层次培训质量制度保障与提升
1、交叉培训前的责任和协调机制
涉农教学交叉培训计划由人事处总负责,各开课系部领导负责。协调落实各青年骨干教师专业性涉农交叉课程选课、开课计划,协调授课环节的相关事宜以及研究教师交叉学习的其他相关政策。同时,每门课程建立了课程负责人制度,负责该课程的具体授课教师安排、教学计划制定、教学内容统筹和衔接等事宜。
2、交叉培训中的联系人制度
我们提出课程班联系人制度。联系人负责学员的考勤和日常管理。联系人随同学生一起听课和参与学习讨论,进行事中的质量跟踪和评估。在授课过程中,联系人及时向任课教师反馈学员的意见与建议,使授课教授们能及时调整、补充上课内容,在培训过程中,保证教学质量和教学效果。
3、交叉培训后的课程总结和反馈交流
(1)通过建立课程负责人、课程联系人、听课学员三位互补的课程总结制度,从不同方面收集资料,获取对培训课程的满意度、意见和建议,并通过书面形式上报给学校;(2)我们还倡导并实行了课程交流制度。即课程结束时举办座谈会、茶话会以及各种形式的总结交流活动等非正式的反馈制度;(3)各课程负责人通过正式的课程调查反馈制度,反馈学员对开设的具体课程的教学内容,教学教师的评价、意见及建议。
4、新一轮培训的改进、提升
通过培训后的总结和反馈交流,根据结合问卷调查的分析,新一轮新开设课程形成指导性的意见和建议。而各课程负责人则在新一轮培训中对原开设课程进行针对性的改进和提升。(1)对课程内容进行更新、提升,删除部分交叉范围小的内容,增加学员普遍需求的新教学内容,提升反应较好的内容,保证教学内容的适应性和新颖性;(2)对教学方式进行改革,增加课堂讨论、实地参观或实验等新的方式;(3)结合教学内容改变教学中的教师组合。
四、“交叉培训”效果分析与建议
通过对高职院校涉农教学团队交叉培训的质量跟踪评估,我们发现:交叉学习实施以来,受到了学院青年教师的热捧,教师们对交叉培训给予了很高的评价,取得了显著成效,被培训教师在访谈、总结和问卷中普遍反应,交叉学习培训,深化了教师交叉学习和科研的意识;有利于丰富知识结构,转变思维方式;有助于塑造学科交流的科研平台、提升交叉科研能力;提高了教师的教学水平和教学效果。但同时也存在着一些矛盾和问题。如选课目的与开设课程定位不完全一致;“拼盘式”课程组织方式与课程的系统性、衔接性存在矛盾;课程内容和时间上的限制导致全面性和重点性难以兼顾。
针对上述问题,我们提出如下关于改进和完善交叉培训的反馈意见:(一)明确培训课程的定位。完善和提升培训课程的层次,进一步明确培训课程的总体定位。鼓励分类开设培训课程,完善与提升交叉课程层次;(二)进一步加强和完善课程建设。明晰课程内容介绍和要求,加强授课课程教师间的沟通和协调工作;促进涉农课程内容资源共享,提供资源平台。
第一条为进一步加强水利部教育培训工作,规范培训办班行为,提高培训质量,保证培训效果,根据《干部教育培训工作条例(试行)》和《水利部干部教育培训管理办法》,结合教育培训工作实际,制定本办法。
第二条本办法适用于列入水利部年度培训计划,由水利部机关司局、直属单位、水利社团和水利行业定点培训机构主办的各类培训班、研讨班、宣贯班和有关取得水利业务工作职(执)业资质、资格证书的培训项目等。
第三条开展培训质量评估要按照实事求是、客观公正、简便易行、注重实效的原则,坚持激励与约束相结合、定量与定性相结合、指导性与操作性相结合,不断总结经验,完善评估指标体系,实现培训质量评估工作科学化、制度化和规范化,增强培训针对性和实效性。
第二章评估内容和指标体系
第四条本办法所称培训质量评估包括培训综合评估和培训课程评估两个部分。
第五条培训综合评估是对培训全过程和培训效果的总体评价,包括培训方案、培训实施、培训保障和培训效果四项内容,共二十个指标:
(一)培训方案评估包括培训目标设定、培训课程设置、培训时间与进度、培训师资配备、培训考核安排五个指标;
(二)培训实施评估包括教学内容、教材资料、教学水平、教学方式方法、教学组织管理、发证登记六个指标;
(三)培训保障评估包括教学设施、食宿条件、服务质量、培训收费四个指标;
(四)培训效果评估包括培训目标实现程度、新理论新知识含量、促进理念和工作态度转变、促进业务能力和综合素质提升、促进岗位工作五个指标。
第六条培训课程评估是对每门课程的评价,分课程针对性、教学内容、教师讲解、教学方法和教学效果五项指标进行评估:
(一)课程针对性主要评价课程内容与培训目的是否一致,教材选用是否得当,是否满足岗位工作实际需要,是否满足个人培训需求四个方面;
(二)教学内容主要评价课程内容是否科学、完整、合理,是否符合国家和水利部门的有关方针政策,是否理论联系实际,是否反映该领域最新成果和发展趋势四个方面;
(三)教师讲解主要评价教师的教学准备情况,理论水平,教学组织能力,语言表达能力四个方面;
(四)教学方法主要评价教学方法是否切合教学内容,是否有助于调动学员学习的积极性和主动性,是否有助于学员理解和掌握学习内容三个方面;
(五)教学效果主要评价培训课程对促进学员转变观念和工作态度,提高理论修养和业务能力,提升解决实际问题能力和工作绩效的作用三个方面。
第三章评估组织实施及结果应用
第七条培训综合评估和培训课程评估由培训主办单位负责组织,采取由学员对《培训综合评估表》(附件1)和《培训课程评估表》(附件2)赋分的形式进行量化评估。
培训综合评估和课程评估分为满意、较满意、一般、不满意四个等次,每个等次对应一个分值。
第八条培训主办单位根据学员填写的《培训综合评估表》和《培训课程评估表》,进行分项统计汇总,并将结果分别填入《培训综合评估汇总表》(附件3)和《培训课程评估汇总表》(附件4)。综合评估结论和课程评估结论分别根据《培训综合评估汇总表》总分和《培训课程评估汇总表》总分做出,90分以上为优秀;80-89分为良好;60-79分为合格;60分以下为不合格。
第九条为保证评估结果的真实、客观和公正,《培训综合评估表》和《培训课程评估表》回收率不得低于80%;实际回收率低于80%的,差额部分问卷以零分计,并按学员总人数的80%计算评估分数。
第十条建立培训评估档案管理制度。培训班主办单位要将《培训综合评估汇总表》和《培训课程评估汇总表》,与学员填写的《培训综合评估表》和《培训课程评估表》一同归档保存,保存期不少于两年,为进一步加强和改进培训办班工作提供依据。
第十一条建立评估结果反馈机制。培训班主办单位在培训评估结束后,要及时将评估结果反馈给培训班承办单位和授课教师。培训班综合评估不合格或课程评估不合格的,主办单位应认真分析存在的问题并进行整改。
第十二条建立培训评估结果备案机制。培训班主办单位申报下年度培训计划时,要将本年度所举办的各期培训班的质量评估情况(包括培训的组织过程、质量评估结论、对出现问题的整改意见、《培训综合评估汇总表》和《培训课程评估汇总表》)报水利部人事劳动教育司,作为确定其下年度培训计划的依据和参考。
第十三条建立培训激励约束机制。水利部人事劳动教育司将对各类培训班的质量评估情况进行检查,并将检查结果进行通报,对培训质量高的单位予以表彰,对问题较多的单位予以批评。问题严重的取消其主办或承办水利部年度培训计划内培训班的资格。
第十四条对培训质量评估弄虚作假的,一经发现,由水利部人事劳动教育司对主办单位和责任人进行通报批评,并视情节轻重,削减该单位下年度列入水利部年度培训计划的培训班数量,直至取消办班资格。
第四章附则
1.效益的多样性。企业培训投资所产生的效益是多方面的,有的可以量化,比如劳动生产率的提高、生产成本的降低等;而有些却难以量化,如对企业员工的影响方面,员工技术水平的提高、员工整体素质的提高等,所有这些一般只能用“好”、“差”等定性的语言来描述。因而,在建立企业人力资本培训投资效益的评估指标时,除了尽可能地选用可量化的指标外,还必须使用一些定性的指标。
2.效益的难分割性。企业效益的提高是多方面作用的结果,其中到底有多大一部分是由人力资本培训投资所产生的?这个问题还处在研究中,即使人们能提出很好的分割方法,也难以完全把人力资本培训投资所产生的效益分割出来。这就增加了人力资本培训投资效益评估的难度。
3.效益的缓慢性和长期性。人力资本经过培训后,其效益一般是慢慢地产生的,有的在短期内根本看不出它的效果,而往往是经过一段时间内才能显现,并在长时间内产生。因此,在进行效益评估和设置评价指标时,不仅要设置能反映短期经济效益的方法指标,而且还要设置一些能反映长期效益的方法和指标。
4.效益的不确定性。人力资本培训投资效益的好坏与受训员工的工作积极性等多方面的主客观因素有关,效益的大小无法事先用契约来规定,也无法事先准确地预测。因此,在对这样的效益进行评估时,难以得出准确的数字结果,而较适合于用模糊语言进行评判。
二、人力资本培训投资效益的评估原则
1.科学性原则。进行企业人力资本培训投资效益的评估,要坚持科学性原则,坚持实事求是的态度,按科学规律办事。科学性原则主要体现在三个方面:第一,在设置效益评估指标时,要力求客观、准确,切忌主观臆断;第二,评价指标的选取、数据的计算等问题要有代表性、可比性;第三,要运用科学先进的评估方法、技术及工具,这样才能保证评估结果的可靠性,真正起到评估工作应有的作用。
2.全面性原则。由于企业人力资本培训投资效益具有多样性的特点,并且涉及到的影响因素也很多,内容较为复杂,这就要求培训投资效益评估指标体系要具有综合性和全面性,能从整体上衡量企业人力资本培训效益。
3.可测性原则。评估指标体系的制定要有相应的标准,以相同的标准作为统一尺度,来衡量被评价对象的表现。对于定性指标的测量只要建立详细的评价标准,也可认为是可测量的。
4.针对性原则。首先要明确效益评估的目的,是为了更有利于企业培训工作的开展,调整培训过程中的不良因素,优化培训结果。因此,应建立切合实际且实用的评价指标,有针对性地围绕培训目标进行效益评估。
三、人力资本培训投资短期效益的评估
山企业培训效益的特点得知,企业培训的效益在短时间内难以产生较明显的效果,正如杰克·韦尔奇所说,培训的成本是有限的,但效益是无限的,因而要正确评价培训的效益,应分别进行短期效益的评估和长期效益的评估。这里,首先讨论短期效益的评估。
培训投资短期效益的评估可采用菲利普斯提出的以结果为中心的投资回报率方法。计算投资回报率,就是要使用培训的利润和成本数据。投资回报率的计算是用净利润除以成本。净利润是培训的利润减去成本,投资回报率的计算公式为:
投资回报率二培训的年净利润/培训的总成本×100%
这里,培训的总成本包括企业进行培训的开发、实施整个过程中所支付的所有费用,包括培训设施费用、参与培训人员(开发人员、受训员工、管理人员和讲师)的工资福利、差旅费、办公用品费用等。
培训的年净利润是指员工接受培训后为企业创造的总利润与受训员工在假设不接受培训情况卜将创造的总利润之差,也称为增量利润。受训员工在不接受培训情况下创造的总利润可根据历史数据进行预测而得,此不赘述。
四、人力资本培训投资长期效益的评估
1.人力资本培训长期效益分析。人力资本培训长期效益可从经济效益、科技效益和管理效益三个方面进行评估。(1)经济效益。在培训后的较长一段时间内,接受培训的员工操作会更为熟练,在实践中应用培训传授的知识,产品质量大幅度提高,事故发生率显著降低等。经济效益主要评价指标有:劳动生产率的提高、牛产成本的降低、产品质量的改进、资金和设备利用率的提高、产品市场占有率的提高、企业竞争力的提升、故障率或事故率的降低等。(2)科技效益。企业的培训还为企业带来一定的科技效益,主要表现为企业员工的技术和知识的更新,科技意识的提高,此外还有,企业科技创新能力的提高等等。其主要评价指标有:职工知识和技术水平的提高、促进对先进技术的应用、科技新领域的开拓等。(3)管理效益。企业人力资本培训能够产生一定的管理效益,特别是对管理人员的培训能产生较好的管理效益要在较长时期内才有所体现,一般采用定性分析法。主要评价指标有:企业员工团队协作水平的提高、顾客满意度的提高、品牌价值的提升、企业形象的提升、企业员工管理素质的提高、企业管理水平的提高等。2.构建长期效益评估指标体系。根据上述分析,企业人力资本培训投资长期效益的评估指标体系构建,如下:
3.长期效益评估的步骤。长期效益可运用多层次模糊综合评价法进行评估。层次分析法(AHP)是一种多目标决策方法,应用在管理中解决许多复杂、模糊不清的相关关系如何转化为定量分析的问题;模糊综合评价法则是基于模糊数学模糊集理论对评价对象作出综合评价的一种方法。由于在人力资本培训投资效益的评估过程中,问卷调查、专家咨询等方式具有典型的模糊性,因此,本文结合培训效益自身的特点和评估原则,运用层次分析法的模糊综合评价法进行对企业培训投资长期效益的评估。
(1)建立因素集。因素集是指能直接反映人力资本培训投资长期效益的评估指标的集合,记为C,共由16个指标组成,即C=(C1,C2,A,C16)
(2)建立评价集。评价集是评判者对评判对象可能作出的各种总的评判结果组成的集合,记为V=(V1,V2,A,Vn),其中Vi代表第i个评判语,模糊综合评判的目的就是在综合考虑所有因素的基础上,从评价集中选出一个最佳的评判结果。本文在对培训投资长期效益进行评估时,采用五级评价标准,即设V=(V1,V2,V3,V4,V5),其中V1、V2、V3、V4,V5(分别代表很好、好、一般、差、很差。
(3)确定评估指标的权重。在确定评价指标的权重值时应遵循以下原则:即经济效益指标的权重值最大,管理效益和科技效益所占评价指标权重较小。而管理效益和科技效益的权重值依培训对象的不同而不同,对管理人员的培训,管理效益的权重值相对较大,科技效益的权重值相对较小。反之亦然。
这里,我们综合运用层次分析法与专家咨询法计算上述指标的权重,权重记为w,w=W1,W2,A,W16)。
(4)建立模糊评判矩阵。采用专家咨询法和问卷调查法分别对各个效益指标进行模糊评判,确定各指标对评判等级的隶属度,模糊评判矩阵R的元素Ri,的计算公式为:Rij=对指标iC进行Vj评价的所有专家人数/参评专家的总人数其中,Rij表示指标Ci对于评价Vj的隶属度。由以上公式得出C中各
由因素集C、评价集V和模糊评判矩阵R就构成了一个模糊综合评价模型。
(5)模糊综合评判。由上面层次分析法得到的各个指标因素的权重向量W,与模糊判决矩阵R进行合成,可得到相应的模糊综合评判向量B:
Y=W·R=(Y1,Y2,Y2Y4,Y5)
其中Y1、Y2、Y2、Y4、Y5、分别具体反映了评判对象在最终评价结果上的分布状态。例如:相对于评语集为V=(很好,好,一般,差,很差),最后得出Y=(0.25,0.55,0.28,012,0.15),则表示培训效果隶属于好的程度最大,为0.55,说明培训效果是较为显著的,企业进行培训投资取得了预期的效益。
五、结论
本文依据企业人力资本培训投资效益的特点及评估原则,分别进行人力资本培训投资的短期效益和长期效益评估,并将评估结果进行综合考察,以克服目前进行短期效益评估所存在的不足。短期效益评估重点反映培训投资目前已取得的经济效益,这是对企业主要目标的达成程度的直接检验。长期效益评估突出反映培训投资可能产生的远期效益。在长期效益评估过程中,本文提出了评估指标体系,并采用多层次模糊综合评价法进行了评估,这种能综合考虑定性评价指标和定量评价指标,并最后进行定量评价的方法,具有较好的科学性和实用性。这种将短期效益和长期效益结合起来进行评估的思想和方法能较为准确地反映企业人力资本培训投资的效益。
由于农村教师水平参差不齐,考虑到其接受能力,因此每次信息技术培训设计的内容不宜过多,一定要从实用出发,把可学可不学的内容全部去掉,以加强培训针对性。如我市暑期组织了教师全员培训,内容有计算机基本操作、网络应用、多媒体操作等多个方面,许多教师由于首次培训,初次接受,根本无法全部消化,以致在培训效果上大打折扣。总结上述教训后,在进行教学点数字资源全覆盖项目资源应用培训时,我把培训内容大胆地进行压缩,只要求教师能够下载、保存、演示教学资源就行,对一体机和网络的基本操作,可以在运用资源教学的过程中由教师自己摸索学习再加上专家现场指导来进行。
二、小班化培训,保证培训质量
技术培训,因其以操作为主,实践性强,若大班培训,效果会大打折扣,所以应以小班为主。如我今年参加了两次国家级培训班,每次培训都有近二百人参加,因为人数多,所以课堂上动手实践机会几乎没有,其效果可想而知。所以培训人数应适当,最好采用小班化培训,例如我市教学点数字资源全覆盖项目资源应用培训就采用小班培训,每班不超过二十人,便于逐个指导。实践证明小班化培训,效果明显,如深山区教学点的教师学完后都能操作一体机应用优质项目资源进行教学。
三、培训形式应多样化
培训形式上宜采用集中培训、网络交流和现场指导相结合的方式。如集中培训,我所在的电教站负责培训三十余名信息技术骨干教师,再由这三十余名骨干教师培训相应单位全体信息技术教师或学科骨干教师,三级培训由信息技术教师和学科骨干教师培训全体教师,培训全部采用小班形式,每场培训不超过30人,效果良好。
1.网络交流
具体可采用博客或QQ群等形式,便于交流和学习现代教育技术。2009年,我们建立了沙河市教师信息技术交流群、教师博客圈、沙河市教师课件制作群等网络交流平台,有不少好的经验和新的技术在这里得到交流和推广。尤其是伴随国家“三通两平台”建设,2015年前将实现“宽带网络校校通”“优质教育资源班班通”,促使我们更加重视网络培训。
2.现场指导
我们把培训地点选择在教学点,方便了培训教师与参与者进行面对面交流,并进行现场指导。我们还要充分发挥信息技术骨干的引领作用。面对全市几千名农村教师的持续培训,工作任务繁重,具体指导每个教师实属不易,为此,我充分发挥榜样的力量,让一些信息技术骨干教师分别指导自己的学校的教师,既可以做到以点带面,以先进促落后,充分发挥传、帮、带作用,又能收到边用边学、以用促学的功效。教师在使用过程中遇到难题时,能够及时求教,有利于学习共同体的形成。
四、完善考核方法,及时评价培训效果
建立科学系统的培训评价体系是提高培训质量的有效手段。评价的目的是诊断问题,改善培训,提高教师应用能力,提升信息技术与课程深度融合能力,促进教师的专业化发展。我认为,教师教育技术能力培训重在能力的形成,必须确立过程性评价的理念和方法。过程性评价,主要表现在重视考查培训教师的出勤率、参与度,以及作业等内容,并予以客观科学评价。在评价形式上,采用自评、他评、组内评价、全班投票以及培训者和管理者评价等多元评价手段,以获得较为理想的培训效果。(本文来自于《学周刊》杂志。《学周刊》杂志简介详见。)
五、总结
关键词:培训体系 员工激励 按需培训
一、员工培训体系建立的指导思想
企业员工培训体系的建立要坚持总体指导原则,一切从有利于企业近期目标、长远目标的角度出发,完善现有人才激励管理体系,以高素质复合型人才、技能型人才为培养目标提升全员综合素质。培训体系的建立要做到针对性培训、按需培训,实现企业发展与员工个人进步的双赢,为企业经济效益的提升服务。
员工培训体系建立后要抓好各项培训工作的落实情况,管理重点放在员工知识与技能更新培训与提高上,遵循按需培训方针,做到结合企业实际与员工情况实施针对性培训,并对培训情况与目标进行落实,后续做好培训成果的评价与总结。培训管理工作中从知识与技能入手提升员工个人素质,要注意培训三大要素知识、技能与态度的全面培养,让员工在熟悉操作技能、理论知识的基础上改变自身的工作心态,以更加积极、负责任的态度去面对工作,验证自身所学知识,锻炼自身所学技能,在认真负责的心态中更好地实现个人价值。
在培训工作实施中,还要注意及时对培训成果进行总结评价,一方面是为了评估员工培训成绩和培训绩效,另一方面也是通过总结评价及时发现员工新的培训需求,在实践中不断加以改进与完善,可找出培训目标与现实培训工作之间的差距,从而提升培训课程的实践性与可操作性,对于企业培训体系的完善有积极意义。
二、建立员工培训体系的开展策略
员工培训体系的建立要在上述指导思想下进行,从多个方面入手,落实培训实践,评估培训成果,推动企业培训体系的建立与完善,真正做到按需培训与全面培训,提升企业员工素质,服务自身进步与发展。
完善培训体系时要注意体系运转安排与准则包管。培训体系的运转需要制度保驾护航,因此对于各项规定准则要做到清晰明确且积极落实,从培训内容、培训目标、培训方式、培训负责人、培训方案、培训评估等多个角度入手进行完善,围绕企业发展目标展开员工培训课程,从而确保培训真正做到言之有物,真正为员工提供进步资本,实现其知识、能力与态度三方面的进步,让员工将所学真正转化为服务企业的各种资本,推动企业管理与生产方面的高效运转,在企业经济价值实现的过程中也展现个人的自我价值。
培训体系的完善与建立还要配合强有力的执行力来贯彻落实,发挥员工自身的主观能动性,提升对培训的认可度和信任度,真正落实到自己身上,从而避免形式主义的老路。在评估中一方面要对培训课程的实施执行进行全程监督核查,一方面要对参与人员的培训成果进行考核监督,从而确保培训工作按时按质按量到位。
完善培训体系的过程中,在积极贯彻执行各项规章制度的同时,还要将企业内部岗位职责、岗位技能需求清晰明确地传递给员工,让他们明晰自身的职业知识与技能需求,在培训学习中做到心中有数,事半功倍,从而熟练掌握职业知识与技能,提升个人整体素质,更好地提高自身的员工绩效,应对企业发展中的各项问题与挑战,从行为、认知、技术、纪律、责任心等多个角度把握本职业需求,真正在培训中实现个人价值与企业价值的双赢,完成企业发展目标。
培训体系建立后,还需要注意后续维护工作。对于企业而言,要建立长效的后备人才培养通道,通过交流鼓励员工不断提升自己,积极上进,实现个人价值目标,将个人的进步最终转化为企业进步的力量。企业在后备通道建设方面,要尽量做到量体裁衣,从管理型人才和技术型人才等多个门类出发,建立专门通道,让员工可根据自身努力目标谋求适合自身的发展通道,在不断提升自己的同时,加强企业与优秀员工之间的沟通交流,通过这种良性的互动实现双方的共同进步。
培训后续工作培训成果的总结与评估是尽可能发挥培训价值的另一大要点。企业要制定明确的考核机制,对员工个人知识、能力进步情况进行评估,可通过运用积分卡制度来增强员工对自身进步的认知与感悟,及时总结受训情况,并将其列为重要绩效内容,保证培训成果考核的及时性和功效性,从而为企业发展管理服务。态度评估可通过培训长效跟踪机制实现,通过长期考察评估员工岗位表现了解其工作态度,及时了解其工作缺陷及进步,为后续培训工作提供参考,方便下一阶段培训计划的制定,形成长效模式,服务企业发展。
综上所述,企业员工培训体系的完善与建立要在遵循指导思想的基础上,从培训制度、内容、方法、执行力、考核、评估等多个方面入手,做到全面培训与按需培训,真正实现企业价值与个人价值的双赢,提升企业经济效益。
参考文献
[1]张墨晗.我国企业物流金融研究[J].财经研究,2010(2)
[关键词]培训效果;评估;指标体系
[中图分类号]C93-0 [文献标识码]A [文章编号]1671-8372(2013)04-0069-05
一、问题提出
随着信息化和知识化的快速发展,人力资源逐步成为企业的核心竞争要素,企业之间的竞争将主要是人才的竞争。培训是现代企业人力资源发展的核心手段,培训效果评估是培训体系的最后一个环节,更是必不可少的一个环节,是对培训活动的总结,也是下一次评估的依据,更是企业进行培训的重要指南。然而,目前为数甚多的企业没有意识到培训效果评估的重要作用,即使已经认识到了,在培训效果评估方面投入的人力、物力、财力仍然很有限,同时也存在着评估不够全面、缺乏有效的评估工具等问题。
进行培训效果评估最关键的问题是确定评估指标,即通过对什么进行评价来确定培训的效果。评估指标体系是反映培训效果的指示器,评估指标水平的高低反映了培训效果是否理想。因此建立一套有效的培训效果评估指标体系,不仅可以丰富培训理论体系和人力资源管理理论,也能够帮助管理者发现企业培训存在的各种问题,从而有效提高培训的质量。因此,本文选择培训效果评估指标体系进行研究,以期对企业人力资源开发工作具有指导作用。
二、企业员工培训效果影响因素分析
所谓培训效果,是指受训者对培训内容(知识、技能和态度)的掌握程度。培训效果受多重因素影响,通过对研究文献的回顾、梳理和总结,本文将影响培训效果的因素界定为个人因素、组织因素和培训系统因素三个方面。
(一)个人因素
1.组织承诺。指员工认同并参与一个组织的强度。高组织承诺的员工对组织有非常强的认同感和归属感。组织承诺程度越高,说明员工认同并参与企业工作的强度越高,员工对组织认同感和归属感也越强,员工也就更积极地参与培训,并倾向于将培训所学到的知识和技能应用到实际工作中,从而提高工作效率,提升企业效益。
2.受训者能力。指受训者顺利完成培训活动所必需的条件。受训者能力越高,对知识的学习、理解、掌握、应用能力越强,因而培训效果也越好。
3.控制源。指个人对组织结果(如奖励或惩罚)是由个人控制还是由外在因素控制的通常性预期。在培训中,如果受训者拥有强烈的信念,认为通过努力自己控制组织的结果,如提升、加薪、工作扩大化等,那么就更愿意将培训内容应用到工作中。
(二)组织因素
1.培训转化氛围。指受训者对各种能够促进或阻碍培训技能或行为方式应用的工作环境特征的感觉,这些特征包括运用所学技能的机会及运用所学技能的成果等。培训转化氛围越好,说明企业的培训激励机制、鼓励学习的企业文化等越完善,员工越倾向于在实际工作当中,应用所学到的新的知识、技能,提高工作效率,进而改进企业整体绩效。
2.领导重视。指领导对培训工作主观意识方面的重视程度,即对受训者参加培训的重视程度,以及所进行的政策、制度性鼓励等。领导越是重视培训,支持员工应用新知识和新技能开展工作,给员工运用培训所学提供机会,培训效果越好。
3.物质支持。指上级给予培训工作相关人力、财力和物力的支持,包括培训前给员工充足的准备时间、让员工参与培训设计、设备支持、提供应用培训内容的工作机会,给予员工物质上的奖励等。提供物质支持,一方面有助于保障培训设计的有效性,另一方面促使受训员工在受训前即调整为有利于培训的情绪与期待,激励员工设置学习目标,加强知识应用的动机。
(三)培训系统因素
1.后勤支持。指培训过程中培训场所、教学设备与辅助工具、交通、饮食、住宿、安全等等事项的安排。后勤支持越到位,说明培训工作的行政支持、后勤服务水平越高,员工参加培训的环境越好,积极性越高。
2.培训课程设计。指评估培训需求、找出受训者及其工作环境的相关信息,认真设计课程意图和学习目标,开发支持和巩固目标的课程内容和参考资料,并且根据测试结果的评估和衡量标准来修订课程内容,以更好地实现组织目标的系统化过程。培训课程的内容选择及难易程度等与员工的培训需求越接近,员工的学习兴趣则越高。
3.师资水平。指培训过程中向受训者传授知识和技能的人员资历与学历以及教学水平。授课老师的水平越高,对培训内容的讲解、课堂氛围的调动、受训者心理的把握、根据受训者反映改变授课风格等方面做得就越好,培训效果也就越好。
4.受训者管理。指培训管理者对本企业受训者参与培训的计划、组织、控制、指挥等管理性工作。培训管理科学合理,有利于受训者明确学习目标,合理安排时间,按照计划和要求完成学习任务。
三、企业员工培训效果评估指标体系的构建
(一)评估指标体系的构建原则
1.体系完善的原则。企业员工培训效果评价是一项复杂的系统工程,在指标体系的构建过程中,要从影响因素出发,综合培训自身和外部环境,建立完善的指标体系。将财务指标与非财务指标、定量指标与定性指标、动态指标与静态指标等相结合,建立完善的培训效果评估指标体系。
2.最小性原则。最小性原则的前提是指标的完善性,建立的指标应能够衡量员工培训效果各个指标的最小集合,这样就能够避免指标的重复和冗繁。关键指标的选取是实现最小性原则的途径,通过科学的方法选取代表性强、信息量大的关键指标,保证整个指标体系的最小性。
3.可操作性原则。可操作性是指所设立的指标容易量化和获取,只有可操作的评价指标体系才具有实际价值。通过可操作的评价指标体系,将员工培训效果直接反映到数据中,容易直接发现企业培训存在的问题。
(二)评估指标的筛选
指标的初选主要是通过两个途径。首先是文献研究。通过阅读大量的文献资料,整理和总结国内外学者的相关研究成果,了解企业员工培训效果评估的主要指标和标准。其次是专家访谈。因本文涉及企业培训相关问题,因此,在专家访谈、问卷调查以及层级分析法中调查的专家主要是企业人力资源管理部门经理或主管、企业中高层管理者、人力资源管理领域的专家学者。通过专家访谈,进一步深化和完善有关评估指标的初步构想,再对指标进行修改和补充。通过上述途径,本文预选出符合本指标体系构建目的和原则的2类、6种、23个有代表性的指标(见表1)。
(三)评估指标的问卷调查
根据前一阶段总结、提炼的23个企业员工培训效果评估指标,编制“企业员工培训效果评估指标调查问卷”,并进行测量,进一步确定企业员工培训效果评估指标。采用德尔菲法对专家进行问卷调查,问卷采用李克特的5级量表,从“1”到“5”分别代表“非常不重要”到“非常重要”的5个不同的重要性程度。调研数据采用算术平均数的统计方法,剔除无效的指标,同时采用开放式的问题,增加有效的指标。
本研究选取了7位专家①,在专家评分的基础上,参考各位专家对评估指标的调整和修改意见,对评估指标问卷进行统计分析,得出23个指标重要性的水平(见表2)。除了“新产品开发”这一指标均值为3.04,小于3.5,重要性为一般外,其余指标的均值均大于3.5,说明专家认为23个评估指标在企业员工培训效果评估中都是比较重要的。另外,根据指标选取的最小性原则,“员工忠诚度”和“员工离职率”可以用“员工满意度”替代,“顾客维持率”和“顾客投诉率”可以用“顾客满意度”替代,“市场增长率”、“市场份额”和“年均销售额”及“年均销售利润”这4个指标都是衡量产品或劳务销售情况的指标,指标选取重复,剔除“市场份额”、“年均销售额”和“年均销售利润”指标,只保留“市场增长率”指标。
(四)评估指标体系的建立
根据上文建立包含2个一级指标、6个二级指标、17个三级指标的评估指标体系,并对各级指标进行编码(见表3)。
(五)评估指标的解释和数据来源
对企业员工培训效果评估指标体系中的17个指标进行解释(见表4)。
针对不同层次的指标采用合理的指标数据收集方法将有助于增加各指标数据的可信度,提高评估结果的准确性。指标收集常用的方法如下:
1.测验法。测验法主要是通过笔试的方法考察受训者对所学的方法、理论、原理和操作技能等理论知识的理解和掌握程度。该方法适用于理论知识掌握程度的评估,主要用于受训者短期效果评估,应在培训结束后立即进行。
2.工作模拟法。工作模拟法是对受训者在模拟的真实工作情景中的表现进行观察和测试,主要测试受训者对操作类技能的掌握程度,该方法适用于应用知识掌握程度评估,在模拟的环境中观察受训人员的操作准确性、操作熟练程度等,记录受训人员处理问题的及时性、方法准确性等。一般在培训结束后立即进行。
3.问卷调查和访谈法。问卷调查和访谈法是培训效果评估最常用的一种数据收集方法,调查者运用统一设计的问卷向被选取的调查对象了解情况或征询意见。在数据收集时,要考核受训者的行为习惯变化和工作绩效变化,可以向受训者发放自我评价量表,通过受训者自我打分评价,也可以向受训者的主管、同事、下属或客户发放问卷收集数据。一般在培训结束后的1~3个月进行。
4.360度绩效考核法。360度绩效考核法主要是通过对受训者的上级、同事、客户、下属、个人等的调查来评估其行为的改变。该方法评估结果较全面,适用于员工行为习惯变化和员工工作绩效变化的评估。但是该方法的工作量相对较大,会增加实施难度,主要用于受训人数较少时,一般在培训结束后的3~6个月进行。
5.目标评价法。目标评价法主要是指在制订培训计划时设定好培训应该达到的目标,培训结束后将培训结果与培训目标相比较。组织绩效效果评估可以采用此方法,一般在培训结束6个月~1年后进行。
(六)评估指标权重的确立
权重是根据各组成要素在整体中所处的重要程度和所发挥作用的大小而分别赋予的不同数值。没有重点的考核就不算是客观的考核,一个完整的指标体系中不同指标的重要程度是不一样的,因此,培训效果的评估必须针对不同指标对目标贡献的重要程度作出估计,即权重的确定。
企业员工培训效果评估指标权重的确定以层次分析法为基础,建立评估指标的递阶层次结构,构造两两判断矩阵。通过问卷调查的方式,由专家按1-9比例标度法把处于同一子集中的各指标相对于上级指标的重要性成对进行两两比较得到判断矩阵,根据判断矩阵计算对于上级指标而言,本子集各指标的重要性次序的权值,它可以归结为计算判断矩阵的特征值和特征向量问题,据此就可以确定单层权重的子集。通过一致性检验后,运用相同的方法确定总层权重子集,并进行总层一致性检验。通过检验后,确定各级指标的权重,最终得到企业员工培训效果评价指标体系(见表5)。
用层次分析法计算指标权重涉及很多公式和数据,计算的工程量大而且还容易出错。因此,本论文借助层次分析法专业软件yaahp来帮助计算指标的权重。
四、结论
运用文献研究、专家访谈以及问卷调查等方法,本文确立了企业员工培训效果评估的指标和权重,明确了企业员工培训效果评估的重点内容,建立了企业员工培训效果评估指标体系。企业可根据该指标体系以及文中提到的指标收集方法,收集相关数据并对各指标计分,依据权重得出总分,由此对不同受训者或不同培训项目的培训效果进行横向比较,也可以对企业不同时期的培训效果进行纵向比较。企业也可以根据经验确定相应的分数标准值,将每次培训评估后的分值与标准值比较,以掌握培训目标的达成情况。
企业在进行培训效果评估时,还可以根据实际需要增加或减少相应的评价指标,或者在本研究设计的三级指标的基础上对指标再细化。但操作过程中一定要注意指标的明确性和可测性,充分保证评估结果的科学与准确。
[参考文献]
[1]谭伟.培训迁移及其影响因素研究述评[J].经济研究导刊,2012(11):285-286.
[2]姚玲.基于平衡计分卡思想的培训效果评估模型研究[D].广州:广东商学院,2007:23-25.
[3]尹华.企业培训模式与效果评估研究[J].中国外资,2012(257):192-193.
[4]王向阳.企业销售人员培训效果评估研究[D].哈尔滨:哈尔滨工程大学,2008:12-16.
培训质量评价模式是一种评价模型,涵盖一定的评价思想取向和结构,并表现为一定的操作规则、方法和步骤,对教师培训的训前、训中和训后的活动做出规范和说明。依据斯塔佛尔比姆的CIPP模式和柯氏四级培训评价模式,福建教育学院在实践中不断探索中小学教师培训质量评价模式,并对评价运行情况进行总结与反思,以利于提高培训质量。
关键词
教师培训;质量评价;依据;模式探讨;运行与反思
福建教育学院以教师培训为主业,培训对象是基础教育阶段各级各类学校的校长和教师,进行培训质量评价模式的研究,目的是引导培训项目组和培训教师按照既定思路、操作规则、方法和步骤规范培训工作,使培训项目实施既具有一定理论深度,又能紧密贴近教学一线实际,精细把握学员需求,提高培训质量。
一、研究培训质量评价模式的意义
1.培训质量评价模式的涵义
评价模式主要指培训管理者依据某种评价模式理论、评价思想或者特定的评价目标,选取一种或几种评价方式方法建立起来的相对稳定相对完整的评价体系。培训质量评价模式是一种小的评价模型,它涵盖着一定的思想取向和结构,并表现为一定的操作规则、方法和步骤,对整个中小学教师培训的训前、训中和训后的活动做出规范和说明。
2.研究培训质量评价模式的意义
构建培训质量评价模式有利于引导培训工作者按照既定思路、操作规则、方法和步骤,快速设计出一个优良的培训方案,达到事半功倍的效果。根据《福建省人民政府关于进一步加强中小学教师队伍建设的意见》(闽政文[2008]344号)精神,福建教育学院作为中小学教师省级培训主要基地,承担着中小学教师、中小学校长的培训任务,同时还是中小学教师继续教育的政策研究咨询和业务指导中心。培训质量评价模式能指导培训管理者和教师规范培训工作,使培训项目负责人按照评价模式思路,认真设计培训方案,实施培训教学,提高培训质量。
二、构建培训质量评价模式的理论依据
1.CIPP模式
美国教育评价先驱拉尔夫•泰勒是行为目标模式的创始人,其模式把目标———评价活动实施———评价作为一个封闭的循环圈,注重对预期效果的评价。斯塔佛尔比姆(Stufflebeam)认为,评价不再局限于目标的达到度评价,评价不是为了证明,而是为了改进。斯塔佛尔比姆及其同事于20世纪60年代末70年代初提出CIPP模式,基本框架是背景评价(context)、输入评价(Input)、过程评价(process)和成果评价(product)。CIPP是这四种评价英文名称的第一个字母组成的缩略语。本世纪初,斯塔佛尔比姆对四步骤的CIPP模式作了补充和完善,把成果评价分解为影响评价(impact)、成效评价(effectiveness)、可持续性评价(sustainability)和可应用性评价(transportability)四个阶段,由此构成了七个步骤的评价模式。
2.柯氏四级培训评估模式
柯氏四级培训评价模式是由威斯康星大学教授柯克帕特里克(Donald.L.Kirkpatrick)于1959年提出来的,该模型的评估内容限定在四个层次上的产出,即“反应评估”“学习评估”“行为评估”和“成果评估”。第一层是反应层,即一级评估,是指学员对项目的主观感受,如对培训的课程、培训方式、培训师授课情况的看法和满意度,评估通常采用调查问卷的形式。第二层是学习层,即二级评估,是测量学员从培训中学到的理论知识、教学技能、教育技术等方面的获得程度。该层次的评估采用书面测试、操作测试、等级情景模拟测试等方法评估。第三层是行为层,即三级评估,是指学员在日常工作中是否自觉运用了培训所学到的知识和技能,使教育教学行为发生变化。评估主要依靠上下级、同事等对学员的行为改变进行。第四层是成果层,即四级评估,是指培训后学员在工作业绩上的提高程度,计算培训创出的效益。柯克帕特里克四层次评价模型中,前两个层次主要是对培训的过程进行评价,后两个层次主要是对培训的结果进行评价。
三、培训质量评价模式结构要素
1.培训质量评价主体
(1)参训学员
参训学员对培训质量的评价有两种方法:一是由培训管理处设计网络问卷,采用李克特(Likert)五点量表,让学员进行网络匿名投票,统计换算学员整体满意度;二是由培训管理处随机抽取10%的学员,召开座谈会或者个别访谈,征求参训学员对培训的意见和建议。
(2)培训项目负责人
项目负责人作为评价主体时主要针对各研修部承担的学科培训项目中学员培训的需求调研、培训方案、培训课程(包括理论与实践课程设计)、课时安排、师资选配、教学方法选择等进行自我评价。
(3)学院培训管理处
学院培训管理处作为评价主体时,主要依据教育部和福建省教育厅有关培训文件精神的贯彻落实情况,对各个研修部的培训项目的方案及实施进行评价,撰写年度评价报告。对学院培训项目进行横向比较,排列等级。
(4)有关专家教授
有关专家是指由培训管理处聘请的校内外高校专家、名校长、各学科特级教师、名师,以及培训教学委员会成员,以第三方的身份组成培训质量评价专家组,对项目整体实施情况进行评价。(5)学员所在学校参训学员所在单位根据参训学员在参训前和参训后在教学岗位上的表现、变化和所取得的成绩进行跟踪评价,主要由培训管理处进行学校参训教师的抽样调查,通过所任教班级学生问卷,或者与学校有关部门的电话访谈完成评价工作。
2.培训质量评价对象
中小学教师培训质量评价对象从培训项目来源划分,一是国家委托福建教育学院培训的项目,简称“国培项目”;二是福建省教育厅每年下达学院的中小学校长、中小学教师的所有培训项目;三是省内外教育部门委托的所有培训项目。
3.培训质量评价依据
构建培训质量评价模式的主要依据是教育部颁发的《中小学教师专业标准》、《教育部关于深化中小学教师培训模式改革全面提升培训质量的指导意见》、《“国培计划”课程标准》、《教育部关于进一步加强中小学校长培训工作的意见》、《福建省中小学教师省级培训项目管理办法(试行)》等文件精神,以及学院制定的《中小学教师培训质量评价方案》和实施细则。
4.培训质量评价制度
在培训中福建教育学院建立了8项制度以保障培训质量:教师培训能力认定制度、培训项目招投标制度、培训需求调研分析制度、培训方案论证制度、学员满意度测评制度、训后跟踪指导制度、项目质量分析制度和学科年度培训总结报告制度。为使8项制度有效落实,学院每年进行优秀培训项目和负责人评选,并在全院予以表彰和奖励。
5.培训质量评价内容
培训质量评价指标体系分为7个一级指标,20个二级指标。7个一级指标为:培训需求,包括需求调研分析和调研报告质量评价;培训方案,包括培训主题、培训目标、培训课程、培训方法和课时安排的评价;培训师资,包括师资配置和专业水平的评价;培训教学,包括课堂教学、实践教学、教学方法和学习指导的评价;培训管理,包括教学管理、学员管理和经费管理的评价;培训效果,包括学员满意程度和培训成果评价;培训服务,包括学习服务和食宿服务评价。一级指标和二级指标有权重分值,在二级指标后面的末级评价标准,操作性很强。
6.培训质量评价反馈
培训质量评价反馈包括两个方面的内容:一是各研修部培训项目总结报告、第三方专家教授评价报告、学员对培训质量的满意度评价报告、培训管理处培训质量年度报告。二是培训质量考核等级评价,包括各个研修部承担的学科培训项目的培训教学等级评价、培训教师等级评价、培训组织管理等级评价、培训服务保障等级评价。每次培训后要召开学院培训质量分析会,肯定成绩,分析问题,提出下一轮培训质量目标和改进建议。
四、中小学教师培训质量评价模式
1.培训质量评价模式流程
评价主体:培训项目负责人(自我评价)———第三方专家组(再评价)———参训学员(评价教师授课质量)———学院培训管理处(综合评价)。评价对象:国培项目———省培项目———委培项目。培训评价内容:训前决策———培训过程———培训管理———培训效果———培训服务。培训质量分析反馈:培训项目自评报告———学员满意度测评———第三方专家组评价报告———学院培训管理处质量评价报告———学院培训质量考核等级报告。
2.培训质量评价内容与方法模式
(1)培训质量评价内容
第一,训前决策,包括需求调研、需求分析、调研报告和师资选配;第二,培训过程,包括课程教学、实践教学、教学方法和学习指导;第三,培训管理,包括教学管理、学员管理和经费管理;第四,培训效果,包括学员满意度和学员学习成果;第五,培训服务,包括学习服务和食宿服务。
(2)培训质量评价方法
培训质量评价方法包括:问卷法、访谈法、量表法、统计法和比较法。
(3)培训质量评价结果的分析与处理
形成培训质量综合判断(自然描述和等第评定);分析培训质量问题(召开培训质量分析研讨会);评价活动的再评价(评价方案的再评价、评价指标体系的再评价、评价对象接受程度);培训质量评价信息反馈改进(报告学院主管部门,向培训项目组报告,在学院内部公开)。
五、培训质量评价运作与反思
1.培训质量评价运作概况
(1)国培项目概况
以2015年为例,福建教育学院通过竞标先后获得教育部“国培计划”培训项目26个,其中,跨省竞标中西部国培项目18个,中标项目覆盖吉林、内蒙古、河北、河南、山西、湖南、贵州、宁夏、甘肃、新疆、等中西部省份,涉及中小学的10个学科。2016年4月教育部教师工作司公布2015年“国培计划”项目评估结果,福建教育学院被抽查的4个国培项目,分别名列第1名、第3名、第5名、第9名。小学校长培训项目在17所院校(机构)中排名第3位,在所有承办农村校长助力工程项目的38所院校(机构)中总分排名第3位。
(2)省培项目概况
以2015年计划内省培项目为例,回收4146份学员问卷,回收率81.3%。被调查的学员覆盖高中15门学科51个班,其中,高级教师占44.4%,一级教师占55.6%,学员的匿名投票平均得分为(满分5分):把握培训需求4.71分,培训主题确定4.74分,培训目标设置4.71分,培训课程设计4.65分,培训方式方法4.67分,学员学习指导4.61分,培训资源获取4.71分,研修收获与成果4.66分,培训管理与服务4.72分,培训效果总评4.70分。结果表明参训学员对培训质量满意度较高。
2.培训质量评价的反思
(1)培训质量评价内紧外松
以2015年为例,福建教育学院承担的培训项目总人数达到30302人,其中集中培训11979人、远程培训18323人。目前培训管理处只能侧重对计划内的省培项目进行质量评价,暂时无法顾及到委托培训和远程网络培训,这有待进一步加强。
(2)学科培训项目质量不均衡
以高中15个学科参训学员匿名问卷统计为例,在把握培训需求上,平均分之上有8个学科,平均分之下有7个学科;在培训课程设计上,平均分之上7个学科,平均分之下8个学科;在研修收获与成果上,平均分之上有7个学科,平均分之下有8个学科。从五级评分量表的评分来看,评分差距拉得不够开,需要修改量表,拉开得分距离。
(3)培训项目组训前决策问题较多
从随机抽查15个学科培训项目组的39份培训方案来看,写得较好的方案占35%、写得一般的占31%、写得较差的占34%。培训需求调研不够深入,需求分析不到位,就会造成培训主题确定、课程设计和师资选配的一系列问题,难以满足社会和学员需求。
作者:张惠敏 单位:福建教育学院
参考文献
[1]余新.教师培训师专业修炼[M].北京:教育科学出版社,2012.
关键词:管理培训 效果评估 关键指标
在人力资源开发领域,最热门的话题,也是最难解决的问题就是培训效果评估。关于“培训效果评估”的概念,雷蒙德·a·诺伊教授认为,就是指“收集培训成果以衡量培训是否有效的过程”;而英国的管理服务委员会(msc)将其定义为“用来判断培训是否达到既定目标的过程”。培训是一个由培训需求分析、培训设计、培训实施和培训效果评估组成的系统,如果说前三个环节的开展越来越受到企业重视的话,培训效果评估却远远落后于培训的脚步。长期以来,企业对管理人员进行培训后没有对培训效果进行评估,大大降低了培训效果,进而影响了企业的发展。而企业不重视效果评估的一个重要原因是缺乏一套科学的管理培训效果评估指标体系。
效果评估是对各评估指标的信息综合,评估结果是否客观、准确,首先依赖于被综合的对象——各评估指标的信息是否准确、全面和有代表性,评估指标的选取和评估指标体系的设计是否合适,直接影响到综合评估的结论。因而,选取什么指标来刻画管理培训的效果,是本文要解决的重要问题。本文采取的指标选择方法是文献资料的提炼和专家访谈。
一、管理培训效果评估指标的相关研究综述和指标的初建
(一)关于管理培训效果评估指标的研究
目前,我国管理培训效果评估指标的研究相对较少,多是一些一般培训效果评估的指标研究。如周勇、张燃(2001)提出培训效果评价的几个方面:培训力度,技术适用度,效益增长度。晏秋阳、曹亚克(2002)提出员工培训评估指标分为两大类,硬指标和软指标。王鲁捷、钟磊、孙启霞(2002)认为培训绩效评估指标体系,包括成本—效益评估指标和顾客满意度指标两大类。陈卫(2006)提出了包含对培训项目的评价、对培训教师的评价……受训者的工作态度总体表现、人力资源绩效指标、运行指标等4个一级指标、12个二级指标、11个三级指标的指标体系。熊敏鹏、杨小东(2007)根据kirkpatrick的四层次评估模型设计了培训效果评估的指标:反应指标(如培训对象的满意度等)、学习指标(如推销知识、辅导技能、选材技巧等)、行为指标、结果指标(如培训成本、组织发展的状况等)。肖娟(2007)将培训效果评估指标分解为:反应类(对培训感兴趣、培训内容对工作帮助程度等)、学习类(知识学到程度等)、收益类(培训对企业的货币价值贡献率)、战略支持类(人员流动率等)。
但管理培训,由于其培训的特点,效果评估都有不同于一般员工之处,因此,效果评估的指标也有其独特之处。虽然这方面的研究相对较少,但还是为我们提供了指标设计的依据。
1.william h.clegg的观点?譹?訛。美国学者william h.clegg(1987)对639位企业管理人员进行了调查研究,结果显示,被调查者认为的管理培训效果评估指标的重要性排序应该是:工作绩效的改善、学员对培训的反应、学员知识的增长、学员技能的提高、学员态度的改变、企业运作绩效的提升、对课程设置的评价、对课程讲授的评价、对后续课程的需求程度、对培训活动组织情况的评价、企业经理对课程的推荐程度、学员的激励程度、学员的参与程度、培训项目成本等。
2.国内学者的观点。萧鸣政(2004)教授提出评估的指标与内容表现为过程评估与成果评估两个方面。
管理开发的过程评估指标包括完善的管理开发规划、相关的配合措施和适当的评估与追踪管理措施。完善的hrd规划包括:确定hrd需求、建立管理开发的客体与对象、课程设计、教育培训技术的选择与确定。相关的配合措施包括:师资的选择、对被开发者的了解、时间场地的安排、管理开发前后的相关措施。适当的评估与追踪管理措施包括:成果导向的评估内容指标、评估规划内容。成果评估指标包括内部成果与外部成果两个方面。内部成果包括:被开发者的意见与满意度、学习成就评估。外部成果包括:被开发者在岗位工作中的变化、对组织整体的影响与效益。
陶祁、王重鸣(2006)在管理培训的背景下,提出了在培训效果评估中可使用适应性绩效作为培训效果的效标的一个重要方面。据此,开发出了包含压力和应急处理、创新解决问题、岗位持续学习、人际和文化适应四个因素,共25个项目的适应性绩效问卷。
曹如玲(2009)提出了培训课程的启发性、培训课程的实用性、学员的课堂参与程度、教师的感染力与课堂气氛、教师讲解的逻辑性与清晰度、学员对相关知识和原理的掌握情况、学员的人际和文化适应能力的提高、团队合作精神的增强、员工满意度的提升、制度执行力的提升等22个评估指标。
(二)基于文献研究的管理培训效果评估指标的初建
在整理总结了大量有关培训效果评估、管理培训效果评估的研究成果的基础上,以培训过程理论、综合性培训模型和层次培训模型为依据,从管理培训的目的、需要出发,结合管理培训的特点,本文预选出符合指标体系构建目的和原则的三大类、七种、29个有代表性的指标,其指标定义、来源和理论基础如表1所示。
二、基于专家访谈的管理培训效果评估指标的完善
结合研究内容,本次访谈目的在于了解企业管理人员培训目的、需求,管理人员培训的特点以及他们所关注的培训效果评估指标,并通过访谈对已汇总出的评估指标进行修订,使得评估指标更加具有针对性、操作性。
专家访谈的对象共7人,由三部分组成:(1)企业管理或人力资源开发和管理领域的专家、学者;(2)管理培训领域的培训师和组织者;(3)企业中高层管理人员。这部分对象的数量不必很多,但要求有较强的理解能力,并对培训评估问题有较深刻的认识或实践经验。
专家访谈主要问题:
(1)能描述一下贵公司的的发展战略吗?如何将该战略应用到管理人员的培训上呢?(2)近年来,企业开展了哪些针对中高层管理人员的培训活动?能具体描述一下吗?您觉得效果如何?您觉得效果不错或不理想的主要原因是什么呢?(3)您所了解的企业在管理培训效果评估时通常会使用哪些评估指标?您觉得有效吗?(4)我们已总结出了一些评估指标(如上所述),您认为它们是否重要?(5)您认为是否有其他的评估指标需要加入?
访谈结束后,对访谈内容进行整理和评估指标提炼。
最后,汇总访谈结果,结合评估指标筛选原则,对已总结出的指标项进行了修改和补充。具体结果是:增加了“体现管理人员学习特征”的指标“被培训者的课堂参与程度”;将原来的“培训需求与战略”指标细化为“培训目标明确”、“培训目标与组织战略目标一致”、“培训计划完善且有针对性”、“培训需求分析有针对性”四项;增加了“培训手段先进性”、“企业员工积极性”、“企业员工流动率”、“企业市场份额”等指标。
三、管理培训效果评估指标体系的确立和关键指标的描述
总结上述文献研究和专家访谈的研究结果,本文得出管理培训效果评估的指标体系,包括三个一级指标、8个二级指标、22个三级指标,18个四级指标。如表2所示。
(一)培训准备类评估指标——培训需求与战略
在企业实践中,每个企业的情况是不同的,必须根据企业不同的定位来评估培训对企业发展的支持,制定不同的指标体系。培训的预期效果和培训重点的确定来源于对企业目标的正确认识。培训需求分析是整个培训管理活动的第一个环节,它决定了培训能否瞄准正确的目标,进而影响到能否设计与提供有针对性的培训课程,因此对培训的有效性起着至关重要的作用。所以,本文中培训准备阶段的指标的设计就确定为企业管理人员培训需求与战略的联系进行论述。包括:培训目标明确、培训目标与组织战略相一致、培训计划完善且有针对性、培训需求分析有针对性。
(二)培训过程类评估指标
1.课程内容。管理人员培训课程涉及的内容非常广,因此,课程内容设计得是否合理、是否能够满足企业和被培训者的实际需要,在很大程度上决定了企业培训的效果。本文中,课程内容类评估指标涵盖了对课程的启发性、实用性和内容的丰富性三个方面的评估,主要通过管理人员自身的学习感受来进行评估。
2.手段和方法。该类评估指标设计为:培训方法的多样性、培训手段的先进性,主要用于评估管理人员开发培训中培训方法能否与内容相符合。如对知识类培训时,可采用讲授法、专题讲座、研讨法;对提高和开发综合性能力的培训时,可采用案例研究法、头脑风暴法、模拟训练法、敏感性训练;对行为调整和心理训练时,可采用角色扮演法、行为模仿法、拓展训练法。同时,还要重视手段的现代化。
3.师资的选择.教师是培训工作的具体实施者和引导者。培训教师的组成可以内外结合,既包括高校从事企业管理的学者、从事企业管理研究工作的研究人员,也应有长期从事企业管理工作,具有丰富工作经验的领导者,甚至企业自身的成功的管理人员。教师的感染力、教师的责任心、教师的专业水平等情况都会直接影响管理人员学习兴趣和学习效果。因此这三个指标成为评估师资选择是否恰当的依据。
4.培训的保障。这一类指标用于评估培训的组织与实施等方面的情况,其中,教材与相关资料的准备情况、教学环境与设备情况这两项会对培训效果的迁移产生一定的影响;而培训时间安排是否合理、培训组织工作是否到位,则会影响到被培训者、甚至是所在企业对培训的满意度。
5.管理人员的特点.本文提出的培训效果综合评估体系,是基于战略绩效和学习核心的,因此在评估指标设计中特别设计了“被培训者的课堂参与程度”这一指标,目的在于考察管理人员培训能否遵循成人学习的特点,充分调动成人学习的积极性。
(三)培训结果类评估指标
1.个人学习效果。在效果评估系统中,个人学习效果分为知识的效果和技能效果两种。知识效果指的是通过不断学习和经验的积累获得的智力上的进步;技能的效果指的是管理人员在某一个专业领域中,通过学习和经验获得的产生绩效和最佳效能的行为。由于管理人员的职业角色和素质要求,对管理人员培训效果的评估指标就侧重在是否达到决策能力的提高、组织协调能力的提高、创新能力的提高、持续学习能力的提高、团队合作能力和精神的提高等。
2.组织绩效效果。组织绩效的提升是几乎所有培训的最终目标,也是企业主最关心的目标,但管理培训对组织绩效方面的影响往往不会那么直接、快速地从这些指标中体现出来。因为管理人员培训的目的是通过个人管理能力的提升,进而提升企业的管理能力,以实现组织的战略目标。所以,本文借助平衡计分卡这一战略管理工具、绩效管理工具,设计了管理人员培训效果评估的组织绩效指标:学习与成长类,内部流程类,客户指标类,财务指标类。
参考文献:
1.richard a.swanson,elwood f.holton ⅲ,foundation of human resource development eisbn:1-57675-075-2,copyright 2001 by berrett-koehler publishers,inc
2.[美]赖尔·约克斯著,胡英坤,孙宁译.战略人力资源开发[m].东北财经大学出版社,2007
3.萧鸣政.人力资源开发的理论与方法[m].高等教育出版社,2004
4.雷蒙德·a·诺伊.雇员培训与开发[m].中国人民大学出版社,2002
5.熊敏鹏,杨小东,基于平衡计分卡的培训效果评估初探[j].中国电力教育,2007(6)
6.陶祁,王重鸣.管理培训背景下适应性绩效的结构分析[j].心理科学,2006(3)
7.王鲁捷,钟磊,孙启霞.企业培训绩效综合评价指标体系研究[j].中国培训,2002(12)
8.周勇,张燃.企业人力资源开发培训评价模式研究[j].煤炭经济研究,2001(8)
9.晏秋阳,曹亚克.企业员工培训效果评估模式的探讨[j].江西行政学院学报,2000(s)
10.陈卫.企业培训的绩效评估[d].硕士论文,2006
近十年,国网河南省电力公司在实施全员绩效管理的道路上不断探索。2005年以来,建立并逐年修订完善企业负责人业绩考核管理办法,企业业绩持续提升。2009年公司制订了全员绩效管理工作三年规划,通过打基础、建体系、全面实施,不断深化和优化,逐步形成了一套行之有效的管理方法和经验,为公司提升经营业绩、提高员工素质发挥了积极作用。
河南省电力公司技能培训中心(以下简称“技培中心”)成立于2012年6月,由原河南电力工业学校、南阳电力技工学校和河南电力仿真培训中心整合而成,主要承担公司及代管县供电公司技术技能培训、公司电力仿真培训和农电用工的技能培训任务,是一所集中高级技术技能人才培训、退役士兵岗前培训、技能竞赛、技能鉴定等功能于一身的新型电力教育培训机构。
为了改变教育培训的面貌,激发员工的工作热情,2011年河南省电力公司技能培训中心在认真学习领会河南省电力公司绩效管理办法,并总结其他企业成功经验的基础上,设计了一套制度全面、标准全理,既吸纳现代企业核心价值又符合技培实际的绩效管理体系,以适应电力企业对技能培训提出的新要求。
技培中心绩效管理体系建设的原则
技培中心全员绩效管理坚持以战略为指引,以业绩为导向,突出考核重点,坚持考核对象分级,考核内容分类,考核目标与考核标准量化,坚持考核指标与流程统一规范,评价方法科学有效;坚持以人为本,以提升管理、促进工作为目标,考核结果坚持权责对等、强化绩效激励作用。
技培中心绩效管理体系构成
技培中心全员绩效管理体系包括管理组织、考核指标、考核评价、管理流程、结果应用和基础工作等内容。通过实施“四全”管理(全面应用目标管理,全员实行量化考核管理,全面推行绩效经理人管理,全员实施绩效合约管理),实现绩效管理“四统一”(统一考核层级和分类,统一考核模式和指标体系,统一绩效计划管理和过程管控,统一考核结果分级和应用),形成标准规范、科学精益、操作简便的常态管理机制。
全员绩效管理工作实行“分级管理,分类考核”。考核层级为两级,即中心考核部门、部门考核班组。考核分为三类,即企业负责人考核、管理机关考核和班组考核。中心成立绩效管理委员会,下设绩效管理办公室,设立绩效管理员。各部门配合绩效办公室开展绩效管理工作。实行绩效经理人制度,绩效经理人是被考核者的直接管理人,绩效经理人负责与被考核者确定绩效目标、签订绩效合约、实施考核、进行沟通反馈、制定改进工作计划等。被考核者在绩效经理人的指导下,进行岗位绩效自我管理,制订个人绩效计划并实施;对工作中存在的问题,及时与绩效经理人进行沟通;对考核结果有异议的,及时向绩效办公室进行申诉。
绩效考核方法及实施
绩效考核分为管理机关绩效考核和班组绩效考核,管理机关绩效考核是指对职能、业务部门和管理员工的考核。管理部门实行定量考核和定性评价相结合的方式。考核内容包括目标任务指标与减项扣分指标。
目标任务指标(100分)
考核内容包括关键业绩指标和重点工作任务指标。
关键业绩指标包括上级下达指标、根据部门职责提炼的关键业绩指标以及其他部门分配的关联性指标。评价时采用目标比较法、历史评价法、标杆评价法等方法,由指标业务分管部门进行评价。
重点工作任务指标由上级确定的年度重点工作任务、本部门年度重点工作任务和临时性重要交办任务组成。对重点工作任务指标从工作任务实施的进度、质量、成效等方面进行评价,采用部门自评与绩效经理人评价相结合的方式。
减项扣分指标
是将安全生产、反腐倡廉、队伍稳定、保密工作、舆论宣传、依法治企等项目作为减分项指标进行考核。每发生一起,扣减相应分值,减分累计计算。
部门考核采用部门自评、指标业务分管部门评价、绩效办公室汇总计算、绩效管理委员会审定的流程进行考核。管理部门考核采用季度、年度考核评价的方式。
员工实施目标任务制与减项扣分指标考核。目标任务制考核内容包括目标任务指标、综合评价两部分。目标任务指标(80分):考核内容包括关键业绩指标和重点工作任务指标,由部门目标任务指标分解落实并结合岗位职责提炼形成。综合评价(20分):包括考勤、工作态度、工作能力、创新精神等内容。重点对管理创新、破解难题等方面的工作给予评价。
部门主要负责人综合评价指标由其绩效经理人考核,部门副职、部门员工由其绩效经理人进行考核,并与部门考核结果挂钩。员工考核采取季度、年度考核评价的方式。
年度综合评价得分取本人当年季度综合评价的平均分。
绩效管理实施流程
绩效管理实施流程包括绩效计划、监控与辅导、考核评价、沟通与反馈、绩效申诉五个环节,通过对五个环节的过程管理,达到绩效管理过程控制的预期目的,实现绩效管理工作目标。
制订绩效计划、签订绩效合约是全员绩效管理工作的基础和前提
每年10月下旬,中心启动下一年度绩效计划编制工作,研究拟定关键业绩指标和重点工作任务建议,绩效办公室汇总后报本单位绩效管理委员会审定。各部门根据与中心所签定的年度业绩考核责任书和中心“两会”确定的年度重点工作任务,结合本部门实际,建立绩效考核指标体系;逐级分解并确定部门年度考核目标任务。部门根据年度考核目标任务,编制《重点工作任务计划书》并将工作任务指标分解到员工。各级绩效办公室组织员工与其绩效经理人签订绩效合约,确保全员覆盖。
绩效监控与辅导是绩效管理工作的关键环节和有效保障
各级绩效经理人须月度跟踪监控绩效计划进展情况,做好绩效记录,及时纠正工作中与绩效合约内容可能出现的偏差,寻找影响绩效的原因,进行必要的沟通和辅导,双方共同寻求提高绩效的方法,促进绩效计划的实现。建立绩效看板制度,实施绩效管理的全过程可控、在控、能控,并进行结果反馈。绩效管理办公室定期将各部门关键业绩指标完成情况及部门绩效考核结果进行分析排序并公布。部门及班组内部公布员工绩效考核结果。并按季总结本单位绩效指标完成情况、分析存在的问题、提出改进建议,并形成分析报告。分析报告报本单位绩效管理委员会。每年12月,各部门对本年度绩效考核情况进行全面总结。
人力资源部做好员工绩效计划、绩效考核结果、绩效沟通的信息归档工作,形成员工绩效档案,为员工的能力提升和职业发展提供支撑。
绩效委员会及部门内部召开季度、年度绩效管理例会,总结当期工作,确定绩效考核结果,提出改进措施;并制定下期工作计划,做到工作有计划、任务有总结。
考核评价是绩效管理工作的重点内容和结果体现
根据绩效计划确定的目标与标准,定期对企业负责人、管理机关、一线员工进行考核。
年度绩效考评流程:
(1)合约调整。每年12月,绩效办公室启动本年度部门及部门主要负责人绩效考评流程。部门主要负责人根据年度实际工作调整绩效合约内容,提交绩效经理人审核。
(2)初评。关键业绩指标及减项扣分指标由指标业务分管部门考评,重点工作任务指标由承担部门自评总结;同时,提供绩效证明。初评后,提交中心领导审核评价。
(3)中心领导考评。中心领导考评审核部门年度重点工作任务指标,并由中心分管领导进行综合评价后,交绩效办公室汇总计算。
(4)绩效委员会审定。绩效办公室汇总计算后提交绩效管理年度例会,由绩效委员会审定并确定部门及部门主要负责人年度绩效等级结果。
(5)绩效办公室归档。结果公示5个工作日后,绩效办公室归档部门及部门负责人年度绩效结果。
沟通与反馈是绩效管理工作的有效手段和基本方法
在考核时绩效经理人必须与各被考核者进行面谈和沟通,将考核结果进行反馈。绩效经理人和被考核者要共同对考核结果进行分析,充分肯定被考核者成绩,指出问题、分析原因,提出改进措施、明确努力方向。
绩效申诉是保证考核公平、公正的制度保障
被考核者对考核结果持有异议,在绩效考核结果公示5个工作日内,应首先与绩效经理人进行沟通解决;若沟通无效可按规定程序向本单位绩效办公室进行申诉,绩效办公室接到申诉后应及时进行调查核实,并在接到申诉5个工作日内协调解决;不能协调的应及时提出处理意见,提交本单位绩效管理委员会最终裁定。
绩效考核结果应用
建立员工年度绩效等级积分制度
员工的年度综合绩效考核结果,按得分顺序划分为A、B、C、D四个等级。月度绩效薪金根据上一季度(年度)绩效考核结果兑现发放,连续3年绩效考核等级为A级的员工,由中心根据单位实际情况,给予一次性特别奖励。
员工绩效考核结果和累计绩效等级积分与人才选拔、升迁竞聘、评优评先、职称评定、技能鉴定、教育培训等挂钩。
绩效考核结果与职业发展挂钩
将绩效考核结果作为员工职务、职称或技能等级晋级的依据,与员工职业发展通道挂钩。上年度绩效等级为A级的员工,优先推荐申报技能鉴定和职称评定,优先推荐参加各级各类优秀(专家)人才的选拔和职业生涯规划的重点辅导。
绩效考核结果与教育培训挂钩
具体来说,在干部教育培训活动这一动态过程中,干部教育培训主体应当具备以下几方面的能力。
1.教育培训方案设置能力
教育培训方案设置能力是培训机构将培训内容、培训师资、培训对象、培训时间、培训地点、培训经费、培训场地、培训环境、培训考察等因素有机组合,系统化成一个整体并且能够全面落实的能力。它是干部教育培训活动能否顺利实施、达到预期培训目标的前提,具体又包括三个方面:一是准确评判党和国家事业的需求与干部教育培训需求的能力;二是准确评判现有教育培训资源的能力;三是准确评判该设计方案的可行性与操作性的能力。
2.组织管理创新能力
干部教育培训的组织管理创新能力是指培训机构根据具体情况,在培训机构内建立并不断调整、完善既能与当前培训要求相适应又能逐步与先进培训管理模式接轨的重点突出、内容全面、运转灵活、管理规范、制衡有力的培训管理制度的能力。它具体包括:培训管理思路创新能力、培训管理制度创新能力与培训质量管理创新能力。
3.教学科研能力及师资队伍建设能力
干部教育培训主体的教学科研能力体现在每个教师身上,教师对培训内容的科研基础与在教学活动中体现的教学能力会对学员知识的掌握程度产生重要影响。师资队伍建设是培训机构生存发展的基础,加强培训师资队伍建设,全面提高培训教师素质和水平,是增强培训机构培训能力建设的关键。
4.规范化评价能力
干部教育培训主体的规范化评价能力是指按照特定的规范标准对干部教育培训活动中培训主体的组织管理能力、教学科研能力以及培训实施效果等进行综合评价,并通过反馈机制对整个教育培训系统的教育培训资源重新进行整合和优化的能力,是干部教育培训主体的自我认识、自我更新能力。教育培训评价是教育培训研究的重要领域,通过教育培训评价,对教育培训活动中存在的问题进行分析、诊断,最终达到指导、改进干部教育培训活动的目的。
二、提升干部教育培训能力面临的主要障碍分析
结合当前干部教育培训的工作实际,在提升干部教育培训能力的建设过程中,主要面临五方面的障碍。
1.重短期调查缺乏长期有效沟通
相当一部分干部教育培训机构为了提高培训内容的针对性,采取了一些方式调查了解干部的培训需求,如在干部培训期间采取调查问卷、座谈等形式征求干部意见和建议。但是由于缺乏系统性、有效性和长期性的沟通手段,尤其是学员毕业后的跟踪回访制度缺乏,往往不能够准确把握、了解干部培训需求的变化,因而在确定培训内容、设置培训课程时,造成偏差,缺乏针对性。
2.重课堂效果缺少科研支撑
科研是教学活动的源泉。科学研究活动的全面开展是保证教学内容始终反映知识新成果,使教学始终站在时代前沿的基本条件之一。而相当一部分干部教育培训机构舍本逐末,在教学活动中,将主要精力放在教学方式的选择上,强调如何吸引受训干部的注意力,而忽视了教学培训内容的理论深度。往往导致教师降低科研投入,忽视基础理论研究。最终造成授课教师更多地关注课堂效果,关注如何提高授课内容的生动性,而降低了教学内容的含金量。
3.重短期教学质量缺少系统评价
培训质量是干部教育培训的灵魂和生命。培训质量的高低最终要体现在公正、客观地评价当中。虽然各干部教育培训机构大都制定了一系列规章制度与评价办法来保证自身的培训教学质量。但是,一直没能在全国范围内针对干部教育培训工作建立一套系统的、规范的、科学的培训质量评价体系。缺少完善的培训质量保证体系,培训方面的规章制度因各种局限也没有形成统一的标准,因此就导致无法对不同机构的培训质量做出客观地评价与比较,其培训质量也就参差不齐。
4.重能力提升忽视人格培养
干部培训教育的目标在于提升干部的整体素质,包括了知识更新、提升能力与完善人格塑造三个方面。一般说来,干部具备了知识和能力之后,素质的构建只完成了一半,真正素质健全要在其基本的价值观和伦理观完善之后,即在其基本的人格形成之后。知识和能力必须在人格的框定下才可以获得确定的意义,没有人格牵引的知识和能力具有极大的危险性。当前很多干部教育培训机构将培训重点放在能力提升方面,虽然在培训课程安排当中往往针对引导、完善干部的党性修养、理想信念设置了独立的单元,但是并没有取得理想的效果。
5.重干部培训忽视自身培训
不断地加强自身的学习是提升干部教育培训主体能力的重要途径,参加系统的专业培训则是加强学习的有效形式。而现实的情况往往是各培训机构中的大多数教师所接受的系统专业培训不能满足自身工作需要,一些基层培训机构的教师甚至完全没有参加过系统的专业培训。
三、提升干部教育培训能力的路径
1.建立沟通平台,推动教学相长
对干部教育培训来说,与这些干部建立一种稳定的联系,进行有效的沟通和充分的交流,对于充分了解和把握干部需求、合理设置干部培训内容以增强干部培训的针对性,对于选择合理的培训方式以增强教学培训效果,对于客观评价培训主体的培训活动、找到培训中的缺点和不足、对于干部培训提出改进意见和建议以提高教学质量,对于丰富干部培训的师资力量,都有着不可替代的积极作用,是提高干部教育培训能力的最为直接和有效的途径。因此,必须在培训主体与培训客体之间建立有效的沟通平台。第一,要进一步突出学员在教学中的主体地位,将以教师为中心的课堂讲授教学形式转变为以学员学习为主、以信息交流为主的新方式,可以尝试让学员走上讲台,实现教学相长、学学相长,提高教学质量;第二,为适应新形势和干部成长的需求,可采取问卷调查、走访座谈、教学反馈、学员回访等形式,进行培训需求意见征集活动,及时掌握培训需求信息;第三,这种与学员的沟通和交流,不仅要建立在培训过程中,在培训后仍要持续,对于优秀学员,可以聘为兼职教师,也可以请回来谈学习体会;最后,要将有效的沟通方式变为制度,成为一种长效机制。
2.强化理论研究,夯实教学基础
搞好科研工作,是提高教学水平、增强教学效果的基础。要实施教学科研一体化发展模式,强化理论研究,不断增加教学培训的科研含量。这里所说的理论研究包括两个方面。一方面是要强化教师对教学专题的理论研究。科研可以提高教师的教学能力水平。只有自己进行了深入研究才有东西教别人,否则只能传授僵硬的东西。教师的科研工作越深入、科研成果越多,就越能获取学科前沿知识,教学的内容就越丰富。一个重点就是要加强马克思主义基本原理和中国特色社会主义理论体系的课程开发和理论研究;另一个重点就是逐步制定干部分类培训大纲和开发针对性较强、较为实用的干部培训教材。教材是辅助干部教育培训的重要资料,对于优化参训学员的知识结构和拓展参训学员的课余学习极为必要。另一方面是要强化教学管理人员的教学研究,不断提高教学经验总结能力。教学研究是科学研究的一部分,它推动了相应的教学改革。教育培训的内在规律是不断发现的,培训者应从比较高的角度来洞察、触摸干部教育培训改革的新动态、新发展,研究和探索培训工作的新途径、新方法,关注和思考关于培训体制与体系、培训机制与动力、培训对象与目标、培训内容与手段的新改革、新变化,积极提出建议和主张,努力创造有利于培训可持续发展的大环境。
3.完善评价体系,建立长效机制
建立一套客观、科学的培训效果评价体系,对于切实提高干部教育培训质量至关重要。培训效果评价体系是对整个培训活动实施成效的综合评价与总结,也是以后培训活动的重要参考,是干部培训工作的一个重要环节,也是干部培训需求调研的一个重要组成部分。干部教育培训效果评价体系要满足两个基本条件。一是干部教育培训效果评价体系必须是对干部教育培训活动的综合评价,要采用科学的评估方法对培训工作进行认真总结和分析,通过培训前、培训中和培训后全过程的检查和监督,全面检验培训成果。主要包括:对培训目标设定的针对性的评价;对课程设置的合理性的评价;对教师教学效果的评价;对学员管理情况的评价;对干部所学的知识和技能的掌握情况,回到岗位后工作态度和工作绩效改变情况的评价;对培训中后勤保障服务水平的评价等。二是干部教育培训效果评价体系必须是一套科学化、规范化、标准化的制度。只有这样,才能够对不同干部教育培训机构的培训效果进行比较,形成激励和约束机制,才能够真正地在竞争中不断地提高干部培训的整体质量。
4.强化人格培养,提升整体素质
完善领导干部的人格是其更新知识与提高能力的前提基础,是提高人的整体素质的决定因素。强化对领导干部的人格培养,应当始终成为干部教育培训的重点。首先,在干部教育培训中,强化对领导干部的人格培养,就是要增强其党性修养,进一步树立其正确的世界观、人生观、价值观,坚定其对马克思主义的信仰、对社会主义和共产主义的信念,强化其作风建设。其次,强化对领导干部的人格培养,要贯穿于干部教育培训活动的始终。不但要在教学内容中设立专门的单元和相应专题课程,还应当尽可能地在所有的专题课中合理地加入相应的内容,对领导干部进行潜移默化的影响;不但要采用传统的课堂教授的方式,还应当采用现场教学等其它有效教学方式,使对干部的人格培养能够入心、入脑。
5.注重师资建设,整合教学资源
师资队伍建设是培训机构生存发展的基础。强化师资队伍的建设,是干部教育培训机构自我提升培训能力的关键。干部教育培训机构师资队伍的建设既应当包括对教师的系统培训又应当包括对教学管理人员的系统培训。当前,对教师的系统培训已经得到了各培训机构的普遍重视并日益成熟,今后主要是应当在培训规模与培训方法上进一步增强和完善。对教学管理人员的系统培训,应当强调按照岗位需求进行分类培训,比如设置教学校长班、教学研究方向、教务管理方向、学院组织方向的各种班次等等,学习相应的先进理念与经验,切实提高教学管理水平。
四、总结
关键词:企业培训;质量;评价
中图分类号:GT10 文献标志码:A 文章编号:1009-4156(2014)01-047-04
一、企业培训质量评价指标确立的依据及原则
(一)评价指标的确立依据
培训是教育的一种形式,近年来,国外教育界针对如何评价教育工作,逐渐形成了通用的评价框架。根据教育评价框架,要对培训做出全面的评价,需要收集五大类信息。这五类信息分别是受训者培训前的水平、受训者经培训后的表现、培训实施处理、费用信息、补充性信息。这五大类信息中每一类信息对培训质量评价工作来说,都是必不可少的。当然,根据培训性质、评价对象和评价目标的不同,这些信息收集的重点也会各有侧重。
1 受训者培训前的水平。要了解受训者培训前的水平,需要收集两方面的信息:第一,受训者是谁(是否合格);第二,就培训的内容来说,受训者已达到什么程度。相比而言,第二种信息对评价工作至关重要,它是证明培训发生的必要的证据,也是评价受训对象及培训内容是否合适的必要信息。
2 受训者经培训后的表现,是指在培训进行了一段时间以后受训者产生的变化。当然,这种变化可以是多方面的,可以表现在能力方面,如知识、技能或管理能力的提高;可以表现在思想认识方面,如团队合作意识的增强,工作(学习)态度的改变等。
3 培训实施处理,是指培训具体的实施过程信息,重点要关注实施时的时间及强度。需要知道培训是否按计划实施,实施的力度如何,培训必需的材料、物品等是在培训开始前就准备齐全,还是在培训结果即将出现前才备齐。
4 费用信息,是指为培训开展而投入的各类费用,包括直接费用和间接费用。这类信息通常会被忽略,但作为培训项目来说,这类信息是判断培训项目价值的关键。
5 补充性信息,主要包括三类:一是受训者有关的其他人(领导、同事、客户等)的反馈意见;二是受训者在培训目标之外的表现;三是培训带来的副作用。
(二)评价指标的确立原则
1 科学性和客观性相结合原则。科学性原则是指评价体系要能够体现和反映企业培训工作的本质性特征和一般性规律。客观性原则要求指标体系要能够对培训的质量做出客观、公正的评价。因此,指标的设计要能够客观地反映出被评价对象最本质、最主要的方面,把评价对象最主要属性和属性的主要方面,做成指标,每项指标要争取能够反映培训工作的实际水平。这是保证评价结论客观真实的前提。
2 一致性和独立性相结合原则。一致性原则包含两层意思:第一,指所有下级指标的评价目标总和必须是正好等于上一级评价目标;第二,指前后指标的设计必须一致。我们在进行指标体系设计时,通常需要将评价总目标分解为几个分目标(一级指标),分目标再分解成几个子目标(二级指标),这样层层分解,最终形成一个树状的指标评价体系。在设计过程中将指标进行层层分解时,必须要注意前后指标的一致性问题。指标的独立性原则是指同一层级的指标相互之间必须独立,不能存在前后的因果关系,既不能交叉也不能重叠;否则评价结果会出现偏差,直接影响到评价结果的准确性和合理性。
3 全面性和实效性相结合原则。指标的全面性原则是指在设计指标体系时,应该从多个不同的评价角度、运用多种评价方法对培训质量的过程和结果进行评价。指标系统能够全面地反映培训的质量水平。全面性原则包含三点内容:第一,评价内容的多维性,即在评价中应该考虑到培训的各个方面,从多个维度进行评价;第二,评价标准全面性,评价标准要尽可能包括质量要求的各项内容,防止突出一点,以偏概全;第三,指标之间要分清主次,区分轻重,分析清楚指标反映的内容在培训过程中的地位及与其他指标之间的关系,根据其在培训过程中所起的作用确定其权重。在设计评价指标时还需要注重实际效果,要对被评价者的工作起到引导作用,起到“以评促建,以评促改”的目的。
4 定量和定性相结合原则。评价指标的设计是将评价目标具体化、行为化和可操作化的过程。为保证评价结果的公正性、对能定理描述指标应该尽可能地用定量化的语言来描述,定量化的语言是指所评价内容的标准是明确的、可被测量的,据此判断可以得到明确结论的。但有些评价内容(如培训讲师的教学态度、培训效果等)是没法具体量化的,则可采取定性描述的方法进行评价。
5 可操作性与效益性相结合原则。可操作性是指在评价指标体系的设计过程中要充分考虑到当前的实际外部环境等因素,结合评价的目的设计出操作性强的指标体系。具体包含着三层含义:第一,指标是要能反映公司培训事业发展的实际水平并能体现出公司的要求;第二,指标要能被评价参与人员接受,这是保证评价工作能正常开展的基础;第三,指标评价是可行的,只有在当前情况下能够进行评价的指标才有实际意义。’另外,指标的设计还要兼顾到实施的效益,要考虑到在实施时人力、物力和财力等实际情况的影响。指标体系设计得再好,如果没有必要的资源保证其实施,或是实施起来要耗费大量的资源,那么,这样的指标体系也是没有实际应用价值的。
二、企业培训项目质量评价指标体系设计的流程及内容分析
(一)指标体系设计流程
要设计质量评价指标体系,首先,是要对培训项目质量评价内涵及其影响因素进行分析,确定评价维度或评价准则;其次,根据已经确定的评价维度,遵循指标设计的原则,运用一定的指标设计方法,分解、细化评价指标,直到所有的指标都有可操作性;最后,评判各指标项在指标体系中的重要程度,运用一定的赋权方法对各个指标项赋以一定的权重。反复以上过程,直至实践检验可行为止,其流程图如图1所示。
(二)培训项目质量评价的内容分析
对培训项目进行质量评价是一项系统工程,是一个以培训质量为中心的全面性综合性的评价,凡是对培训质量会产生影响的因素及环节均需要进行评价。通过考察培训工作的整个流程可以梳理出影响培训质量的因素,主要有以下三个方面:培训方案、培训过程和培训效果。结合前文所述教育通用评价框架的信息收集标准,可以确定培训项目质量评价需要收集培训方案、培训实施、培训效果、培训费用和补充性信息等五大类信息。确定培训质量评价的内容,再辅以相关标准,就可以明确培训质量评价工作的内容和流程。笔者以国际通用的教育评价实证框架的信息收集标准为依据,以培训评价实践为参考,共整理筛选出5项一级指标、17项二级指标。各项指标具体内涵如下:
1 培训方案。培训方案是培训活动的基础,是进行培训的行动计划,培训方案制定得科学合理是整个培训达到预定目并获得成功的关键。培训方案通常由培训目的、培训对象、培训时间、培训要求、培训形式和内容、培训机构的选择、培训费用、培训的考核等部分构成。对培训方案的评价主要从方案制定程序的科学性以及方案内容构成的合理性两个方面进行考察,具体指标内容包括培训需求、培训对象、培训时间、培训针对性、培训实施方等五项二级指标。具体内容为:
(1)培训需求:组织需求(是否充分对公司的各级培训需求进行调查);员工需求(是否充分对公司的培训需求进行调查);培训需求分析报告(确定谁需要培训,培训什么)。
(2)培训对象:参加培训人员是否符合要求(他是谁);参加培训人员的初始状态如何。
(3)培训时间:培训时机(选择培训的时机是否合适,如果培训内容与员工的工作内容和职责相吻合,在员工上岗之前或之中进行培训,一般员工的学习热情会很高,培训就很及时);时间安排(选择的培训时间是否合适,培训工作有没有干扰公司正常的工作秩序,培训时间安排对于参训人员是否恰当);时间长度(安排的时间长度是否恰当地完成相应的培训内容)。
(4)培训针对性:公司的战略发展思想有没有在培训中体现;培训内容是不是工作必需的知识,有没有解决当前工作中存在的问题;培训内容是否反映当前的新理论(与工作相关的);是不是工作所需要的新业务知识和技能;培训的内容能不能适合工作任务和工作标准提高的要求;培训内容与参训人员全面发展的要求是否吻合;培训的内容是否与员工职业发展相一致;培训内容的深度、广度如何;选用教材的适用性如何;提供资料的针对性如何。
(5)培训实施方:培训机构是否具有相应的资质;选择的培训机构是否能满足培训的要求;培训机构配备的讲师是否符合要求;提供的培训设施是否满足培训的要求;培训机构管理是否健全。
2 培训实施处理。培训实施过程的质量是影响培训整体质量决定性因素,包含培训条件、培训方案执行、培训教学、培训管理等四项二级指标。具体内容为:
(1)培训条件:包括培训场地(提供的培训场地是否能满足培训要求);培训设施(提供的培训设施是否能满足培训要求);教学资料(提供的教材、资料是否能满足培训要求)。
(2)培训方案执行:培训有没有严格按照既定的方案进行(培训内容、时间、方式);中途调整培训方案,有无履行相关手续。
(3)培训教学:培训讲师上课情况(上纪律、案例教学的使用情况;电化教学的使用情况;网络教学的使用情况;多媒体教学的使用情况等);培训形式是否能达到最佳培训效果;新的教学方法与教学手段的应用情况;学员上课情况(上课纪律、参与度)。
(4)培训管理:管理机构是否健全;是否按培训规定对培训实施管理;管理人员跟培训方和受训方的沟通情况;培训记录是否完整及时。
3 培训效果。培训效果的好坏是衡量培训质量的重要方面,由两个层面构成:第一层,受训者的行为(技能)在培训情境中的显示;第二层,受训者的行为(技能)在工作中的迁移。培训效果包括培训成果、培训后的表现、对培训的评价等三项二级指标。具体内容为:
(1)培训成果:考核成绩;阶段性成果(作品、证书)。
(2)培训后的表现:受训人员上司的评价;受训人员同事的评价;受训人员在今后工作中取得的成绩。
(3)对培训的评价;参训人员对培训的评价;培训管理人员对培训的评价;委托单位对培训的评价。
4 培训费用。培训费用信息包括培训投入的费用及培训产生的经济效益。具体内容为:
(1)培训投入:培训产生的直接费用和间接费用。
(2)培训收益:培训产生的直接经济效益和间接经济效益。
5 补充性信息。补充性信息包括受训者产生的培训期望之外的行为变化和由培训产生的副作用。具体内容为:
(1)受训者产生的培训期望之外的行为变化:指培训后受训者产生的在培训内容之外的变化。
(2)由培训产生的负效应:指培训给受训者在今后的工作、学习等方面带来的认知或行动障碍。
三、企业培训项目质量评价指标体系的构建
(一)培训项目质量评估指标体系
根据上文归纳出的培训项目质量评价的五大类评价准则,在指标的设计过程中应用因素分解法,结合培训实践,析出一级指标包含五项,二级指标十六项。其中一级指标分别是培训方案、培训条件、培训实施、培训效果、培训效益。培训评估指标是对培训评估内容的细化,在二级指标的基础上进一步细化析出38个观察点,每个观察点的评价分为A、B、C三个等级。A、B、C各等级对应分值:A为5分,B为3分,C为1分。具体内容如下:
1 培训方案:
(1)培训需求:包含组织需求、员工需求、培训需求分析报告等三个观察点。
(2)方案构成:包含培训目的、培训对象、培训时间、培训针对性等四个观察点。
(3)培训机构:包含培训实施方资质、培训实施方资质条件两个观察点。
2 培训条件:
(1)硬件设施:包含培训场地、培训设备两个观察点。
(2)教学设施:包含教材、培训资料两个观察点。
(3)师资力量:包含讲师资质、专家比例两个观察点。
3 培训实施:
(1)方案执行:培训方案的执行。
(2)教学环节:包含培训师上课纪律、培训师上课形式、学员上课纪律、学员上课参与度等四个观察点。
(3)培训管理:包含管理机构、管理人员配备、实时管理、有效沟通、培训资料等五个观察点。
4 培训效果:
(1)培训成果:包含考核成绩、阶段性成果两个观察点。
(2)对培训的评价:包含参训人员、培训管理人员、委托单位等三个观察点。
(3)培训后的表现:包含上司评价、同事评价、工作业绩等三个观察点。
5 培训效益:
(1)经济效益:包培训费用、培训经济收益两个观察点。
(2)社会效益:受训者的间接收益。
(3)其他收益:培训班的影响。
(4)副作用:培训后的副作用。
(二)指标赋权方法
指标经过确定后需要根据其评价内容评估其在整个指标体系中的重要程度,根据其重要程度给每一个指标项赋值,也就是对指标赋权值,权重与评价等级的分数相乘即为各个指标的评价得分。给指标赋权重的方法很多,如秩和运算法、专家会议法、经验赋权法等。在实践中,笔者采用的赋权方法是秩和运算法。
用秩和运算法进行赋权最大的好处是可以对定性的问题进行定量的分析,这样在保证客观性的前提下使可信度提高,可操作性变强。我们只需编制权重调查表匿名收集专家意见一次,再将确定的数值经数理分析取得相应的权重系数即可,是较为经济实用的权重确定方法。具体操作步骤如下:
1 编制权重调查表。权重调查表的编制需要把要确定权重的各项指标按顺序填人权重调查表中,由所有专家分别根据指标的重要性填写权重。在征求专家意见时,需要在每个指标后面附上详细的内涵说明。
2 专家评定。专家评定各项指标在整个指标体系中的重要性,根据其重要性对所有指标进行排序,假设共有n个指标,则最重要的指标序号值确定为1,最次要的指标序号值为n,该确定的序号值即为轶。需要注意的是,权重调查表中专家确定的数值应为1-n之间的某一整数,且所有指标的数值不能重复。如本文共有38个评价指标,则每个专家对这38个指标所确定的数值必须是1-38之间的整数,并且是38个数值,不能重复也不能缺失。
3 一致性检验。权重调查表收集后,需要判断各位专家对于各项指标的权重意见是否一致,如果所有专家对指标的看法基本一致,则该指标的权重就具有权威性,否则所得权重值就没有意义。进行一致性检验的方法及步骤如下:
(1)计算统计量X2,公式如下:
这里,n是指标数;m是专家人数;Ri是秩和,是指所有专家对第i项指标评分之和,有多少个指标项,就有多少个Ri。
(2)根据显著性水平α及自由度df=n-1,通过查X2值表来找临界值X2(df)。
(3)进行一致性判断。如果X2≥X2(df),则一致性检查通过,可以认为所有专家的意见显著一致,所给权值有效,可继续下一步。如X2
4 计算指标权重。假设第i项指标的权重为Wi,则Wi计算公式为:
需要注意的是,为了确保权重总和为1,最后一个指标的权重通常不使用公式求得,而用1减去其他指标权重的总和来求得。
(三)培训项目质量评估指标的应用
对培训项目进行质量评价不应局限于在培训结束后进行,应该在培训前、培训中、培训后等三个阶段工作的进行中就开展相应的质量评价。如在培训前,需要对培训方案行评价,根据评价结果决定是不是需要进一步调整或细化培训方案。这样可以及时了解每一阶段培训工作的开展及实施情况,及时诊断并发现现阶段工作中存在的问题,对本阶段的工作进行有效控制,对下阶段的工作的开展提供修正的依据。
一、模型构建理论基础
1.柯氏评估模型内涵
柯克帕特里克培训效果评估模型是由唐?柯克帕特里克(Donald L. Kirkpatrick)于1959年提出的评估模型,故称为柯氏评估模型,也叫四级评估模型。目前,柯氏评估模型是最为人们熟知,应用最为广泛的培训评估模型之一,在中国也形成了较为完善的理论体系和框架,因而在卫生机构的培训评估模型研究中较多采用。
Kirkpatrick提出的四个评估层次主要是以受训者作为评估效果的对象, 其优点在于在层级划分上, 依据行为学的研究结果, 由表及里, 由观念到行为直至结果的变化规律来划分层级,对培训效果评估进行了较为系统性、完整性的研究, 具有较强的说服力。该模型包含四个层次,即反应层、学习层、行为层和结果层,其中反应层旨在评估学员对培训项目的满意程度;学习层旨在评估学员通过培训项目对知识和技能的学习掌握程度;行为层旨在评估学员对培训知识的运用程度;结果层旨在评估培训项目创造的效益。柯氏评估模型对于培训过程涉及很少,其评估是在培训完成后进行,评估结果只能对以后的培训产生影响,而对本次培训作用不大。
2. CIPP模型内涵
与Kirkpatrick的研究对象不同, Daniel Stufflebeam将培训项目本身作为一个对象进行分析。根据项目组织过程的规律, 提出的关于培训效果评估的CIPP模型。CIPP由情境(Contextual)、投入(Input)、过程(Process)和成果(Product)四部分组成。CIPP模型将评估活动介入到培训的整个过程,不仅对培训的必要性和可行性进行分析,还注重对培训过程进行监控,是贯穿整个培训过程的评估。
CIPP主要从了解相关环境、 诊断特殊问题、分析培训需求、确定培训需求、鉴别培训机会、制定培训目标等方面进行“情境评估”,从收集培训资源信息、评估培训资源、确定如何有效使用现有资源才能达到培训目标、确定项目规划和设计的总体策略是否需要外部资源的协助等方面进行“投入评估”,通过“过程评估”为那些负责实际培训项目的组织者提供信息反馈, 以便及时修正或改进培训项目的执行过程,通过“成果评估”对培训活动所达到的目标进行衡量和解释, 其中既包括对所达到的预定目标的衡量和解释, 也包括对所达到的非预定目标的衡量和解释。CIPP模型可以及时发现和总结本次培训的经验和不足,其反馈信息会对本次培训的后续项目产生积极影响,相对比较完善。
二、模型构建
目前,柯氏模型和CIPP 模型在中国得到广泛的认可和应用。CIPP评估模型实质是针对整个培训项目的评估, 而不仅仅是培训效果的评估,还用来指导培训的优化设计。而柯氏模型是培训效果评估中常使用的经典培训评估模型,主要侧重于对培训结果的评估,是CIPP模型结果层面的具体化。通过模型的综合应用可以权衡各模型的利弊,取长补短,从而保证实际模型的建立更加科学和合理。因此,我们考虑结合柯式和CIPP模型特点,兼顾目前健康教育人员的状况,从培训前、培训中和培训后三个阶段构建疾控系统健康教育人员专业化培训综合评估体系。
1.培训前评估
(1)目的:借鉴CIPP模型的“情景评估”和“投入评估”的内容,对培训的必要性和可行性进行评估。
(2)方法和内容
运用定性与定量相结合的方法进行培训需求分析,广泛收集与培训项目相关的背景资料,增强与学员之间的互动,深入分析不同岗位和级别学员的培训需求,确定阶段性、系统性的培训目标。
采用文献资料分析法、知情人访谈、头脑风暴法等方法,从单位的战略发展目标、专业发展前景、行业考核标准、岗位工作绩效等角度确定培训目标、需要配备的资源和适宜的培训策略等。采用问卷调查、理论考核、小组座谈、一对一访谈等方法了解学员在专业知识、技能、态度等方面的基础数据,从个人现有专业水平和职业发展规划的角度确定学员的培训需求。掌握的内容包括个人职称、学历、所学专业、工龄、健康教育工作年限等基本情况、健康教育相关知识,技能的掌握情况、对于健康教育培训相关态度状况以及他们希望接受的培训内容和方式等。
2.培训过程评估
(1)目的:借鉴CIPP模型的“过程评估”的内容,通过对培训学员和授课老师的调查,了解他们对培训的反应,将相关信息反馈到培训管理部门,督促其改进培训方式,提高培训效果。
(2)方法和内容
在阶段性或周期性的培训环节结束后,培训管理部门应及时了解培训进展情况、学员对于整个培训项目的感受和评价以及即时的考核情况,根据学员的意见、建议和考核结果,对后续培训项目进行修正,以不断完善和规范培训工作。该步骤的评价了解学员对于整个培训项目感受和评价以及具体知识技能的掌握情况,并可将在不同培训中反映的情况进行比较,实际上也就是在培训过程中进行柯式模型的反应层和学习层评估。
反应层的评估从学员和教师两个角度,从对培训项目的反应和对培训环境的反应两个方面来进行。对培训项目的反应包括学员对于培训项目设计、培训项目组织、培训师资、培训内容、培训方式以及培训效果等方面的评价,教师对于学员互动、现场组织等方面的评价。对培训环境的反应则包括学员对于培训的一些基础辅助条件如图书文献资料、计算机、上网、住宿、医疗保障、相关培训设备等和健康教育特定辅助条件如摄影、摄像机、图文制作工具等的感受和评价,教师对于资源配备等方面的评价。评价采用通过问卷调查和重点访谈等方式来进行,通过问卷调查来了解总体情况,对于问卷调查的结果所反映的重点问题进行重点访谈以找出潜在问题的原因。而学习层评估主要采取理论考核、实践操作如即兴演讲、知识竞赛、现场健康教育与健康促进方案设计等方式来检验学员对于健康教育知识和技能的掌握情况。
3.培训后评估
(1)目的:借鉴柯氏模型的评估内容,衡量培训结果,对培训是否达到预期目标进行评估。
(2)方法和内容
第一,反应层评估体系。一般在培训过程中或者在培训结束后进行,从对学员和教师两方面用来评估对参加培训的满意程度。
评价内容。从学员方面进行的反应层评价可细分为培训课程、培训讲师、培训环境和培训辅助等四个方面,培训课程评估指标主要针对与健康教育工作人员职业发展和工作实际的匹配程度、培训资料的实用和详实程度、对新知识、新技术和新思路的拓展等;培训讲师评估指标主要针对授课老师所具有的健康教育与健康促进理论知识和实践工作经验、语言表述的清晰程度、系统性、是否有独到的见解、与学员之间的互动、教学态度是否认真负责和教学方式是否新颖灵活等;培训环境评估指标主要针对培训现场的干净整洁、灯光明亮、温度适宜程度以及音响音量是否适中和是否有噪音影响等;培训辅助评估指标主要针对培训所在地的网络、住宿、就餐、交通、医疗和体育娱乐等基础设备设施方面以及健康教育特定辅助条件如电脑、投影仪、摄影机、摄像机、图文制作工具等的便捷性和可得性方面的感受和评价。
从教师方面进行的反应层评价可从教师对于学员参与状况、学员互动情况、课堂纪律、现场组织、教学资源配备等方面的进行。
评价方式。反应层评估采用的方法主要是在培训项目结束时,通过问卷调查和重点访谈等方式来从主观感受角度获得学员对于培训效果的反馈,从而落实培训项目的有效性这一层次的评估,对培训内容是否需要改进,培训方式是否需要转换,培训的教学进度是否需要调整等进行评价或者作为针对综合评估的参考,不能直接将此部分评价当作是系统评估的最后结果,因为学员后期可能会受到所学内容对于实际工作帮助程度等方面的影响而改变对此的主观感受。此外,还可对培训过程中与培训结束时对培训项目主观感受和评价问卷调查数据进行对比分析,了解对培训项目进行修正以后学员对整个培训项目主观感受和评价的变化。
第二,学习层评估体系。一般在培训过程中或者在培训结束后进行,测定学员通过培训所得知识、能力、技能、态度的提高程度。
学习层的评估应将理论考试和实践操作相结合,从知识、能力和态度三方面,采用笔试、实操、面谈和观察法四种方式进行。通过笔试测验学员对健康教育与健康促进相关知识的掌握程度、健康教育方案设计、健康教育科研论文撰写等能力,通过面谈法和实践操练来测验学员科普演讲技巧、健康教育材料设计及制作水平、人际传播技巧等,同时观察法掌握对学员在课堂提问、情景模拟、典型案例研讨和角色扮演中的表现等反应教学活动参与程度的内容,并对培训前后学员相关情况数据进行对比分析以检验学习效果。
第三,行为层评估体系。一般在培训结束后一段时间进行,如3至6个月进行,用来考察学员将知识运用到实际工作中的能力。
行为层评估细分为培训前行为评估和培训后行为评估两个方面,采用个人访谈和问卷调查的方式了解该学员包括接受培训前、后的学员的工作态度、健康教育与健康促进理论知识的掌握程度以及相关技能的熟练程度和水平等。从学员自身以及其领导、同事、下级或其他相关人如特定健康教育场所包括社区、学校、医院、企业等的人员角度了解该学员在培训前后的行为是否发生了变化,是否将通过培训所学到的知识应用于实际工作中并取得较好的效果。该层次的评估是最重要的评价指标,既包括学员自己的主观感受和自我评价,又涵盖了与其相关联的所有工作上有来往的人员对其在培训前后行为所发生变化的感知。通过行为层评估可查找往期培训中存在的不足或识别新的培训需求。
第四,结果层评估体系。一般在培训结束后较长一段时间进行,如6个月或更长时间以后进行,用以评估培训获得的收获,主要指的是通过培训所产生的经济效益。