职业能力测评方法的发展

[来源:中国职业技术教育    发布时间:2017-12-15    点击量:2414]

摘要

职业能力测评方法的发展

职业能力测评方法的发展

原创 2017-12-12 高 帆 等 中国职业技术教育

职业能力测评方法的发展

高 帆     赵志群    黄方慧

一、关于职业能力测评

职业能力测评与学习成绩测验都是学业成果评价的重要方式,但是它们明显不同。学习成绩测验是各类教育实践中常用的学习评价方法,考核针对课程内容,结果反映的是课程效度,目的是考察学生对学习内容的掌握程度;职业能力测评的考核内容为与特定职业相关的认知特征,结果反映的是职业效度,目的是测评学生的职业能力和职业素养。很多学科都在进行与职业能力测评有关的研究,如教育学、人力资源管理、心理学和劳动科学等。目前,要想对职业能力和职业能力测评给出一个统一定义和严格分类几乎是不可能的,但是我们仍可将其大致分为“广义的职业能力测评”和“狭义的职业能力测评”两大类。

(一)广义的职业能力测评

不论如何理解和定义职业能力,获得职业能力的途径都主要有两种:一是教育机构提供的系统化的专业课程学习,二是在工作场所提供的工作情境中的学习。对通过这两种途径获得的学习成果的测量、评估和评价都属于广义的职业能力测评。据此,职业能力测评是社会组织(如学校、企业、行业组织和政府等)根据特定职业领域的能力要求采用一定测量工具和方法对特定人群进行评价、测评和评估的活动,常见的包括职业资格考试,以及工业心理学、人力资源管理领域的各种能力评价工具,如国家职业资格(等级)考试和“基于经验的能力评价工具ICA”(Instrument for Competence Assessment,简称ICA)。

(二)狭义的职业能力测评

狭义的职业能力测评是对职业院校在校学生的职业能力进行诊断和测评,目的是了解学生现有职业能力的水平和结构特征,为职业教育质量监控和教学实践提供实证依据。这里最重要的是通过对学生个体职业能力的诊断与评价,进行不同院校专业之间、校际或区域之间的比较。鉴于职业教育的教育属性,狭义的职业能力测评强调在“职业教育学理论”框架内进行能力评价,这不包括通常的职业资格(等级)考试和技能大赛。职业资格(等级)考试和技能大赛与职业能力测评的区别在于,前者将能力发展过程视为一个“黑箱”,仅关注考生能够表现出来的和被观察到的能力。事实上,在当今世界,社会发展对人才提出了更高的、综合性的要求,单纯的学习成绩测验和职业资格(等级)考试已无法满足对高素质综合性人才进行全面评价的要求。(狭义的)职业能力测评不仅关注能力发展的结果,还关注能力发展的过程,从而为职业教育的课程和教学设计提供实证基础。因此,职业能力测评是传统学习成绩测验和职业资格考试的重要补充,而不是替代。

二、职业能力测评方法的分类

纵观全世界,人们开发了很多(职业)能力分析的模型和能力测评方法,仅2007年德国出版的能力研究典籍《能力测评手册》(Handbuch Kompetenzmessung)(第二版)就收录了44种国际通用的能力分析和测评方法,其中一些评价方法和工具甚至已经发展成为市场化的产品或在线评价工具。表1对目前常见的职业能力测评方法进行了分类概括。这里建立的分类标准具有一定的历史缘由,反映了随着对职业能力认识的不断加深,职业能力测评从“主观评价”到“鉴定测量”,再到“诊断性测评”的发展历程。与“鉴定”相比,“诊断”强调测评结果在教学过程中的应用;与“测量”相比,“测评”包含能力中那些无法被直接测量的部分,并赋予其价值判断。

埃鹏贝克和罗森斯提尔提出了开发能力测评方法的理论模型,包括6个维度和16个要素。根据实践需要,可以对不同维度的要素进行不同方式的组合,从而对职业能力进行多样化的系统性测评。以上测评方法分类可以为开发职业能力测评方法提供重要思路。

三、不同视角下的职业能力测评

限于篇幅,本文仅从“研究范式”和“情境性”两个视角,对一些国内外有影响力的职业能力测评方法进行梳理,包括职业教育领域的“ASCOT职业技能和能力测评”(Technology-based Assessment of Skills and Competences in VET,简称ASCOT)和“COMET职业能力与职业认同感测评”(Competence Development and Assessment in TVET,简称COMET,德语缩写为KOMET),以及人力资源管理领域的“基于胜任特征的测评”、“ICA能力评价工具”、“Kasseler能力分类模型”(Kasserler-Kompetenz-Raster,简称KKR)和“学习潜能评价中心法”(Lernpotential-Assessment Center ,简称LP-AC)。

(一)研究范式

观察法是最原始、传统的职业能力鉴定方法,至今在能力测评中依然扮演着重要的角色。随着社会劳动方式的不断演进,由于在现代社会中(特别是精益生产方式和所谓的工业3.0和4.0条件下)人的工作活动越来越复杂,观察法得到的结果的信度也越来越低。为了减少个人感知和主观判断的不利影响,人们开始重视基于外在客观标准对能力进行测量的量化研究方法。心理学开展了很多按照量化研究范式进行的能力研究。最初人们根据智力测量结果来判断个人职业能力的高低,但是因为缺乏运用效度而受到批评。行为主义的能力观认为,能力的获得可以通过行为表现来测量;通过工作分析构建能力模型,可以将抽象的概念进行操作化定义,从而对能力进行测量。英国哲学家波兰尼发现,除了可观测的行动和技能外,能力还包括大量与工作相关的“隐形知识”和态度等无法被直接测量的部分,因此完全按照行为主义理念进行能力测评显然是不行的,将量化与质性方法相结合对能力进行诊断性的评价具有更重要的意义。

1.质性研究范式

“基于胜任特征模型的测评”主要采用质性研究范式,其前提是建立一个“科学”的能力模型。建立胜任特征模型的常见方法是“工作胜任力测评法”(The Job Assessment Method,简称JACM)和“行为锚定修正法”(the Modified Bars Method)。JACM由麦克利兰等人最早使用,主要采用的工具是“行为事件访谈法”(Behavioral Event Interview,简称BEI)。BEI是一种开放式的关键事件行为回顾式访谈调查技术。访谈者通过收集被访者在工作期间的成功与不成功事件并描述之,找出影响绩效的具体行为,然后在绩效优秀群体和绩效普通群体之间进行对比,找出胜任目标岗位的核心能力,从而构建发展性的胜任特征模型,藉此对能力指标进行选取、量化和标准化处理,形成测评指标体系。

“行为锚定修正法”汲取了BEI 的优点并加以完善,选取目标职位的相关人员组成项目组,使其在胜任特征模型的确立过程中发挥重要作用,其流程与JACM相比更为繁琐,但是可操作性也更强。如果说BEI是基于胜任特征模型测评中用于识别胜任特征的主要方法,那么在对胜任特征进行具体测评的过程中,主要是通过借助定量分析来保证其可操作性的。但是由于具体实施情况不同,“基于胜任特征模型的测评”中并没有出现公认的具有代表性的量化工具和方法。胜任特征模型转化为具体测评指标体系时需要确定胜任特征(测评指标)的等级、内容和指标权重(采用层次分析法、德尔菲法、主观加权法等)。由于测评指标并不完全等同于胜任特征,为了保证测评效度,需要选取与被测对象的特征一致的胜任特征,同时还要兼顾针对性、完备性、可操作性和独立性等要求。尽管测评采用了定量分析方法,但是并没有形成严格意义上的完整的流程方案,一方面测评具有一定的灵活性,但另一方面也使测评质量的不确定性增大。

“Kasseler能力分类模型”按照专业能力、方法能力、社会能力和个人能力建立了包含50种类型的能力分类体系,应用于各类实际工作环境中的能力评价。它通过对雇员在解决典型任务的讨论过程的录音记录和填写的问卷,来评价员工的职业能力,这里的典型任务与人们日常解决常规问题的职业能力关联不大;问卷内容主要涉及员工对所在组织和企业的灵活性和创新性等特征的感知以及对自我职业能力的评价。测评结果可以用于小范围的组织内部诊断和评价,但不能对人的常规职业能力进行有效测评,也无法进行普适化处理。

“学习潜能评价中心法”(LP-AC)通过模拟工作情境,采用来自企业-客户-竞争对手三者间的问题,评估领导者或者接班人的学习潜能。通过先后两次测试结果体现的学习能力的差异,评估被评者是否适合担任某项拟委任的工作,预测其各项能力或潜能以及取得工作成就的前景,同时了解他们欠缺之处,以确定今后重点培养的内容与方式。学习潜能评价中心主要关注能力的发展,是选拔、培训人员的方法。它的评价主体多元化,由个人自评以及外部观察员对其行为和心理的评价构成。“学习潜能评价中心法”对在组织实施时对空间、时间有特定要求,同时需要的人力物力成本较大。该方法在脱离真实工作情景下,希望通过短时间学习后,对能力进行有效的测试,其结果的信效度还有待于进一步证实。

ICA能力评价工具通过访谈获取个人在工作岗位中的能力,对个人的工作能力以及活动和实施能力进行诊断,通过质性(工作岗位能力的访谈)分析和量化判断(四个能力等级),确定被测者个人的能力水平。测评结果以能力等级表呈现,说明被测者的各项能力的等级情况。这里的能力包括通过工作岗位经验获得的能力(不仅是在职业教育中获得的能力);理论学习和实践行动获得的能力;应对工作、生活变化的能力;在不同工作领域和工作岗位上可使用的能力,也可称之为跨岗位的能力,如价值能力、沟通与交流能力、组织能力、质量管理能力、环境调节与控制能力、优先权确定和协调能力等。该方法评价的能力大多是处于工作过程之外的,并不一定适应职业能力的专业性要求。尽管ICA能力评价工具对基于工作的知识分类进行了深入研究,但是未在此基础上开发出解决上述问题的能力评价工具。

以上方法关注了职业能力的动态性特征,结合自评完成能力诊断,为企业员工能力的持续发展提供了指导;评价主体多元化,保证了结果的透明度、接受度、公平性和生态有效性,并形成了一套相对客观的测评方案。与强调普适性、跨专业高度结构化的量化测量方法相比,质性方法能较好适应不同职业领域、岗位层级和角色的差异性要求。但质性测评方法也有很多问题,主要表现在以下三点:

(1)过程复杂,成本较高。以胜任特征模型为例,其开发步骤包含“行业-企业-岗位-任职者”四个阶段的分析,开发流程复杂、耗时耗力,也较难理解。很多企业采用标杆分析法时,往往根据通用胜任特征模型、同行业同类岗位标杆企业的胜任特征模型等修改生成自己的能力模型,虽然简化了操作并降低了成本,但由于主观性过强,而且缺乏足够的实证基础,很难达到基本的信度和效度要求。

(2)缺乏对指标体系信效度的深入探讨。尽管从理论上讲,以上测评方法在模型验证阶段时会采用量化方法如结构方程模型等进行检验,但都是基于已确定的能力模型进行的,没有涉及模型未涵盖的特征;同时由于胜任特征模型的具体指标较为灵活,验证结论缺乏可迁移性。

(3)对调研人员的专业性要求很高。例如BEI对企业环境、样本人群的选择有严格要求,而且确定行为描述并分类、选定能力指标本身的难度很大,很容易忽略较难被测量的方面。如果没有熟练掌握相关技术的人员,很难保障测评的准确性。

 

2.混合研究范式

ASCOT测评项目和COMET测评方案在建立能力模型和测评模型的过程中,采用心理测量技术,属于质性和量化研究相结合的混合研究范式。

ASCOT测评项目基于项目反应理论建立职业的专业能力模型,将专业能力分为三种子能力,每个子能力又分为“内容”、“认知”和“建模”三个维度,最终形成指标体系,通过不同复杂程度和难度的测试任务区分能力级别。测评模型的概括性特征保证了测评指标体系的稳定性,使ASCOT测评项目具有了跨职业领域的特性。

德国学者费利克斯·劳耐尔领导的国际研究团队开发的COMET职业能力测评方案基于 “从初学者到专家”(from novice to expert)的职业成长逻辑规律、“设计导向”(Gestaltungsorientierung)的职业教育指导思想和“工作过程知识”(work process knowledge)理论建立三维职业能力模型,具有跨职业领域的特性,在德国、中国、南非等多个国家和多个职业领域得到了应用。COMET测试工具包括测试任务和背景调查问卷,借助测试评分表和问题解决空间进行评分,通过程序化的评分者培训保证评分者信度。为了保证开发试题的有效性,COMET方案采用了更为系统的实践专家研讨会(expert worker workshop,简称EXWOWO)来开发试题。作为一种典型工作任务分析方法,EXWOWO也应用于职业分析和课程开发。

相比单一的质性研究,以上测评方案受主观因素影响较少,其跨职业领域的能力模型为开展大规模职业能力测评提供了理论基础,并保证了测评结果的可比性,降低了测评成本。此类测评存在的共同问题有:

(1) 跨职业领域的能力测评能否充分满足具体职业的要求,能否对领域特殊性知识进行有效地考量,需要进行仔细验证。

(2) 一些经典的心理测量普适性理论并不适用于职业能力测评,如项目反应理论对职业能力的解释性有限,ASCOT测试标准化评分方式也不符合真实工作世界的要求。

(3)如何更好地实现质性与量化方法的结合?目前在混合研究方法中,质性方法常用于开发测试内容,量化方法则用于测评实施和分析,两者互动较少。量化研究在保证测评质量、验证信效度方面提供指导,但并不意味着能力测评只能通过量化方法实现。可以看出,尽管还存在问题,但是混合方法有助于质性与量化取长补短,被认为是未来最有价值的职业能力测评方法。

 

(二)情境无涉和情境性

将情境性作为测评方法分类维度的基本依据是加德纳的多元智能理论,据此,能力具有领域特殊性特征。“工作过程知识”理论也认为与工作相关的隐性知识(tacit knowledge)对职业能力发展具有重要的影响。相应的,我国普通高等教育的教学评价也开始从情境无涉向情境关联转变。在职业能力测评中,具有情境性特征的工作组织、环境、流程等外部因素和价值观、个性、态度等内部因素对促进能力发展具有重要的意义。情境性测评的评价对象不仅包括职业能力的可观测部分,也包含工作过程知识等不可观测部分,因此有可能反映受测者在真实工作情境中解决实际问题的能力。

1. 情境无涉测评

由于对情境性缺乏足够的关注,以及缺少成熟的情境性测评工具,目前大部分职业能力测评方法都属于情境无涉测评,如ICA能力评价工具、ASCOT测评项目和Kasseler能力分类模型,这主要反映在测试内容和实施方式方面。ICA能力评价工具的岗位能力访谈主要分析通过实际工作场所经验获得的能力、理论学习和实践行动获得的能力,以及应对工作生活变化的能力。尽管这些能力源自工作场所而非教育机构,但测试过程独立于实际工作,与工作相关的行为和隐性知识关联不强。ASCOT测评项目关注到测评的情境性,借助信息技术手段创设虚拟测试情境,增强了测试的趣味性,但是对实现情境性的价值有限,因为情境性除了物质环境外,更重要的是减小测试内容与被测者在完成测评时的策略、流程和资源可获得性等方面与真实工作的差距。ASCOT测评项目的任务及其要求源于美国O*NET职业信息网,具有典型的“碎片化”和“行为化”特征,不符合职业的发展性工作任务要求。Kasseler能力分类模型通过以完成一个工作任务为目的小组讨论开展测评,这种任务通常是事先计划好、非常规、复杂的新任务,对其是否能真正激发员工的创造力和团队合作,以及多大程度上能代表日常职业能力水平,人们仍有质疑;讨论中体现的交流技巧是否能代表职业能力水平,也颇值商榷。

2. 情境性测评

COMET测评和基于胜任特征的测评均属于情境性测评,但实现情境性的方式上有较大差异。两种测评能力模型的生成方式不同,决定了其情境性实现方式的差异。COMET能力模型建立在职业教育学理论基础之上,自上而下生成,测评模型是稳定的。胜任特征模型自下而上生成,从所收集的行为指标等数据中提炼能力模型,再应用于测评,以这种方式建立的情境性不具备系统性,对测评结果进行解释时很难找到系统化的理论基础。

COMET测评的情境性体现在试题开发上,其测试任务是开放性的综合测试题目,源于职业的典型工作任务。每一套试题都包含相应的情境描述和任务要求。情境描述便于被试者了解题目的背景情况,要求被试者给出解决方案并详细解释原因,这与真实工作仅仅关注绩效结果不同,而COMET测评的教育性特征并不影响其对工作过程知识的考察,它在情境性方面的遇到的困难是:为了满足情境性要求,评分标准和解题空间需要在评分者培训时不断进行完善,评分时需要特别的质量保证措施。

基于胜任特征模型的测评考虑了测评的情境性特征,主要体现技术工具选择上。“评价中心”(Assessment Center,简称AC)和情境判断测验(Situational Judgment Test,简称SJT)作为综合情境性模拟技术,被认为是实现情境性测评较为理想的方法。“评价中心”技术包括文件筐测验、无领导小组讨论和情景性面试等,其测评情境设计在很大程度上决定了测评的效度。SJT测评方案的开发主要采用经验性开发和逻辑性开发两种模式。经验性开发由专家选择工作中的关键性事件情境,逻辑性开发通过工作分析确定应测构想因素并开发相应的情境,两种模式都需要事先确定该情境下的所有行为反应,并要求受测者在一组封闭的选项中进行判断,在应答情境的开放性方面受到一定限制。以上两种测评工具的主要问题是:

第一,AC借助S-T-R测评模式的工作原理,通过行为表现推断相关特质,直接评估行为,没有评价认知能力;

第二,评价结果受评分小组专家对情境的理解差异影响,尚未有系统化性的保证评分质量的方法。

因此,以上两种测评工具并没有被有效地应用于职业能力测评实践。

四、结语

职业能力测评的实施通常需要经历建立能力模型,将能力模型转化为测评指标体系,确定具体测评内容这三个步骤。在建立能力模型方面,学习潜能评价中心法没有固定的模型,基于胜任特征模型的测评采用JCAM、“行为锚定修正法”或者借鉴、修改已有模型的方法;Kasseler分类模型和ICA能力评价工具则基于事先大量数据收集分析建立较为完备的能力分类体系;ASCOT项目和COMET方案基于相关理论基础分别构建了跨职业领域的二维和三维能力模型。

在能力模型转化为指标体系方面,除学习潜能评价中心法、Kasseler分类模型和ICA能力评价工具选用质性分析方法外,其他方法都不同程度地采用了量化分析方法,其中ASCOT项目采用类似学校评分系统的方式,简单地以对错来决定分数;COMET方案以评分表和问题解决空间来评分;基于胜任特征模型的测评更为灵活,划分了具体的权重和等级。在确定具体测评内容方面,学习中心评价法以评价中心技术为主;Kasseler分类模型和ICA能力评价工具以工作任务为主,但有所差别;基于胜任特征模型的测评可以结合各类测评技术如评价中心、情境判断测验等,具体内容和形式并不唯一;ASCOT项目的“领域关联任务”和COMET方案均采用笔试形式,但有所区别:ASCOT的试题开发有特定而简单的流程,由行业企业、职业院校和研究机构的专家根据能力模型和指标体系讨论确定测试内容;COMET方案采用了更为系统的质性研究流程——实践专家研讨会(EXWOWO)来开发试题。

职业能力测评是一项跨学科领域的复杂工程,单一研究范式无法满足测评的质量要求,混合研究范式是发展的主流。不同学科领域的测评方法各具特色:人力资源管理领域的测评强调基于具体工作岗位的能力,但多数在脱离具体工作情境下进行,对能力的情境性特征把握较弱;职业教育领域的测评更加关注测评的情境性,因为情境性测评有助于诊断性目标的实现,进而对促进能力发展提出更为具体的指导。现代职业教育的目标是培养学习者的综合职业能力,人力资源管理的目标是确定特定的岗位胜任能力,两者差异显著。但随着教育与培训的界限模糊化的趋势不断加强,促进能力发展和提高工作绩效的目标趋于融合,这意味着情境性测评将是未来职业能力测评发展的方向。随着学科界限对职业能力测评的影响逐渐弱化,不同测评工具方法相互借鉴是职业能力测评的发展趋势。

最后需要说明的是,本文在职业教育和人力资源开发研究语境中探讨对职业能力的测量和评价,而科学地描述、评价和测量的前提是对职业能力的本质和定义达成共识,这至今是在国内外学术界还没有实现的目标。对能力的不同解释,会给职业能力测评研究带来很大困难。在对能力测评方法和技术进行讨论时,必须关注对“职业能力”本身的理解,这与研究者所在的“研究实践共同体”的研究传统和文化传统有很大关系。

本文转自《中国职业技术教育》2017年第35期,转载请注明出处。

微信扫一扫
关注该公众号


前一篇:实现职业教育的“蓝金领”转向

后一篇:王继平:新时代 新目标 新作为