二、常見的培訓評估方案
培訓項目評估方案的設(shè)計是評估規(guī)劃重要的組成部分之一。在這一階段,培訓評估所要
解決的主要問題是:在充分考慮各種可行因素的基礎(chǔ)之上選擇恰當?shù)脑u估方案。評估方案的
選擇,直接決定了評估對非培訓因素的剔除能力,從而能夠更加準確地回答所關(guān)注的問題:
培訓產(chǎn)生了何種客觀的影響:
是否能確立培訓活動與影響之間的因果關(guān)系;
是否能確認培訓的作用機制:
是否能確認項目產(chǎn)出與其最終效果之間的作用機制。
在實踐中,常見的培訓評估方案可歸為以下幾類:實驗設(shè)計、準實驗設(shè)計和非實驗設(shè)計。
利用下圖,可以清晰地將這三者加以區(qū)分:(見圖4—8)。
(一)非實驗設(shè)計
非實驗設(shè)計往往著眼于目標群體縱向的變化,它以項目涉及的整個目標群體作為參照,而不涉及專門的控制組或?qū)φ战M。
非實驗設(shè)計通常被運用于以下場合:
1.在培訓項目涉及的范圍十分廣泛時,準確地確認具有建設(shè)意義的控制組和對照組別是不大可能的,它的實際困難在于:你無法或至少是很難定義不參與的人群。
2.許多項目的目標群體包容了特定地域內(nèi)的所有人員,通常也會采用非實驗設(shè)計。
圖4—8實驗設(shè)計、準實驗設(shè)計和非實驗設(shè)計之間的關(guān)系
3.在許多情形之下,有把握確認培訓項目實施前后的目標群體在所有相關(guān)方面保持一致,也就是說假設(shè)沒有培訓項目的干預,前測和后測的結(jié)果應(yīng)該是一樣的。此種情形下,通常采用非實驗設(shè)計。
在實踐中,常用的非實驗設(shè)計方案包括單組別前測后測設(shè)計和簡單時間序列設(shè)計。
(二)實驗設(shè)計
實驗設(shè)計被認為是最具科學性、也最有說服力的評估設(shè)計。它具有以下幾個特點:
1.隨機實驗(實驗的參與者與控制組成員都是嚴格地根據(jù)隨機原則抽取的)是項目評估領(lǐng)域中的旗艦,因為它們能夠使項目本身在一個很高的置信度上對項目的結(jié)果(或無結(jié)果)做出解釋。
2.它們的研究結(jié)果都能在項目干預活動和實際結(jié)果之間建立起某種因果關(guān)系,因此,隨機實驗的結(jié)論廣泛地為政策制定者、項目人員以及公眾所信賴。
3.實驗設(shè)計的關(guān)鍵在于保證隨機性。
在實踐中,常用的實驗設(shè)計方案包括前測一后測控制組設(shè)計;索羅門四小組設(shè)計:單一后測控制組設(shè)計;要素評估設(shè)計。
(三)準實驗設(shè)計
準實驗設(shè)計與實驗設(shè)計的關(guān)鍵區(qū)別在于隨機性。在實驗設(shè)計中,樣本的隨機分配形成了具有完全可比性的兩個組別:實驗組和控制組。準實驗設(shè)計用對照組取代了實驗設(shè)計中的控制組。研究者努力創(chuàng)造一個與實驗組在所有重要方面都盡可能相似的對照組,但與隨機分配產(chǎn)生的控制組而言,它的可比性已經(jīng)大為遜色了。
準實驗設(shè)計通常都是回溯性的,即評估的決定是在培訓結(jié)束之后做出的。這時,無法按隨機性的原則產(chǎn)生控制組,實驗設(shè)計也就不可能實現(xiàn)了。當然,沒有隨機性的保證,的確無法確立全等價的控制組,但是設(shè)計恰當?shù)臏蕦嶒炘O(shè)計同樣會一個比勉強的實驗設(shè)計更準確有效。
在實踐中,常用的準實驗設(shè)計方案包括前測一后測對照組設(shè)計;時間序列設(shè)計對照組設(shè)計和單一后測對照組設(shè)計。
三、選擇適當?shù)脑u估設(shè)計方案
選擇適當?shù)脑u估設(shè)計方案是評估策略中的重要組成部分。下面介紹幾種最常用的評估設(shè)計以及每種設(shè)計的優(yōu)點和缺點。
(一)一次性項目評估的設(shè)計
最常用的評估設(shè)計就是“一次性”培訓項目的評估設(shè)計。這種方法只涉及一個小組,在培訓之前沒有收集任何數(shù)據(jù)。在培訓之后對該小組只進行一次評估。有許多難以控制的因素會影響評估的結(jié)果,使得用這種設(shè)計所取得的結(jié)果失去效用。然而,為了提高這種方式的有效性,可以用某種策略對這種從“一次性”評估中得到的數(shù)據(jù)進行調(diào)整和分析,這種策略將在后面關(guān)于如何分解培訓效果的章節(jié)中討論。
當事前沒有用任何方法來評估業(yè)績表現(xiàn)或當培訓項目實施之前沒有足夠的知識、技能或能力時,用這種方法來評估某個小組的業(yè)績表現(xiàn)是很有用的。例如,有一組國際銷售代表參加一個培訓項目,以便了解將要在墨西哥市場銷售的全新產(chǎn)品的情況。在培訓之前試圖了解他們對該新產(chǎn)品的了解情況,這是沒有意義的。而在培訓結(jié)束之后來了解他們對該產(chǎn)品的了解情況是比較合適的。
當受到財務(wù)、組織或時間方面的限制,而無法收集培訓前的數(shù)據(jù)時,圖4—9中所展示的這種一次性培訓項目評估設(shè)計就會有一定的幫助。由于這種設(shè)計的效用最差,在評估中的參考價值最小,因而,只有在萬不得己的情況下才使用。
圖4—9一次性培訓項目的評估設(shè)計
(二)單一小組、事前測試和事后測試的設(shè)計
如圖4一lO所示,單一小組、事前測試和事后測試的設(shè)計,可以解決沒有數(shù)據(jù)進行對比的問題。在人力資源開發(fā)培訓項目之前和之后收集數(shù)據(jù),這種設(shè)計要比一次性設(shè)計進了一步。將培訓之前的知識、技能或態(tài)度與培訓之后的知識、技能或行為進行比較,就可以確定改進的情況。
圖4一10 單一小組、事前測試和事后測試的設(shè)計
這種設(shè)計的一個缺點就是事前測試的影響問題。事前測試有可能促使學員去研究所介紹的主題或所提出的問題。其結(jié)果是,事后測試的結(jié)果變化也許不是由于人力資源開發(fā)培訓項目所產(chǎn)生的,而是由于學員參加的事前測試所導致的。這種設(shè)計的另一個缺點就是外部因素的影響,如組織、環(huán)境、工作條件或其他因素會導致業(yè)績表現(xiàn)的變化。要消除測試的影響和外部因素的影響是十分困難的事情。
(三)單一小組、多重測評的設(shè)計
有一種非常流行的評估設(shè)計被稱為單一小組、多重測評設(shè)計。這種用來評估人力資源開發(fā)培訓項目的設(shè)計涉及培訓前后一系列的評估。在這種設(shè)計中,實驗組又是自己的對照組。在培訓之前實施多重測評就會避免因不用對照組而產(chǎn)生的問題。事后采取重復性評估,不僅可以對原始結(jié)果進行比較,而且也可以對培訓項目的長期效果進行評估。圖4一l l所展示的這種設(shè)計,可以包括任何適當?shù)脑u估方法。單一小組、多重測評的設(shè)計可以消除許多時間和選擇對有效性的影響,但是不能避免流失率所帶來的不利影響。
如圖4一12所示,一個多重測評的設(shè)計會有幾個結(jié)果。在結(jié)果A中,人力資源開發(fā)培訓項目顯然沒有什么效果,在所評估的項目中沒有發(fā)生任何變化。在結(jié)果B中有變化,這顯然是培訓項目引起的變化。在結(jié)果C中也有一些培訓項目引起的微小變化,然而,學員又同到了以前的評估水平。顯然,這個培訓項目沒有產(chǎn)生長期的效果。
圖4一12 多重測評設(shè)計的結(jié)果
注:M代表測評,l~5代表測試的間隔
當作為組織業(yè)績報告一部分的測評數(shù)據(jù)容易得到時,就適合實施多重測評設(shè)計。用這種設(shè)計,可以將人力資源開發(fā)培訓項目所產(chǎn)生的影響與較長時間以前的業(yè)績表現(xiàn)進行比較。
(四)對照組的設(shè)計
這種設(shè)計將涉及兩個組的比較,即實驗組和對照組的比較,被稱之為對照組的設(shè)計,見圖4—13所示。
實驗組參加人力資源開發(fā)的培訓,而對照組不參加這種培訓。兩個組的數(shù)據(jù)是在培訓前和培訓后收集到的。與對照組相比較,實驗組的結(jié)果表明了人力資源開發(fā)培訓項目的效果。
只有通過恰當?shù)倪x擇標準而選擇出來的兩個組的情況相同時,才能使用這種設(shè)計。每個小組中的學員,他們的工作級別大致相同,他們的經(jīng)歷、能力、工作條件甚至所在的地域都要大致相同。例如,將一線的主管與中層經(jīng)理相比較就是不妥當?shù),這種差異就不能對培訓后的業(yè)績表現(xiàn)進行實質(zhì)性的分析。
圖4—13 對照組設(shè)計
隨機抽樣是對照組的理想選擇方法。如果兩個組中的學員來自相同的群體,并且可以隨機抽樣,那么這樣的評估設(shè)計就成為真正的對照組設(shè)計。隨機選擇不僅能在培訓開始之前使兩個小組得到平衡,而且也使得評估的結(jié)果對于其他小組具有普遍性。然而,從實踐的角度來看,對學員的選擇很難做到隨機抽樣。如果情況真是這樣,在報告評估結(jié)果時要承認這種設(shè)計的缺點。
真正的對照組的設(shè)計,是目前可用的最有效的評估設(shè)計之一。除測試的影響外,這種設(shè)計可以避免其他不利因素對有效性的影響。由于兩個小組都要參加事前測試,因此對業(yè)績表現(xiàn)的影響不大。
(五)理想化的實驗設(shè)計
如圖4—1 4所示,該評估設(shè)計展示了一種更加理想化的狀況。這個綜合性的設(shè)計涉及三個部分:對學員的隨機抽樣、對所選擇的小組進行事前和事后測評。
圖4—1 4 理想化的實驗設(shè)計
如圖4—14所示,小組A參加某個培訓,接受事前測評和事后測評。對照組不參加該培訓,但接受事前測評和事后測評。小組B參加該培訓,不接受事前測評,但接受事后測評。
對照組消除了時間和流失率對有效性的影響。對于對照組來說,如果其事前測評和事后測評的結(jié)果相同,那么就可以得出結(jié)論,這兩個因素對結(jié)果沒有產(chǎn)生影響。而隨機抽樣所組成的小組又消除了選擇給有效性所帶來的影響。
用小組B是為了消除事前測評對人力資源開發(fā)培訓結(jié)果的影響,真正意義上的對照組的設(shè)計缺點已經(jīng)在前面討論過了。如果小組A和B的事后測評結(jié)果相同,那么就說明事前測評對業(yè)績表現(xiàn)沒有產(chǎn)生影響。
在實施設(shè)計中,這種設(shè)計是最好的。然而,從實際來看,要得到三個隨機選擇的抽樣小組是很困難的,這種操作所用的時間、費用、不便之處和管理程序等,將使之不能付諸實施。
(六)只有事后測評的對照設(shè)計
圖4一15所展示的是一個成本低、實用性強的理想化實驗設(shè)計,稱之為只有事后測評的對照設(shè)計。
對隨機抽樣選擇的實驗組和對照組,只進行事后測評,這就減少了事前測評對學員所產(chǎn)生的影響。排除了事前測試,就可以減少前面所談的評估設(shè)計的時間和成本問題。
相關(guān)推薦:
在線課程 |
(人力+HRBP)
通關(guān)雙證班 59%學員選擇 |
精品VIP班
41%學員選擇 |
|
適合學員 | ①記憶力差,學習時間有限,急需證書加持的人; ②人力資源或業(yè)務(wù)部門骨干,想轉(zhuǎn)型做HRBP的人; ③有從業(yè)經(jīng)驗,急需技能提升跳槽去更大的公司的人; ④創(chuàng)業(yè)者, 老板或者想提升人力資源管理能力的人。 |
①基礎(chǔ)弱,沒有學習自主性; ②記憶力差,沒有學習技巧; ③工作忙,學習時間有限; ④想要快速通關(guān)的學員。 |
在線課程 |
(人力+HRBP)
通關(guān)雙證班 59%學員選擇 |
精品VIP班
41%學員選擇 |
|
適合學員 | ①記憶力差,學習時間有限,急需證書加持的人; ②人力資源或業(yè)務(wù)部門骨干,想轉(zhuǎn)型做HRBP的人; ③有從業(yè)經(jīng)驗,急需技能提升跳槽去更大的公司的人; ④創(chuàng)業(yè)者, 老板或者想提升人力資源管理能力的人。 |
①基礎(chǔ)弱,沒有學習自主性; ②記憶力差,沒有學習技巧; ③工作忙,學習時間有限; ④想要快速通關(guān)的學員。 |
|
課程咨詢 | 考試吧環(huán)球網(wǎng)校,了解課程詳情 | ||
基礎(chǔ)階段 | 備考指導 | ||
教材精講 | |||
職業(yè)道德 | |||
綜合評審 | |||
強化階段 | 考點強化班 | ||
真題解析班 | |||
模考集訓班 | |||
APP快題庫 | |||
沖刺階段 | 仿真機考 | ||
應(yīng)試技巧班 | |||
培訓資料班 | |||
考前密訓班 | |||
BP課程 | 自我認識篇 | / | |
業(yè)務(wù)管理篇 | / | ||
崗位管理篇 | / | ||
人才管理篇 | / | ||
組織管理篇 | / | ||
工具篇 | / | ||
案例篇 | / | ||
自我提升篇 | / | ||
獨享實操 | HR技能實訓+HR法務(wù)實訓+OKR實操課 | / | / |
套餐服務(wù) | 論文修改指導意見 | ||
定制各階段學習計劃 | |||
QQ群班主任實時答疑/輔導 | |||
學習進度定期提醒 | |||
支持APP、Ipad做題、聽課 | |||
支持課程講義/視頻下載 | |||
免費贈送 | 新版教材(免費郵寄) | ||
APP快題庫 | |||
通關(guān)承諾 |
考試不過,2年內(nèi)免費重學! | 考試不過,2年內(nèi)免費重學! | |
套餐價格 |
一級:¥5990 二級:¥5490 三級:¥4990 四級:¥4490 |
一級:¥3990 二級:¥3690 三級:¥3490 四級:¥2990 |