4. 評估

本節描述了可以幫助公司衡量(從而可信地闡明)其正向追求目標的結果的關鍵概念和注意事項。

如前所述,公司可以透過多種方式進行積極的追求,但活動通常可以從專案或產品的角度來考慮。本節中的指南與兩者相關,但為了簡單起見,將使用術語「項目」。

4.1 創造或促成正面影響

實現正面影響的道路通常始於意向性,即公司有明確的目標來實現某些結果,並且能夠準確說明它將如何實現。但有時公司的活動可能會偶然產生正面的結果。

無論哪種情況,如果一家公司希望了解並解釋其所取得的成果的程度,它應該能夠闡明為什麼它認為行動和結果之間存在關聯。這種表述有時被稱為變革理論(見下框)。

變革理論

變革理論是對在特定背景下預期特定結果如何以及為何發生的描述。[188] 這種描述可以包括所解決的問題、所使用的投入(投資資本、時間等)、所執行的活動、產生的產出以及由此產生的利益(以及為誰帶來的利益)之間的聯繫。

對於一個公司來說,要可信地闡明為什麼它正在創造或促成一個結果,它應該充分理解其變革理論。

如果可能,應從專案開始的那一刻起追蹤進度。在此過程中,重要的是要區分幾個評估級別,並按重要性遞增的順序:輸入、輸出、結果和影響 (見圖 11)。

輸入和輸出是最直接的,因為此類資訊通常由傳統的財務報告或資源管理系統捕獲。產出通常不是專案本身的最終目標,而是實現成果的機制。

下一個層次涉及評估已實現的成果:目標利害關係人所發生的可衡量的變化。實現的結果可以是正面的或負面的,可以是有意的或無意的。與產出相比,評估結果通常需要收集和分析公司可能不會定期追蹤的數據。量化結果總是更好的選擇,但有時專案的結果可能需要數年時間才能實現,或者其測量可能不切實際。在這種情況下,公司可能會選擇僅將評估和報告重點放在產出上。

公司可能會認為,如果沒有該項目,事情將繼續保持與開始之前相同的狀態。事實上,世界不斷在變化。天氣事件、經濟和文化趨勢、技術可用性和人口變化等因素都可能導致結果發生重大變化,而這些變化並不是由於公司的干預造成的。因此,在資源和實用性允許的情況下,公司應設法評估其對任何已實現成果的貢獻,以促進真正了解其行動的影響。

下一節描述如何評估和報告每個層級的正向追求目標。

圖 11:正向追求目標的評估等級。

4.2 評估和報告正向追求目標

公司可以透過無數種方式進行正面影響力追求。例如,透過減少糖尿病對世界上最貧困人口的影響,確保 更多人健康並免受傷害,可以透過教育人們健康飲食選擇、提供負擔得起的胰島素或培訓醫療保健專業人員來發現和治療這種疾病來解決 在症狀升級前。

這種方法的多樣性意味著以一致和可比較的方式評估和報告任何兩個項目可能具有挑戰性。但努力這樣做很重要,既可以為未來的專案決策提供信息,也可以以有意義的方式向投資者和其他人展示結果。對描述影響的通用方法的需求導致了 影響管理項目 (IMP) 的形成,以下指南借鑒了該項目(請參見下面的標註框)。

描述和評估專案結果的方法

對於任何給定的項目,公司應根據項目的特點和進度選擇專注於四個評估等級(或其組合)中的哪一個。

對於任何項目,最終目標都應該是根據其影響來評估結果,但如果這是不可能或不切實際的,公司應說明其選擇評估方法的原因。

影響力管理專案 (IMP) 簡介

2016 年至2018 年間,IMP 匯聚了來自不同地區和學科的2,000 多名從業者,就如何談論、管理和衡量影響力達成共識——彌合商業、非營利組織、投資、社會科學、資助等領域的觀點。這個多元化的群體對「影響」達成了共同的定義,並就人們期望在任何良好的影響框架或報告中找到的數據類型達成了一致。255 [18]

圖 12 確定了五個關鍵概念——利害關係人、規模、深度、持續時間和重要性——它們共同描述了專案結果的範圍,無論是預期的還是實現的。這五個概念支撐著每個評估等級所使用的指標和敘述。

圖 12:評估的關鍵概念:利害關係人、規模、深度、持續時間和重要性。

評估正向追求目標的關鍵概念
概念 描述 分類 測量
利害關係人 承受這種變化結果的人們,或者如果相關的話,受這種變化影響的環境。 不適用 不適用
規模 經歷該結果的人數,或(如果相關)受該變化影響的環境區域。 不適用 確定受影響的個人、社區或土地面積的數量。
深度 利害關係人所經歷的社會或環境變化程度(例如,識字率的提高) 不適用 確定目前結果水準與基線(專案開始前的情況)之間的差異
時長 利害關係人體驗結果的時間段(例如以月為單位)
  • 臨時性一次性福利
  • 固定期限福利
  • 永久性或無限期福利
可以透過以下方式衡量持續時間和重要性:

  • 調查受影響的利害關係人
  • 運用實證研究(例如影響評估)
  • 市場調查(例如非政府組織資料)
重要性 從受影響利害關係人的角度來看 結果的重要性
  • 滿足次要需求
  • 滿足重要需求
  • 滿足重大需求
評估和報告項目輸入

如果一個專案處於早期階段,公司為支持或開發該專案而提供的投入可能是唯一可以追蹤的東西。在這種情況下,應 如圖 13 所示評估和報告進度。

圖 13:如何評估專案投入

項目輸入
進度指標 背景數據
輸入: 為專案提供的資金或其他類型資源的數量 正向追求目標: 專案預期交付的成果類型
項目摘要: 簡要描述項目, 闡明其預期如何為積極追求做出貢獻。內容應包括:
  • 目標利害關係人(例如個人或環境);
  • 利害關係人特徵:利害關係人的社會人口統計和行為特徵(例如年齡、性別、信念),或環境的自然特徵(例如生態系統類型);
  • 地理位置:預期成果發生的地點。
預期規模: 項目可能影響的人數或環境面積
預期深度: 利害關係人可能經歷的社會或環境變化的預期程度。
預期持續時間類別: 臨時、固定期限或永久
預期重要性類別: 滿足輕微需求、重要需求或重大需求
可能的權衡取捨: 該項目可能帶來的負面後果
證據: 定量和/或定性證據,以及用於以下方面的測量方法詳情:
  • 預期規模
  • 預期深度
  • 預期持續時間類別
  • 預期重要性類別
請注意,所有已確定的結果(包括正面和負面結果)應提供證據。
評估和報告項目產出

一旦專案啟動並運行,公司應該能夠在中期結果開始累積時追蹤其產出。應 如圖 14 所示評估和報告進度。

圖 14:如何評估專案產出。

項目輸出
進度指標 背景數據
輸出: 由輸入形成的物件、條件或服務的數量或規模 正向追求目標: 專案預期交付的成果類型
項目摘要: 簡要描述項目,闡明其預期如何為積極追求做出貢獻。內容應包括:
  • 目標利害關係人(例如個人或環境);
  • 利害關係人特徵:利害關係人的社會人口統計和行為特徵(例如年齡、性別、信念),或環境的自然特徵(例如生態系統類型);
  • 地理位置:預期成果發生的地點。
預期規模: 可能受專案影響的人數或環境面積
預期深度: 利害關係人可能經歷的社會或環境變化的預期程度。
預期持續時間類別: 臨時、固定期限或永久
預期重要性類別: 滿足輕微需求、重要需求或重大需求
可能的權衡取捨: 該項目可能帶來的負面後果
證據: 定量和/或定性證據,以及用於以下方面的測量方法詳情:
  • 預期規模
  • 預期深度
  • 預期持續時間類別
  • 預期重要性類別
請注意,所有已確定的結果(包括正面和負面結果)應提供證據。
評估並報告專案成果

在較高的層面上,專案的成果可以用與其相關的正向追求目標來描述,但應盡可能提供具體細節。例如,確保 更多人健康且安全免受傷害的專案的結果 可以透過品質調整生命年 (QALY) 的增加來量化。

如圖 15 所示評估和報告進度。有關如何計算深度和持續時間的更多指導,請參閱此 常見問題。如果無法確定合適的結果指標,則可以使用輸出指標作為替代指標。256

圖 15:如何評估專案成果

項目成果
進度指標 背景數據
規模:
受項目影響的人數或環境面積。
正向追求目標: 專案預期交付的成果類型
深度:
利害關係人所經歷的社會或環境變化的程度。
項目摘要: 簡要描述項目,說明其預期如何為積極追求做出貢獻。內容應包括:
  • 目標利害關係人(例如個人或環境)
  • 利害關係人特徵:利害關係人的社會人口統計和行為特徵(例如年齡、性別、信念), 或環境的自然特徵(例如生態系統類型)
  • 地理位置:預期成果發生的地點
時長:
利害關係人體驗到結果的時間長度。
時長類別:
一次性、固定期限或永久性
重要性:
結果對利害關係人的重要性已得到證實。
證據: 定量和/或定性證據,以及所用測量方法的詳細信息,包括:
  • 規模
  • 深度
  • 持續時間
  • 顯著性
請注意,所有已識別的結果(包括正面和負面結果)應提供證據。
重要性類別:
滿足次要、重要或主要需求
權衡取捨: 專案可能產生的任何負面後果的深度、持續時間和重要性
評估和報告項目影響

確定成果在多大程度上歸因於特定項目可能很困難。最可靠的方法是建立一個「反事實」——也就是說,如果沒有公司介入的話會發生什麼事。 IMP 提供了有關此主題的更有用的指導:請參閱此 常見問題 以了解詳細資訊。

一旦建立了合適的反事實,就應評估並報告進展情況,如圖 16 所示。有關如何計算公司對深度和持續時間的貢獻的更多信息,請參閱此 常見問題

圖 16:如何評估專案影響

項目影響
進度指標 背景數據
規模:
受項目影響的人數或環境面積
正向追求目標: 專案預期交付的成果類型
深度貢獻:
利害關係人所經歷的、可直接歸因於專案的社會或環境變化程度
項目摘要: 簡要描述項目,說明其預期如何為積極追求做出貢獻。內容應包括:
  • 目標利害關係人(例如個人或環境)
  • 利害關係人特徵:利害關係人的社會人口統計和行為特徵(例如年齡、性別、信念),或環境的自然特徵(例如生態系統類型)
  • 地理位置:預期成果發生的地點
時長貢獻:
利害關係人體驗到直接歸因於專案的成果所持續的時間長度
時長類別:
一次性、固定期限或永久性
重要性:
結果對利害關係人的重要性已得到證實
證據: 定量和/或定性證據,以及用於以下方面的測量方法詳情:
  • 規模
  • 深度貢獻
  • 持續時間貢獻
  • 顯著性
請注意,所有已確定的結果(包括正面和負面結果)應提供證據。
重要性類別:
滿足次要、重要或主要需求
權衡取捨: 專案可能產生的任何負面後果的深度、持續時間和重要性

評估其正向追求目標使公司能夠評估其活動的有效性並向主要利益相關者傳達其成就。有關如何報告正向追求目標結果的更多信息,請參閱 如何使用本指南

4.3 範例

ACME Inc. 生產和銷售全天然檸檬水產品。它自己種植一些原料,並從其生產工廠附近的小農那裡採購其他原料。ACME 和小農戶都依賴附近的水源,而水源長期以來一直遭受水資源壓力。

在該國開展業務的非政府組織的報告指出,該地區在經濟上容易受到氣候變遷的影響,嚴重依賴農業並遭受水資源短缺。該非政府組織預計,未來十年,氣候變遷對當地最大的影響將是農作物產量下降 15%。

專案

變革理論

ACME 決定為當地小農舉辦免費課程,透過教授公司已採用的最佳實踐農業技術,幫助他們提高產量並減少用水量。ACME 將該計劃的預期成果描述為雙重的:其他因素對水資源壓力的影響較小 並且 人們的能力得到加強

ACME 期望農民的新知識將提高未來幾年的產量,同時減少對水的依賴。

該課程為 ACME 設施幾十英里範圍內的農民提供。

項目描述

每位課程參與者都會被協助完成一份入學調查,ACME 會計算完成的表格以確定該計劃的參與者人數。在培訓期間,ACME 監控所有報名農民的出席情況,培訓結束後,將對他們所學內容進行口頭測試。

ACME 在初次培訓後 6 個月拜訪每位農民,以確定他們將所教授的技術付諸實踐的情況。該公司還分配資源,在未來三年內每年與農民進行一次檢查,以監測新技術是否繼續使用,提供進修培訓,並衡量農作物產量是否達到了預期的增長。

項目3年後評估

三年後,ACME 評估該計畫的影響。雖然農民報告說他們的用水量沒有增加,但考慮到這一時期缺乏正式的跟踪,關於節省了多少水的證據充其量只是軼事。因此,ACME 無法確定該專案是否確保 其他專案對水資源壓力的影響較小

相反,它的評估重點是其努力如何確保 人們的能力得到加強

規模

共有60名農民報名參加了培訓。6 個月後,原來的 60 名農民中有 40 名積極應用他們所學到的知識。

深度

在這 3 年裡,所有 40 名應用新技術的農民的產量平均每年提高 30%(與同一地區未接受培訓的類似農民的對照組相比)。

在報名參加該課程時,農民接受了有關他們現有耕作實踐、過去 5 年內接受過的任何培訓以及他們選擇參加該課程的原因的調查。結果顯示,如果沒有公司的干預,農民不太可能學會如何應用新的農業技術。

因此,ACME 得出結論,產量的提高主要歸功於他們的教育計劃。

期間

ACME 的預期是農民的新知識將提高未來幾年的產量,這就是證據所表明的:產量的增加(與對照組相比)發生在教育計劃之後的季節,並且此後保持一致。因此,ACME 得出結論,該持續時間可以歸類為永久性。

意義

為了衡量該計畫的重要性,ACME 最初進行了自己的研究。透過評估該地區的生活成本,並將其與當地農民樣本的農作物銷售收入進行比較,ACME 發現,氣候變遷導致的農作物產量預期下降可能會導致許多農民難以滿足家庭的基本需求。

因此,ACME 將該專案的重要性描述為滿足了重大需求。

ACME 也對十名農民進行了追蹤調查,詢問他們該計畫對他們的生活影響有多大。回饋是一致的:農民對應用新技術充滿信心,產量提高帶來的收入增加增強了他們對極端天氣事件的抵禦能力。

報告其貢獻

評估完成後,ACME 能夠報告以下內容:

  • 正向追求目標: 人的能力加強。
  • 項目摘要: 針對小農的教育計劃,旨在提高農作物產量,以應對氣候變遷帶來的預計產量下降。公司對投入的貢獻為 100%(涵蓋所有財務成本並捐贈員工時間來運行培訓計劃和監控結果)。
  • 規模: 40 名參與者完成了該計劃。
    • 證據: 訓練課程的出勤記錄。
  • 深度貢獻: 與對照組相比,作物產量年均增加30%。
    • 證據: 受過訓練的群體作物產量的測量結果,與對該地區未受過訓練的農民的平均產量的調查進行比較。
  • 持續時間貢獻: 該計畫為農民帶來了永久的利益。
    • 持續時間類別: 永久。
    • 證據: 三年後產量顯著提高,預計這種情況將無限期地持續下去。
  • 意義: 該計劃對農民福祉產生了顯著的正面影響。
    • 重要性類別: 重大。
    • 證據: 農民回饋以及非政府組織關於相關地區農業社區經濟脆弱性的聲明。
  • 權衡: 沒有發現負面結果。

在評估結果匯總後,ACME 對該計畫的成功充滿信心,並與該國政府和為全國農民提供支持的國家非政府組織合作。制定了一項新計劃,公司和政府共同資助非政府組織工作人員的教育,使他們能夠向全國弱勢農民提供類似的培訓計劃。

參考書目

[18]
Impact Management Project [Online]. Available: https://www.theimpactprogramme.org.uk/portfolio/impact-management-project/. [Accessed: 01-Dec-2023]
[188]
“What is theory of change.” Center for Theory of Change [Online]. Available: https://www.theoryofchange.org/what-is-theory-of-change/. [Accessed: 01-Mar-2019]

  1. Future-Fit(未來適能)基金會是該計劃的撰稿人,並且在可能的情況下,隨著 IMP 的不斷發展,將努力使其指導與 IMP 的指導保持一致。↩︎

  2. 當某個變數無法測量時(例如由於成本限制),鼓勵公司使用代理變數。這是一個假設與不可測量變數密切相關的變數。例如,為了衡量減少犯罪項目的效果, 組織可能會使用入院的攻擊受害者人數的變化作為暴力犯罪百分比下降的指標。↩︎