Posts Tagged with "Incorrect pmhf formula"

既に発行済みのブログであっても適宜修正・追加することがあります。
We may make changes and additions to blogs already published.

PMHFの誤解 (10)

posted by sakurai on October 14, 2022 #530

故障分類フローでの検証 (続)

前稿で規格の故障分類フローの箱(p)まで見たので、その続きを確認します。

図172.1
図172.1 Part 10故障分類フローチャート(再掲)
次の箱は(q)で、

Fraction of faults that the safety mechanism prevents from directly violating the safety goal?

安全機構が安全目標に直接違反することを防いだフォルトの割合?

とあります。ここに来たフォールトはVSGを起こします。ここから右と下の枝の違いはSMがそれを防いだかどうか(ゼロイチではなく割合)です。

VSGを防げない部分の割合を故障率$\lambda_\text{FMi,PVSG}$にかけて下の箱(r)、(s)へ移ります。これが残存フォールト$\lambda_\text{FMi,RF}$の箱(s)です。ということで、直接侵害する故障のうち、安全機構でカバーされない部分は残存フォールトだという結論です。マルチプルポイントフォールトではありません。

被引用論文の調査

ここで、「研究成果報告書」の引用元論文であるPMHF式の誤り論文$\dagger$を再度確認したところ、そこにも同じ図526.1の表が有り、全てMPFと分類されていました。そのため元論文$\dagger$から表を引き写したための誤りと判明しました。当該箇所を引用すれば、

Note that each fundamental building block in our exemplary safety microprocessor is protected with SM. This causes every hardware failure mode is classified as MPF. As the result, the summation of the single-point fault and the residual fault is zero.

各基本構成要素はSMで保護されている。 このため、すべてのハードウェア故障モードがMPFに分類される。その結果、一点故障と残留故障の和はゼロになる。

とあり、結論として元論文$\dagger$の2個目の誤りがそのまま引き継がれたようです。まとめれば、元論文$\dagger$には

  1. PMHF式のDPF項を過剰に見積もる(故障率が2乗されていない)誤り
  2. 故障分類において残存フォールトを全てマルチプルポイントフォールトと勘違いする誤り

の二重の誤りが存在しており、それが「研究成果報告書」をカスケード故障させたということになります。元の誤りは罪深く、その引用だけでも4~5本ほどあり、さらに今後孫引きされることを考えると、増殖する害虫を見るようで憂慮するばかりです。


$\dagger$Y. Chang, L. Huang, H. Liu, C. Yang and C. Chiu, "Assessing automotive functional safety microprocessor with ISO 26262 hardware requirements," Technical Papers of 2014 International Symposium on VLSI Design, Automation and Test, Hsinchu, 2014, pp. 1-4, doi: 10.1109/VLSI-DAT.2014.6834876.


左矢前のブログ 次のブログ右矢

PMHFの誤解 (9)

posted by sakurai on October 13, 2022 #529

故障分類フローでの検証

念のため残存フォールトとなるかどうか、過去記事でも解説した故障分類フローを用いて確認します。

図171.1
図171.1 Part 10故障分類フローチャート(再掲)

図172.1の上方の箱(k)において、

Fraction of faults that in absence of a safety mechanism have the potential to dicrectry violated the safety goal?

安全機構が無い場合、安全目標に違反する可能性のある故障の割合は?

この表現が誤解の元かもしれませんが「安全機構が無い場合」とは、安全機構が配備されていない場合ではありません。安全機構を仮に無いものとすることを示しています。実はこの箱(k)でやりたいのは主機能か、安全機構かの見極めです。

もし安全機構の配備であれば、安全目標を直接侵害せず(no potential)、全てのエレメントが安全機構と判定されてしまうので、仮に安全機構を取り除いて考えます。そうすると、主機能であれば安全機構が配備されていても、仮に無いものと考えると安全目標を直接侵害するため、下の箱(l)に移ります。

このように、先の引用(k)の"in absence of a safety mechanism"が安全機構が無い場合と間違い易いのですが、安全機構の有無を判断するのは次のひし形の箱(m)です。

Are there safety mechanisms in place to control faults for at least one failure mode of the element (yes/no)?

エレメントの少なくとも1つの故障モードに対して、故障を制御する安全機構があるか(yes/no)?

ここでは安全機構の配備の有無を聞いています。これで分かるように、もし箱(k)が安全機構の有無であって、無い場合に下のひし形の箱(m)に来たなら、再度安全機構の有無を聞くのはおかしいはずです。


左矢前のブログ 次のブログ右矢

PMHFの誤解 (8)

posted by sakurai on October 12, 2022 #528

どこが誤りの起点かを調査します。まず、前稿の図527.2において、「研究成果報告書」を引用していますが、

3.1項の(15)のシングルポイント故障の定義の備考2に示されているように、安全機構が定義されている場合、シングルポイント故障にならないので、全ての故障モードはマルチプルポイントフォールトに分類される

とあります。これは誤りです「研究成果報告書」における規格の引用箇所を確認します。

図%%.1
図528.1 シングルポイント故障の定義(「研究成果報告書」の規格の引用箇所)

たしかに規格には「シングルポイントフォールトとならない」とありますが、とはいえマルチプルポイントフォールトには絶対になりません。その理由は最初の部分に書かれているように、安全目標を直接侵害するフォールトだからです。マルチプルポイントフォールトの定義は、別のエレメントのフォールトとの組み合わせにより安全目標侵害(VSG)となるフォールト、つまり安全目標を直接侵害しないフォールトです。

実際には図528.1備考1にもあるとおり、安全機構がある場合はシングルポイントフォールトにはならずに、残存フォールトとなります。「研究成果報告書」における規格の引用箇所を確認します。

図%%.2
図528.2 残存フォールトの定義(「研究成果報告書」の規格の引用箇所)

以上まとめると、「研究成果報告書」の筆者は故障分類フローを見ておらず、シングルポイントフォールトでなければマルチプルポイントフォールトだという思い違いにより、残余フォールトが全てゼロという結果となったと考えられます。

ところがこの文章の前に故障分類フローも記述されていました。であれば、この誤りはどこから来たのでしょうか?


左矢前のブログ 次のブログ右矢

PMHFの誤解 (7)

posted by sakurai on October 11, 2022 #527

過去記事で財団法人日本電子部品信頼性センター発行の「平成26年度 電子部品信頼性調査研究委員会 研究成果報告書」におけるPMHF式の誤りを指摘しました。それは例のPMHF式の誤り論文$\dagger$から来ているものでした。

指摘した記事の最後に、

もっとも$\lambda_\text{SPF/RF}$がゼロならDPF項は必ず100%ですが、そもそも$\lambda_\text{SPF/RF}$がゼロという点が信じられません。その理由はDPF項は経験的に3%未満だからです。

とありますが、なぜ$\lambda_\text{SPF/RF}$がゼロになるかの原因を調べました。すると驚くべきことが分かりました。全てのフォールトがMPFに分類されているため$\lambda_\text{SPF/RF}$がゼロとなっています。この「研究成果報告書」の当該部分を図527.1に示します。

図%%.1
図527.1 「研究成果報告書」の表
弊社で黄色い囲み線を加えましたが、全てのフォールトがMPFとなっていますが、本来はRFのはずです。このようになった理由を調べたところ、当該の表の前に
図%%.2
図527.2 「研究成果報告書」の引用

との記述がありました。通常SMが付いている回路がほとんどなので、この記述に従えば全ての回路のRFがゼロになってしまいます。これは故障分類の誤りであり、「安全機構が定義されている場合...残存フォールトは0になる」という記述では、いかなるSMでもカバレージは常に0%になってしまいます。

安全機構がある場合、一旦取り除いて考えるのが機能安全の基本です。


左矢前のブログ 次のブログ右矢

PMHFの誤解 (6)

posted by sakurai on October 7, 2022 #526

また、別の論文 "Safety-Oriented System Hardware Architecture Exploration in Compliance with ISO 26262"において、PMHF式の問題点を発見しました。この論文も例のPMHF式の誤り論文$\dagger$を下敷きにし、誤りを再生産しています。この誤りの連鎖はどうしたら止められるのでしょうか。

この論文の当該部分を図526.1に示します。

図%%.1
図526.1 論文のPMHF式

繰り返しになりますが、$\lambda_\text{MPF,l}$は、PMHFに単純に足すことはできません。シングルポイントとレイテントフォールトの危険度は桁違いに異なります。具体的には単一の故障率どうしで比較するのではなく、確率で比較しなければならないため、レイテントフォールトの場合はさらに別のフォールトの生起確率をかける必要があります。つまりDPF確率が問題となってきます。

従って、それらを一緒にすることはレイテントフォールト確率の過剰評価となります。実際の経験ではレイテントフォールトの効果は3%未満でした。従って理論的には無視できませんが、実際上は無視しても良いレベルの値と言えます。


左矢前のブログ 次のブログ右矢

PMHFの誤解 (4)

posted by sakurai on October 4, 2022 #523

またPMHF式の誤り論文$\dagger$(記事はここ)の誤りが他の論文に波及しているのを発見しました。 "A Novel Method to Speed-Up the Evaluation of Cyber-Physical Systems (ISO 26262)"という論文です。

この論文の当該部分を図523.1に示します。

図%%.1
図523.1 論文のPMHF式

和訳を付けると、

ランダムハードウェア故障のための確率的メトリック(PMHF): PMHFは、一点故障、残留故障、二点故障による安全目標違反の残留リスクを評価する。 違反の最大確率の定量的な目標値を定義する。 以下の式は、単一点故障、残留故障、二点故障を引き起こす各ハードウェア部品の故障モードに対する故障率を推定する(ISO 61508)。

まずISO 61508という規格は有りません。IEC 61508のtypoだとして、その中にPMHFは定義されていません。おそらくPMHF式の誤り論文$\dagger$において、

ISO 26262にはPMHF式が出ていないため(実際はPart 10に書かれている)、IEC 61508を参照する

と書かれていたので、その誤りが伝播したものと思われます。裏を取ることをしないのでしょうか。


$\dagger$Y. Chang, L. Huang, H. Liu, C. Yang and C. Chiu, "Assessing automotive functional safety microprocessor with ISO 26262 hardware requirements," Technical Papers of 2014 International Symposium on VLSI Design, Automation and Test, Hsinchu, 2014, pp. 1-4, doi: 10.1109/VLSI-DAT.2014.6834876.


左矢前のブログ 次のブログ右矢

PMHFの誤解 (2)

posted by sakurai on September 30, 2022 #521

TIのプレゼン資料においてPMHFの誤解の続きです。

本資料では他の例でも全て計算が誤っていました。一貫してPMHF=RF+MPF-Lとしています。

図%%.1
図521.1 本資料の別の計算式

図521.1左の計算は $$ \lambda_\text{RF}+\lambda_\text{MPF,lat}=11+10=21 [FIT] $$ 図521.1右の計算は $$ \lambda_\text{RF}+\lambda_\text{MPF,lat}=1.5+20=21.5 [FIT] $$ のようにそのまま加算を行っていますが、これは誤りです。

これは前述のようにPMHF式の誤り論文$\dagger$(図326.1)から来たものと推測します。このように一か所の"欠陥"が複数に伝播し"カスケード故障"を起こしているところを見ると、システマティックフォールトに対して"安全機構"が働いていないようです。言うまでも無く"安全機構"はこの場合、自分の頭で考えることであり、論文を鵜呑みにすることではありません。

図326.1
図326.1 ある論文中のPMHF式

これが誤りである理由を定性的に説明します。

  1. 故障率に車両寿命をかけると、車両寿命間に故障する故障確率になります。
  2. 故障確率から考えると、SPF及びRFは一点の部品欠陥で車両の故障につながるため、この項はOKです。
  3. ところが、MPF-Lはレイテントフォールトなので、一点のフォールトが起きても直ちに車両の故障とはなりません。つまりMPF-Lを過大に評価していることになります。
  4. 本来はレイテントフォールトは別のフォールトとの組み合わせにより車両故障、つまり安全目標違反となるため、確率としてはもう一つ別の故障率が必要となります。
  5. 本来はこの項は桁違いに小さくなるはずです。

過去記事でも同じことを指摘しています。

LFは単一ではVSGを引き起こさないため、アイテムのVSG確率としては、他のフォールトとのDPFとして計算しなければなりません

以上から、単一点(シングルポイント)及び残余(レシデュアル)の故障率と、レイテントフォールトの故障率を単純に加えることは誤りです。


左矢前のブログ 次のブログ右矢

PMHFの誤解

posted by sakurai on September 29, 2022 #520

TIのプレゼン資料においても同様のPMHFの誤解を発見しました。これも以前の記事で指摘したように、PMHF式の誤り論文$\dagger$が波及したのかもしれません。図520.1は表紙です。

図%%.1
図520.1 TIのプレゼン資料(表紙)

資料中のPMHF計算の誤りを図520.2に示します。

図%%.2
図520.2 TIのプレゼン資料(PMHF計算)

図520.2の部分を拡大します。

図%%.3
図520.3 TIのプレゼン資料(PMHF計算、当該部分の拡大)
図520.1では $$ \lambda_\text{RF}+\lambda_\text{MPF,lat}=11+55=66 [FIT] $$ のようにそのまま加えていますが、これは誤りです。

$\dagger$Y. Chang, L. Huang, H. Liu, C. Yang and C. Chiu, "Assessing automotive functional safety microprocessor with ISO 26262 hardware requirements," Technical Papers of 2014 International Symposium on VLSI Design, Automation and Test, Hsinchu, 2014, pp. 1-4, doi: 10.1109/VLSI-DAT.2014.6834876.


左矢前のブログ 次のブログ右矢

PMHFの計算法の例 (2)

posted by sakurai on October 20, 2020 #326

参照論文の調査

PMHF式に誤りのある「平成26年度 電子部品信頼性調査研究委員会 研究成果報告書」は2015年3月発行です。著者に連絡を取ったところ、論文$\dagger$からの引用だとのことでした。これは2014年発行なので、この論文$\dagger$が元凶であり、ブログで取り上げた日本人の資料である、この資料この資料に影響を与えたようです。IEEE発行の査読付き論文なのでそれなりに信用性があり、誤りが広まってしまうのかもしれませんが、非常に遺憾なことです。

もっとも、査読済み論文だからと言って、検証もしないで盲目的に引用する態度にも同様に問題があると考えます。

図326.1に当該部分を引用します。良くみると、上記報告書が引用したといいながら、DPF部分はlatentのみとなっています。従って、上記報告書と論文$\dagger$では少々異なります。

図%%.1
図326.1 ある論文中のPMHF式
この資料と、参考にした元論文の例では1st SMは存在しても2nd SMの概念が全く書かれていないので$\lambda_\text{MPF}$と$\lambda_\text{MPF,lat}$は一致するのでしょう。

IEC 61508との比較

また、図326.1の説明には、

ISO 26262にはPMHF式が出ていないため(実際はPart 10に書かれている)、IEC 61508を参照する

と書かれていますが、ISO 26262のPart 10に式が記載されています。さらにIEC 61508にはPMHFはありません。近い概念としてはPFH(Probability of Failure per Hour)があります。Exidaの資料によればPFHは(326.1)式で表されます。 $$ PFH=\lambda_\text{DU}\tag{326.1} $$

ただし、これは1oo1の式だと思われます。少なくともDPFは、主機能と安全機構の双方がフォールトしたときの故障であるため、1oo2の式のほうがベターです。

しかしながら、ISO 26262はIEC 61508に基づいているといいながら、PMHF結果式はISO 26262独特のものであるため、1oo2としても式は一致しません。具体的には、ISO 26262は定期検査及び修理が暗黙の前提となっています。従ってIEC 61508を過度に適用することは、このような誤りにつながります。あくまでISO 26262の上で考えなくてはなりません。


$\dagger$Y. Chang, L. Huang, H. Liu, C. Yang and C. Chiu, "Assessing automotive functional safety microprocessor with ISO 26262 hardware requirements," Technical Papers of 2014 International Symposium on VLSI Design, Automation and Test, Hsinchu, 2014, pp. 1-4, doi: 10.1109/VLSI-DAT.2014.6834876.


左矢前のブログ 次のブログ右矢

PMHFの計算法の例

posted by sakurai on October 16, 2020 #325

「電子部品信頼性調査研究委員会 研究成果報告書」中のPMHF式

この誤りはどこかで見たと思ったら、財団法人日本電子部品信頼性センター発行の「平成26年度 電子部品信頼性調査研究委員会 研究成果報告書」の33ページにも、同じような式が書かれていたので、図325.1に引用します。

図%%.1
図325.1 ある資料中のPMHF式

前稿のMPFはLF($=\lambda_\text{MPF,lat}$)のみを加えていましたが、この式ではMPF全体となっており、誤りはより悪化しています。これはtypoではなく、図325.1中にも「全体から安全フォールトを除いたもの」とあり、図324.1を参照すれば、SPF/RFに加えMPF全体と考えているようです。ところが、MPFにはlatentとdetected/percievedがあり、後者は安全と考えられるので、より誤り度合いが大きいのです。

前稿でも述べたように、LFは単独ではVSGとならないので、他のフォールトとのDPFとして計算する必要があります。DPF確率は、SMのレイテント確率とIFのフォールト確率の積になります。

図%%.2
図325.2 ある資料中のPMHF計算

本来DPFは、このように2つのフォールト確率から成る確率事象であるため、その確率は非常に小さくなるはずです。具体的には故障率のオーダーが$10^{-9}$、車両寿命が$10^{5}$とすれば、かけ合わせると1万分の一のオーダーです。ところが、図325.2ではDPFが100%になっており、一見して誤りと判定できます。

もっとも$\lambda_\text{SPF/RF}$がゼロならDPF項は必ず100%ですが、そもそも$\lambda_\text{SPF/RF}$がゼロという点が信じられません。その理由はDPF項は経験的に3%未満だからです。


左矢前のブログ 次のブログ右矢


ページ: