WP A Research | 先行研究モジュール M-3

評判 ── 公開された評価はなぜ歪むか

WP A 研究ペーパーの先行研究 第三モジュール。正直であることと、信じてもらえることは別である。公開された評価が時とともに膨らむという実証を確かめ、中立的な人材マッチングが、その歪みの機構を一つずつ潰す決定論的な評価設計で信頼を組み立てる根拠と限界を定める。

先行研究 M-3『評判 ── なぜ歪むか』表紙

1正直であることと、信じてもらえることは、別である

前のモジュールで、正直な申告が最善になる場は設計できると見た。だが、正直であることと、その正直さを相手に信じてもらえることは、別の問題である。働く人が自分の力を偽りなく差し出しても、企業がそれを本物だと確かめられなければ、取引は前に進まない。

確かめる手立てとして、世の中は評価や評判を使う。星の数、レビュー、推薦の言葉。中立的な人材マッチングを設計するなら、当然これを使いたくなる。だが、ここで立ち止まる必要がある。その評価は、そもそも信じられるのか。

2公開された評価は、時とともに膨らむ

ある大規模なオンライン労働市場の取引記録を数年にわたって分析した研究が、答えを出している1。完全な最高評価(五つ星)の比率は、数年のうちに三割台から八割台へと上昇していた。そして、この上昇の半分以上は、提供された仕事が実際に良くなったからではなく、評価の水準そのものが切り上がったことによる ── つまり、評判の膨張(reputation inflation)であった。

公開「完全な最高評価」の比率 100% 0 約33% 初期 約85% 数年後 上側の淡色= 上昇の半分超は 「膨張」 公開スコアと、本音の隔たり 約28% 「絶対に再雇用しない」と 私的に答えた発注者のうち、 公開では最高に近い評価を 付けていた割合。
公開された星の数と、本当の評価とのあいだに、これだけの隔たりがある。公開スコアの絶対値は、時とともに情報を失い続ける。出典=Filippas, Horton & Golden (2022)。

さらに踏み込んで、同じ取引について、相手には開示されない私的な評価を集めると、像が一変する。「もう一度雇うことはない」と答えた発注者が相当数いた。そのうち「絶対に再雇用しない」と私的に答えた発注者の三割近くが、公開の場では最高に近い評価を付けていた。公開された星の数と、本当の評価とのあいだに、これだけの隔たりがある。

確信度:高(評判インフレの実証は一次・査読1)。ただし、この実証データは米国の単一のプラットフォームの、ある時期のものである。日本の業務委託・副業市場で同じ歪みが同じ程度に起きるかは、別に確かめる必要がある(この一般化可能性の留保は、データそのものに付くものであって、後述する評価設計=§5 とは別の論点である)。

3なぜ膨らむのか

公開の評価が甘くなるのには、理由がある。実証研究は、その源を四つに見ている1。相手の評判を傷つけたくないという気兼ね、低い評価をつけ返されることへの懸念、良い体験を受け取れば良い評価で返したいという互恵、そして「平均以上をつけねば」という社会的な圧力である。

さらに厄介なのは、これらが正の帰還をなすことである。市場全体のスコアが上がるほど、平均を下回る評価をつけることの心理的なコストは増す。こうして評価は、誰もが高い評価という、ほとんど情報を持たない均衡へ収束していく。

要点はこうである。評価が甘くなるのは人が不誠実だからではなく、評価が公開される場の構造そのものが甘さを生む。だとすれば、解くべきは人ではなく、場の設計である。

4設計の土台 ── 検証と、非公開の経済学

膨張が公開の場の圧力から来るなら、真のシグナルは、その圧力から切り離されたところに置けばよい。先行研究は、二つの足場を与える。

ひとつは、検証である。自己申告は盛れる。だが、あいだに立つ第三者が、何を・どの水準で成し遂げたかを確かめて記録すれば、申告は検証された事実に変わる。開示と第三者認証の経済学は、この設計に学術的な足場を与える2。評価の様式を、率直な差が出るように設計し直すだけで、後の再雇用をより正しく予測できるようになることも示されている3。また、第三者が検証した資格は、ほかに示せる信号の乏しい人ほど、就業の機会を確かに押し上げる4。これは、高いコストを払った信号だけが本物のシグナルになるという古典の予測と整合する ── 誰でもつけられる公開の星が情報を失っていくのと対照的に、検証されたシグナルは情報を保つ。

もうひとつは、非公開である。圧力から切り離された私的なチャンネルで集めた評価は、公開のそれより率直になりうる7。連載が「安心の輪」として描いた、自己申告から実証、そして第三者の証明へと登る階層は、この系譜のうえに立つ。

ただし、同じ経済学は二つの注意も与える。第一に、私的であることは「より率直」を意味しても「常に率直」を保証しない。将来の取引を見越した忖度は私的な場にも残り7、利害の一致しない相手どうしでは、検証できないメッセージは信頼の根拠になりえない8。第二に、認証する側が評価対象と利益相反を持つとき、認証の正確さそのものが損なわれうる2。だとすれば、検証も非公開も、単体では足りない。問われるのは、これらをどう組み合わせ、歪みの一つひとつにどう抗うかという、設計である。

5Aval の評価モデル ── 歪みの機構を、一つずつ

ここから設計の話になる。中立的な人材マッチングは、§2-4 で見た評判の経済学を、そのまま借りるのではない。歪みがどの機構から生まれるかを知ったうえで、その機構を一つずつ潰す評価設計として組み立てる。その出発点は、スコアが人の感覚で決まらないということである。同じ入力なら必ず同じ結果になる決定論的な計算式が、複数の層 ── 検証可能な経歴、同業による評価、取引の実績、市場の補正、信用のリスク ── を合成して、総合的な評価を導く。

評判の歪み(§2-3) 対抗する設計 公開評価が時とともに膨張する 決定論で算定し、最も歪む 「意見」を層のなかで最も軽く 報復への懸念・互恵で甘くなる 同業評価を相互匿名にする 共謀・外れ値が混じる 全員一致は情報を持たない 信用度で重みづけた中央値、 一致しすぎた評価は割り引く 検証できない意見は根拠にならない 評価する側もまた評価される 評価されるのは弱い側だけ 発注する側も同じ規律で評価 品質とは独立に、非対称に動く「信用の層」── 失うのは速く、取り戻すのは遅い(担保・契約の条件に効く)
評判の経済学が指摘する歪みの一つひとつに、対抗する設計を対応づける。中央に、品質の格付けとは独立して非対称に動く信用の層を据える。図は設計の原理のみを示し、具体的な重みや閾値には立ち入らない。
決定論であること買えない

認証が「人の判断」であるからこそ、買収や忖度の余地が生まれる2。判断を、誰が回しても同じ答えになる計算へ置き換えれば、その余地そのものが縮む。何の事実が・どの式で・どの値になったかを後から遡れる説明可能性も、ここから自然に出る9

最も歪みやすい信号を、最も軽く意見を最軽量に

膨らむのは「意見」であって、検証された事実ではない(§2)。だから合成にあたっては、検証可能な経歴と、取引や信用といった行動の記録を重く置き、人の意見である同業評価の比重を、層のなかで最も低くする。意見を捨てるのではなく、意見を最も信用しない設計である。

同業評価の層を、歪みに抗して設計するインフレを罰する

評価を相互に匿名にすれば、報復への懸念と互恵 ── 四機構のうち二つ ── が断たれる。平均ではなく、評価者の信用度で重みづけた中央値を採れば、共謀や外れ値に頑健になる。そして核心は、全員が一致して高い評価をつけるラウンドはほとんど情報を持たない、という点にある。これを承知のうえで、一致しすぎた評価の重みを割り引く ── 評判インフレの正体である「誰もが高評価」という情報を持たない均衡(§3)を、設計が逆に罰する。さらに、評価する側もまた評価され、コンセンサスから大きく外れた評価は影響力を失う。検証できないメッセージは信頼の根拠になりえない8という古典の難点に、送り手自身に評判というコストを負わせて応える。

信用は、非対称に動く築くは遅く、壊れるは速い

取引の履歴は、仕事の品質とは別の層 ── 信用のリスク ── として蓄積される。信用は少しずつ積み上がり、毀損は速く効く。これは与信の健全性の常識であると同時に、ゲーミングへの防壁になる ── 軽い加点を量産して、重大な毀損を洗い流すことはできない10。この信用は品質の格付けとは独立した層であり、評価の絶対値ではなく、担保や契約の条件 ── 信用が高いほど求められる担保が軽くなる ── を通じて静かに効く。

評価は、双方向である力の非対称を是正

評価されるのは働く人だけではない。発注する側もまた、支払いの履行・紛争の有無・関係の継続によって評価される。あいだに等距離で立つとは、両側に同じ規律を向けることにほかならない。

数値は、人を定義しない尊厳層

算出された評価や格付けは、本人に裁定として突きつけられるのではなく、清算の配管として背後で働く。本人が目にするのは、積み上げてきたもの ── 検証されたスキル、取引の実績、受け取った評価 ── と、次の一歩である。格付けの確定には、人間の署名を要する。算定は自動でも、確定は人が行う。評価が人を一個の数値へ還元することを、設計が拒んでいる。

確信度:高(各設計が対抗する歪みの実証・理論はいずれも一次・査読12348)。ただし、これらは歪みを「緩和する」設計であって「消去する」ものではない(限界は §6)。また本稿は設計の原理のみを述べ、ゲーミングを誘発しうる具体的な重みや閾値には立ち入らない。

6何が限界か

対抗設計をもってしても、消えない難所がある。明示しておく。

第一に、同業評価の層は、評価者の集団そのものが一様に甘ければ、中央値もまた甘くなる。一致しすぎを割り引く仕掛けは評価者の影響力には効くが、集団全体の底上げを完全には打ち消せない。だからこそ、この層は最も軽く置かれ、検証可能な経歴と行動の記録がそれを支える設計になっている ── これは弱点であると同時に、層の重み付けに織り込まれた前提である。

第二に、決定論は、取引ごとの主観的な操作を消すが、その計算式と重みを誰が定め、どう監査するか、という問いを残す。式が閉じていれば設計者の意図が忍び込みうるし、式が開かれていれば人々がその式に最適化する。この検証独立性とガバナンスの担保は、構造論の範囲を超え、ガバナンス設計(§4)に属する宿題である。

第三に、非対称な信用は、早い時期のつまずきを長く残しうるし、ネガティブな記録を避けるために、安全な仕事しか引き受けないという萎縮を生みうる。健全性とのあいだの調整は、運用の課題として残る。

最後に、日本市場への接地である。評価設計は、日本固有の傾きを設計上の入力として織り込む必要がある。日本では、集団のまとまりを重んじる文化のもとで、他者への評価は上方に偏り、自己評価はむしろ中庸へ寄る傾向が指摘されており5、もしそうなら公開評価の甘さは海外よりむしろ強く働きうる ── これは同業評価の層を設計するうえでの注意点になる。あわせて、日本では主たる仕事として独立して働く人がなお二百万人規模にとどまり6、評価の仕組みそのものが市場として成熟する前の段階にある ── この市場の若さは、市場補正の層が引き受ける。いずれも憶測の文化論で広げず、確かめられた範囲で、設計上の入力として織り込む。(評判インフレの実証そのものが米国の単一プラットフォーム・一時期のものである点は、データの限界として §2 に付した。本節が述べるのは、その歪みに対する評価設計の限界であって、評価モデルが米国由来だという意味ではない。)

7接続予告

本モジュールは、公開された評価がなぜ歪むかを実証から確かめ、中立的な人材マッチングが、その歪みの機構を一つずつ潰す決定論的な評価設計で信頼を組み立てることを、根拠と限界とともに定めた。だが、力を値づけし信頼に変えても、ひとりの専門家だけで完結する仕事ばかりではない。複雑な仕事は、複数の専門家を組み合わせて初めて成し遂げられる。次のモジュール(M-4 チーム組成)は、その組み合わせを計算的に設計できるか ── そして、そこで蓄積される「誰が何をどう成し遂げたか」の記録が、§4 で論じる堀へどうつながるか ── を扱う。

参考文献・出典

全主張に一次資料・学術/公的出典を付す。=一次・査読/公式。=確信度中。=連載および先行研究モジュール参照。

本ページは WP A 研究ペーパー(器1)の先行研究・第三モジュール(M-3 評判)。前=M-2 市場設計/次=M-4 チーム組成。 資料一覧へ →