第5回

• 人の脳はストーリーを伝えたり掘り下げたりするのが得意
• 一方で、それが影響して人の脳は情報を評価する時に誤った認識をすることもある。その中でも特に目立つ誤認識の一つが確証バイアス
  • 自分がある意見を持っている時に、それに合致する情報を集めてしまい、逆に反証する情報は無視してしまうバイアス
  • Wikipedia
• 研究や分析をする際や、それらを評価するときは確証バイアスについて心に留めておく必要がある
• 今回の講義でも、ホットハンドに関する研究を紹介するので、それを聞いたあとで自分がホットハンドを信じるかを考えておいてほしい

• 人々はホットハンドを信じているかを調査した
• 調査したところ、選手やファンなど全員が信じていた

ちなみに、講師の人がある授業の中でホットハンドが存在しない可能性が十分にあることを伝えたら、その授業を受けていたバスケ選手の一人が突然怒り出し、机を叩きながら「ホットハンドは存在する！私にはホットハンドがある！」と言ったそうです。 そこまで強い思い入れがある人もいるという笑い話でした。

• それぞれのシュートを独立したものと捉えると、何回か繰り返せば連続して決めたり外したりすることは起こりうる
  (例えば3Qのみで13本のシュートを決めて37点を叩き出したクレイ・トンプソンのケースでも、可能性としてはたまたま13本連続で成功したとも考えられる)
• しかし、人の脳は完全なランダム性をランダムと捉えることが難しく、そこに何かしらのストーリーを見出してしまう
• そこで、NBAの試合でのシュートを分析して、ホットハンドがあるかを検証してみる
  • 考え方としては、シュートの成功率が、そのシュートを打つまでに成功していればいるほど高くなったらホットハンドがあるとする考え
    • 数式的にはP(シュート成功|前のシュート成功) > P(シュート成功)になること
  • 76ersの選手を対象に集計したところ、下記画像のような結果になり、ほぼすべての選手で有意差はなく、有意差がある選手の場合も、成功するほどその次の成功率が下がるという結果になった

• 問題点として、シュートの成功率に影響する様々な要素が考慮しきれていない点がある
  • 前のシュートからの経過ポゼッション数や経過時間
  • DFのチェックを受けているか否か
    • ホットハンドがあるというのはみんなが信じているので、継続して成功している選手へのチェックが厳しくなると考えられる
  • シュート時のゴールからの距離
  • 疲労やプレイ時間
  • 誰がDFしているか
  • 試合の残り時間
  • etc
• この結果自体はホットハンドの存在を証明しないが、一方でホットハンドに影響しうる要素で未考慮のものも多々あるため、それらを解決するアプローチを取りたい

• 未考慮の要素の影響を減らすために、FTでホットハンドが起きているかを検討する
• 2本のFTが与えられたケースを対象に、2本目の成功率を、1本目に成功したか否かでそれぞれ出してみる
  • 数式的にはP(H_2|M_1)とP(H_2|H_1)の確率を比較(Hは成功、Mは失敗、添字はi本目のシュートを表す)
  • 結果は下記画像となり、どの選手に関しても有意差はなかった

• この分析の問題点として、下記が挙げられた
  • 2連続のシュートしか対象になっていない
    (ホットハンドはもっと連続したシュートの成功と考えたい)
  • FTが静的なアクションで、試合の流れなどを考慮できていない

ジョーク的に、実況や解説が良いFTシューターとは何かについて語った時とそうでない時で比較するべきという話が出ました。 
今x本連続で決めてますと話した後の成功率など、アナウンサーの発言とホットハンドの関係性も意外と面白そうなトピックかもしれませんね笑

• バスケの試合は様々な要素が入り混じっていて分析時のコントロールが難しいため、実験で検証を行う
• コーネル大学の選手を対象に1選手あたり100本のシュートを打ってもらい、その結果をPart2と同様の形式にまとめた
  • 結果は下記画像となり、MaleのNo9の選手以外はすべて有意差がない結果となった
    (26選手で試して1人が有意差出るのは可能性としては考えられる)

• ここまでの結果を踏まえた上で、それでもホットハンドは存在すると信じるのは自由
• ただ意識してほしいのは、自分はどういうエビデンスがあったらホットハンドは存在しないと認めるのか、どのような研究や分析があったら自分は意見を変えるのかということ
• そういった意識がなければ、我々はただおとぎ話を信じていることになる

分析を進める際に事前に仮説を立てたり、自分なりの信念を持ったりする方が考えやすい面は多いですが、一方で仮説や信念に対して懐疑的に捉えておかないと、ただ信じたいものを信じるだけになってしまいがちというのは自分も実感があります。 
そして、懐疑的に捉えるための一つの案として、どういうエビデンスがあれば仮説や信念が否定されるのかというのをあらかじめ考えておくのは分析にとどまらず、日々の生活でも重要なのかなと思います。

第6回

• 今回は選手同士のスキルセットのフィットについての研究
  • 選手同士の信頼が構築されているか、性格面での相性はどうかという、チームケミストリー的な観点もあるが、今回はスキルセットのフィットに焦点を当てる
• フィットに関する重要な概念は主に下記2点
  • 複数のスキルや選手が協同する
  • 全体が部分の総和と一致しない(Whole ≠ Sum of Parts)
    • ここでの”部分”はスキルのことを指している
• 上記の概念を踏まえた上で、この後のフィットの分析や考察を行う

フィットの概念に関して、そんなの当たり前ではと思われるかもしれません。
ただ、これを明示しておくことで、この後の分析や考察で考慮するべき点が洗い出しやすくなる(例えば、シミュレーション時に複数のスキルを定義しないといけない等)ので、逐一言語化することは重要だと考えています。

• 今回はフレスコボールという競技を対象に、フィットについて考察する
• フレスコボールは、2人がペアになってラリーを続ける採点競技
  • Wikipedia
  • 構成要素がバスケットボールに比べて少ないため、フィットの理解が容易になる
• 2人のスキルセットのパターンを定義して、それを元にこの後の議論を進めていく

• 3つのゾーンと5つの状態を設定
  • Player1のスイートスポット
    (打ち返しやすくて、コントロールもしやすい)
  • Player1のストレッチ
    (範囲内ではあるが、打ち返すのが難しい)
  • Player2のスイートスポット
  • Player2のストレッチ
  • ボールが落ちる
• 上記の設定に対し、下記の条件を設定
  • 自分のスイートスポットから相手のスイートスポットに打ち返す確率は、自分のストレッチから相手のスイートスポットに打ち返す確率より高い (p_{11} ≧ p_{21})
  • 自分のスイートスポットから、相手がスイートスポット or ストレッチに打ち返せる確率は、自分のストレッチからの場合より高い(p_{11} + p_{21} ≧ p_{21} + p_{22})
• 上記の条件を踏まえて期待されるラリー本数を算出し、それを結果とする。
  • 算出時にはTransition Matrixを用いる

参考図

• これらに加えて、選手に関してもAthleticismとCinsistency(一貫性)の2種類の能力を設定
  • Athleteな選手は、そうでない選手よりもストレッチエリアからの返球可能性が高い
  • Consistentな選手は、そうでない選手よりもスイートスポットからの返球可能性が高い
  • これら2種類の能力の保持有無で、選手を下記4タイプに分類
    • AC(Athlete, Consistent)
    • AI(Atlete, Inconsistent)
    • NC(Non Athlete, Consistent)
    • NI(Non Athlete, Inconcistent)

この後に、どのエリアから打ったらどのエリアにどの程度の確率で返せるかを設定して、そこからシミュレーションを行うので、ここで条件を設定しています。

• パラメータ設定は下記
  • 見方として、ACでは、自身のスイートスポットから相手のスイートスポットスポットに返す確率(p_{11})が70%で、相手のストレッチに返す確率(p_{12})は25%で、相手が返せないところに返す確率(p_{13})が5%。自身のストレッチから返す確率はそれぞれ30%, 40%, 30%となる
  • この後の例では、ここのパラメータが変わるが、見方は同じ

• これを見ると、(AC-AI)チームと(NC-NI)チームがAIとNCをトレードすると、両方とも結果が良くなる
  • 全社のチームは結果が6.3本→6.6本になり、後者のチームも4.3本→4.4本になる
• これは、選手の価値が文脈によって変わるように見えることを意味する

俗に言う「Win - Winトレード」は、これの具体的な例と言えるでしょう。
ただ、場合によっては「Lose - Loseトレード」も起こりうるのが悲しいところです。

• パラメータ設定は下記

• NI-NIチーム(3.5点)の一人をACに変えると5.8点になる
• さらに残りのNIもACに変えると14.8点になる
• NIをACに変えることでのMarginal Valueが、2.3点(5.8 - 3.5)から9.0点(14.8 - 5.8)に変わっている
• 同じ選手を加えても、一緒にいる選手によって加わった選手の提供する価値が大きく見えたり小さく見えたりする

• パラメータ設定

• NC-NCチーム(7.9点)がNC-AC(7.8点)よりも高スコアを取っている
  • NCの選手よりACの選手のほうが優れているはずなのに、組み合わせの妙でNC-NCチームのほうが高スコアになる

• チームの成績を選手の価値の合計+Fitと捉えてみる
  • 通常はランダム性によって隠されるが、今回のシミュレーションでは期待値を求めることができる
• チームの平均的な本数を添付画像の回帰式で捉える
  • 本数をチーム内の選手の能力の合計 + 残差で捉える
  • εは回帰式の残差であるが、今回のフレスコボールでは、すでに選手の能力が定義されているので、εの値はチームのフィットと捉えることができる

• 上記の検討を踏まえて、2つのリーグでの8シーズン分のシミュレーションを行った
  • 選手ごとにスイートスポットとストレッチから、相手のそれに打ち返せる確率を設定
  • トレードも行うようにし、成績が良いほどそのままチームにとどまり、悪いほどトレードを行うように設定
    ※設定がだいぶ複雑なので、詳細は論文を参照してください
• 得られた結果と考察は下記
  • 選手の価値が本来よりも高く評価される傾向にある
    • 平均的な選手の価値が、0.15から0.52点分高く評価される傾向
    • フィット度合いが高いチームでは、所属する選手の価値がとても高くなるように見える
      (カリー・トンプソン・グリーンのGSWは、選手自体の価値とフィットを分離して考えるのが難しいみたいな話と解釈しています)
  • 他の選手よりも文脈に左右されやすい選手がいて、そういった選手の特徴として所持スキルが極端ということが見受けられる
    (ピュアシューターが、すでにシューターが揃っているチームに加入しても価値は少ないが、シューターの少ないチームに加入すれば大きな価値になるみたいな話と解釈しています)
  • 成績が1位のチームは、フィット度合いが大きいという傾向があった。
    • もし、実際のデータでフィットを分析して定量化するなら、成績が一番良いチームで研究してみることをおすすめする

• 講師曰く、この研究のような方向性でこれをさらに発展させた研究はないらしく、そのためこの研究は今でも価値があると仰っていました
  ※少なくとも公に公開はされていないらしいです
• 講義後にバスケへの応用を考えていましたが、まだまだ超えるべき課題や考慮する点がありそうだなと感じました(例えば下記)
  • スキルの定義が難しい
    • 今回は2種類のスキルしかなかったが、実際はもっと多様なスキルがある
  • 定義できても、スキルレベルの評価も難しい
    • 3Pに関して、選手Aのレベルはこれくらいで、Bはこれくらいと定量化するのが難しそう
  • 対象になる選手数も多い
  • 対戦相手する相手によってもフィットの効果が変わってきそう
    • 平均的にはフィットの効果が+10としても、相手のラインナップによってそれが+5に下がったりするなど

第7回

• ゴールは指名権の価値を定量的に算出すること
  • プロテクトされてる場合や、指名権の対象シーズンを踏まえた割引率なども考慮する
• 価値を表す指標にはWin Sharesを採用(概要はこちら)
• 分析対象の指名権は、SACの2024年1巡目指名権(1~10位までプロテクト) or もしプロテクトされたときの2025年指名権

1. 指名権の順位ごとに、獲得後のWin Sharesの値がどうなるかを算出するロジック作成
2. 分析したい指名権について、指名権元のチームの戦績を元にどの順位の指名権になりそうかを推測
3. 1,2を元に当該指名権の価値を算出する
4. 当該指名権の対象シーズンが何年後なのかを踏まえて、割引率を設定して現段階での指名権の価値を算出

• 過去20年のドラフトを対象に、選手ごとの獲得後4シーズンのWin Sharesの合計を算出
  • 4年の理由としては、チーム側が最大4年間まで契約延長して選手を確保することができるため。
• 順位ごとにWin Sharesの合計の代表値を決める
  • 今回は順位ごとのWinSharesの中央値を採用。
    • なぜ中央値を選んだかの明確な説明はありませんでしたが、平均値だと超絶活躍する選手などが外れ値となりうるからと思われます。

・成績の悪いプレイヤーは長い時間プレイしない傾向にある(その前に解雇されたりする)ので、低い数値は出づらくなることに留意
例)アンソニー・ベネットはWSがマイナスになる前にカットされたので、1位指名権のlowestにいない
・具体的な選手名も併記することで、見る側にとってイメージが付きやすくなるようにしている
例)1位指名の選手の活躍度合いは、大体Dwight Howard(75% quantile)からAndrew Wiggins(25% quantile)の間に収まる傾向にある等

• 単純に上記の中央値を使うと、2位指名権(13.7)より3位指名権(17.7)のほうが価値があるなど、実際の数値は単調減少になっていないが、下位の指名権ほど価値が下がると考えるのが自然なため、それを踏まえて1巡目指名権範囲の30位までで、順位ごとのWinSharesの価値を算出するモデルを作る
  • シート内のグラフ(画像を下記に添付)を参照のこと
  • グラフのトレンドラインは対数関数を採用していたが、理由は不明。

• 2020-2021シーズンの勝ち数(今回は30勝)を元に2023-2024シーズンの勝ち数の分布を予測
  • 見方としては、今シーズン30勝だったチームが3年後にどの程度勝つのかを、過去のデータを集計して、実績を当て込んでいる
    ※イメージは下記の表

• 各勝ち数ごとに、どの指名権の順位がもらえることになりそうかを決める
  • 譲渡元チームが0~28勝なら1~3位指名権がもらえて、29~39勝なら4~10位指名権がもらえて。。。と指定
    • このケースでは、主観で決めていました。
    • 0~28勝の中に4チーム入ってきて、4位指名権にはじき出されるなども起こりうるが、今回はサンプルなので特に気にしない

• 譲渡元のチームが何勝しそうか、それによって指名権はどの順位になりそうか、もらえそうな指名権の価値の平均値は何かを踏まえて、最終的な価値を算出する
  • 例)54~82勝になる確率が9.77%で、その場合は26~30位指名権のどれかをもらえるので平均的に3.5勝分の指名権になるので、掛け算すると0.34勝分になる
  • 上記の例を勝ち数ごとに行って、最終的に出てきた値を合計すると、2.55勝の価値となる
    ※0~28勝と29~39勝のところは、10位指名権までの枠になってプロテクトされており、指名権がもらえないので0勝の価値となる

• 次に、2025年に指名権をもらえた場合の価値を同じように算出すると、結果は11.2勝の価値となる。
• また、2025年に指名権を貰える確率は55.64%である。
  (2024年に0~39勝してプロテクトされる確率)
• 上記を踏まえると、「2024年1巡目指名権(1~10位までプロテクト) or もしプロテクトされたときの2025年指名権」の価値は下記式で表される。
  ※実際の値は式の下の画像

• 未来のシーズンの指名権をもらうことになるので、割引率を0.2として将来の指名権の価値を現在の価値に直すこともできる
• 割引率0.2は仮置きでなのでシチュエーションによって数字は変わりうる。
  • win nowなら現在のほうが優先されるので、相対的に未来の価値は下がるため、割引率を高くする
  • 再建モードなら未来の価値が上がるので、割引率を低くする
  • etc

• 結果として、割引率を考慮すると、SACからもらう指名権の勝ちは5.38勝分になる

最終的に指名権の価値を1つの値で表していますが、個人的には分布を出せる形にしたほうが意思決定しやすいなと感じています
(少なくとも、x以下の価値にはならなさそうだったり、確率は低いけど一発逆転も狙ったりできる、といった意思決定もありうると思うため)

第8回

• どのような分析をしているかはチームによって異なる
• 例えばコーチングスタッフと分析組織がどのような関係になっているか
  • コーチングスタッフの出張(アウェイの試合)にも同行するケース
  • レポートや分析結果を共有するだけのケース

• 次の試合の準備としてやっていることを、NBAのケースで話す
• 前提として、試合の日程が詰まっていて、次の試合までの時間が短いため、準備できる量はそれほど多くない
• それを踏まえて重要になるのは準備のための下地を作っておくことで、それは大きく2つのことを意味する
  1. 分析に使うツールをオフシーズン中に作っておく
  2. シーズン中にどのような意思決定をしたくて、そのためにどのようなデータが必要になりそうかを、オフシーズン中にコーチ陣とすり合わせる
• 講師がいたチームでよく行っていたのは、対戦相手に関するstandardなレポートを作ること
  • 項目例としては下記
    • 自チームと相手チームの4 factors比較
    • 具体的なマッチアップ分析
      • どこのマッチアップが有利になるかなど
    • 個々のプレイヤーの強みと弱み
  • 作る際に、明確な解説や注釈も記載している
    • 単純に数値を乗せるだけではなく、このデータからこのようなことが読み取れるという解釈まで書く
    • 時間が迫っているコーチがデータの海に溺れないように適切にガイドするという考え方
  • プレーオフでは対戦相手が固定されていて、分析する時間が確保できるので、より深く分析を行っている
    • 自分たちや、自分たちに似たチームとの試合を分析するなど

ふと思ったけど、ある日時点でのスタッツを再現できる機能があるとイメトレに使えそうですね。
(例えば10節終わった時点での結果を見て11節の試合のイメトレするみたいな)
これがあると、11節の結果も使って、次の試合の準備として何を見るべきかを議論しやすくなりそう

• スポーツ組織でデータ分析をしている160人に、今後3年間でスポーツ分析は成長するかと聞いたらほぼ全員がyesと答えた
• MLBは他のスポーツに比べて分析の活用が進んでいるので、ロードマップとして参考になる
  • スタッフ面では、データエンジニアやデータアナリストやデータサイエンティストが複数人いる
  • データエンジニアはデータが適切に利用できる環境を整えて、データサイエンティストは選手評価やトレード分析で様々なモデリングを行う
  • データアナリストは、分析組織と他の部署を適切につなげるのが重要な役割になる
    • すべてのデータで高度なモデリングをする必要はないが、それについて理解をした上で分析結果を共有できるようにする
    • バスケに関しても、エンジニアやサイエンティストに比べてドメイン知識を持っておく必要がある

• サンプルデータで説明
  • サンプルデータのGoogleスプレッドシートはこちら
• リーグGでxという成績だった選手AがリーグHではyという成績だった。。。というデータを集めて推測できるようにする
• シンプルにx→yの比率を集計して係数を作るのがシンプルなやり方
• xとyの値を、それぞれリーグGとリーグHの成績の分布で標準化して(x’, y’と置く)、x’→y’の比率を集計するという方法も共有された。分布の標準偏差が異なるケースでメリットがあるらしい

実際に出してみましたが、成功率に変換すると極端な値になるのと、シンプルなやり方との違いは今のところ分からずです

• セルティックス・キャバリアーズ・ホークス・シクサーズ・ラプターズが良い分析組織を持っている
  • 特にラプターズはPlayer Developmentがとても優れていて、分析組織もそれの一助になっているらしい
  • また、Player DevelopmentはNBAでもまだ未開拓の領域で、その中でデータが選手のためのロードマップ作成などに寄与するだろうと考えている

• 選手によってデータを活用した改善を好むかは異なる
  • シェーン・バティエはデータを積極的に活用していたり、一部の若い選手は4factorsなどのような指標に慣れ親しんでいたりする
  • しかし、多くの選手にとっては、プレーの流れの中で考えるのに慣れており、データを使ってしっかり止まって考えるのはあまり快適ではない
• おすすめは、コーチングスタッフから選手にデータ分析の結果をかいつまんで伝えてもらうこと
  • ショットセレクションが悪い選手に対して、シュートチャートを見せて、どこから打つのがその選手にとって良いのかを、スタッフを交えて伝えるなど
• 選手のパーソナリティを理解して、どこまで伝えるかを考えることも必要

• 今のNBAでは、データ分析官のキャリアパスは少しずつ整備されていっている
  • データ分析官からスタートしてGMになるなど
• 一方で、データサイエンス領域で働くなら、スポーツ以外の業種で働いたほうがお金が稼げるのも事実
  • 過去に、チームのインターンに来ていた学生(統計学専攻の院生)がとても優秀だったので、卒業後にオファーしようとした
  • しかし、オファーした額は55,000$で、彼なら他の会社で3倍ほどはもらえる状況だった(結局彼は関係のない会社に就職した)
• お金を気にせずにスポーツでデータサイエンスをしたいと考えていて、かつ優れたデータサイエンススキルを持っている人はとても少ないので、現状だと難しい問題となっている。