メインコンテンツにスキップ

ocrClickOnText

指定されたテキストに基づいて要素をクリックします。このコマンドは、指定されたテキストを検索し、Fuse.jsのファジーロジックに基づいて一致を見つけようとします。これは、入力に誤字があるセレクターを提供したり、見つかったテキストが100%一致しない可能性がある場合でも、要素を返そうとすることを意味します。以下のログを参照してください。

使い方​

await browser.ocrClickOnText({ text: "Start3d" });

出力​

ログ​

# Still finding a match even though we searched for "Start3d" and the found text was "Started"
[0-0] 2024-05-25T05:05:20.096Z INFO webdriver: COMMAND ocrClickOnText(<object>)
......................
[0-0] 2024-05-25T05:05:21.022Z INFO @wdio/ocr-service:ocrGetElementPositionByText: Multiple matches were found based on the word "Start3d". The match "Started" with score "85.71%" will be used.

画像​

モジュールがクリックした場所を示すターゲットが、（デフォルトの）imagesFolderに画像として保存されます。

Process steps

オプション​

text​

  • 型: string
  • 必須: はい

クリックするために検索するテキスト。

例​

await browser.ocrClickOnText({ text: "WebdriverIO" });

clickDuration​

  • 型: number
  • 必須: いいえ
  • デフォルト: 500 ミリ秒

これはクリックの持続時間です。必要に応じて、時間を増やすことで「長押しクリック」を作成することもできます。

例​

await browser.ocrClickOnText({
    text: "WebdriverIO",
    clickDuration: 3000, // This is 3 seconds
});

contrast​

  • 型: number
  • 必須: いいえ
  • デフォルト: 0.25

コントラストが高いほど画像は暗くなり、その逆もまた然りです。これは画像内のテキストを見つけるのに役立ちます。-1から1の間の値を受け入れます。

例​

await browser.ocrClickOnText({
    text: "WebdriverIO",
    contrast: 0.5,
});

haystack​

  • 型: number
  • 必須: WebdriverIO.Element | ChainablePromiseElement | Rectangle

これは、OCRがテキストを検索する必要がある画面内の検索領域です。これは、x、y、width、heightを含む要素または矩形にすることができます。

例​

await browser.ocrClickOnText({
    text: "WebdriverIO",
    haystack: $("elementSelector"),
});

// OR
await browser.ocrClickOnText({
    text: "WebdriverIO",
    haystack: await $("elementSelector"),
});

// OR
await browser.ocrClickOnText({
    text: "WebdriverIO",
    haystack: {
        x: 10,
        y: 50,
        width: 300,
        height: 75,
    },
});

language​

  • 型: string
  • 必須: いいえ
  • デフォルト: eng

Tesseractが認識する言語。詳細については、こちらを参照してください。サポートされている言語は、こちらで確認できます。

例​

import { SUPPORTED_OCR_LANGUAGES } from "@wdio/ocr-service";
await browser.ocrClickOnText({
    text: "WebdriverIO",
    // Use Dutch as a language
    language: SUPPORTED_OCR_LANGUAGES.DUTCH,
});

relativePosition​

  • 型: object
  • 必須: いいえ

一致する要素を基準にして画面をクリックできます。これは、一致する要素からの相対ピクセル数above、right、below、またはleftに基づいて行うことができます。

注

次の組み合わせが許可されています

  • 単一のプロパティ
  • above + left または above + right
  • below + left または below + right

次の組み合わせは許可されていません

  • above と below
  • left と right

relativePosition.above​

  • 型: number
  • 必須: いいえ

一致する要素のabove方向にxピクセルクリックします。

例​
await browser.ocrClickOnText({
    text: "WebdriverIO",
    relativePosition: {
        above: 100,
    },
});

relativePosition.right​

  • 型: number
  • 必須: いいえ

一致する要素のright方向にxピクセルクリックします。

例​
await browser.ocrClickOnText({
    text: "WebdriverIO",
    relativePosition: {
        right: 100,
    },
});

relativePosition.below​

  • 型: number
  • 必須: いいえ

一致する要素のbelow方向にxピクセルクリックします。

例​
await browser.ocrClickOnText({
    text: "WebdriverIO",
    relativePosition: {
        below: 100,
    },
});

relativePosition.left​

  • 型: number
  • 必須: いいえ

一致する要素のleft方向にxピクセルクリックします。

例​
await browser.ocrClickOnText({
    text: "WebdriverIO",
    relativePosition: {
        left: 100,
    },
});

fuzzyFindOptions​

次のオプションを使用して、テキストを検索するファジーロジックを変更できます。これにより、より良い一致を見つけるのに役立つ可能性があります

fuzzyFindOptions.distance​

  • 型: number
  • 必須: いいえ
  • デフォルト 100

一致がファジー位置（位置で指定）にどれだけ近いかを決定します。ファジー位置から距離文字離れた場所にある正確な文字一致は、完全に不一致としてスコア付けされます。距離0は、一致が指定された正確な位置にあることを要求します。距離1000は、完全一致が0.8のしきい値を使用して見つけるためには、位置から800文字以内にあることを要求します。

例​
await browser.ocrClickOnText({
    text: "WebdriverIO",
    fuzzyFindOptions: {
        distance: 20,
    },
});

fuzzyFindOptions.location​

  • 型: number
  • 必須: いいえ
  • デフォルト 0

テキスト内でパターンが見つかると予想されるおおよその位置を決定します。

例​
await browser.ocrClickOnText({
    text: "WebdriverIO",
    fuzzyFindOptions: {
        location: 20,
    },
});

fuzzyFindOptions.threshold​

  • 型: number
  • 必須: いいえ
  • デフォルト 0.6

マッチングアルゴリズムが諦めるポイント。しきい値0は完全一致（文字と位置の両方）を要求し、しきい値1.0はすべてに一致します。

例​
await browser.ocrClickOnText({
    text: "WebdriverIO",
    fuzzyFindOptions: {
        threshold: 0.8,
    },
});

fuzzyFindOptions.isCaseSensitive​

  • 型: boolean
  • 必須: いいえ
  • デフォルト: false

検索で大文字と小文字を区別するかどうか。

例​
await browser.ocrClickOnText({
    text: "WebdriverIO",
    fuzzyFindOptions: {
        isCaseSensitive: true,
    },
});

fuzzyFindOptions.minMatchCharLength​

  • 型: number
  • 必須: いいえ
  • デフォルト 2

長さがこの値を超える一致のみが返されます（たとえば、結果で単一文字の一致を無視する場合は、2に設定します）。

例​
await browser.ocrClickOnText({
    text: "WebdriverIO",
    fuzzyFindOptions: {
        minMatchCharLength: 5,
    },
});

fuzzyFindOptions.findAllMatches​

  • 型: number
  • 必須: いいえ
  • デフォルト: false

trueの場合、マッチング関数は、文字列内に完全一致が既に存在する場合でも、検索パターンの最後まで続行します。

例​
await browser.ocrClickOnText({
    text: "WebdriverIO",
    fuzzyFindOptions: {
        findAllMatches: 100,
    },
});

ようこそ！ ご用件は何でしょうか？

WebdriverIO AI Copilot